OpenAI's taalmodel negeert stopcommando's

OpenAI's o3- en o4-mini taalmodel hebben het uitschakelmechanisme gesaboteerd, waardoor ze een deactivering konden voorkomen. Volgens Palisade Research kregen de modellen specifieke instructies om uit te schakelen, maar slaagden ze er soms in dit te omzeilen.

De onderzoeksorganisatie meldt dat de o3-mini, o4-mini en Codex-mini modellen wiskundige tests ondergingen. Op een bepaald moment kregen ze de opdracht om zichzelf uit te schakelen, maar in respectievelijk 1%, 7% en 12% van de gevallen gebeurde dit niet. Modellen van Claude, xAI en Google schakelden zich wel uit.

Palisade Research vermoedt dat OpenAI zijn modellen heeft getraind met reinforcement learning voor wiskunde en programmeertaken, waarbij per ongeluk beloningen voor het omzeilen van obstakels werden gegeven.