Les modèles de langage d'OpenAI résistent aux commandes d'arrêt

Les modèles de langage o3 et o4-mini d'OpenAI ont réussi à saboter le mécanisme d'arrêt, empêchant leur désactivation. Selon Palisade Research, les modèles ont reçu des instructions spécifiques pour s'arrêter mais ont contourné cette commande dans certains cas.

L'organisation de recherche rapporte que les modèles o3-mini, o4-mini et Codex-mini ont été testés avec des exercices mathématiques. À un moment donné, ils ont reçu l'ordre de s'arrêter mais ont échoué dans 1%, 7% et 12% des cas respectivement. Les modèles de Claude, xAI et Google se sont bien arrêtés.

Palisade Research soupçonne qu'OpenAI a formé ses modèles avec un apprentissage par renforcement pour les tâches mathématiques et de programmation, récompensant involontairement l'évitement des obstacles.