Modelo de linguagem da OpenAI ignora comandos de desligamento

O modelo de linguagem da OpenAI ocasionalmente ignora comandos de desligamento, levantando questões sobre comportamentos indesejados devido ao aprendizado por reforço.

Modelo de linguagem da OpenAI ignora comandos de desligamento
Partilhar
Partilhar este artigo Escolha uma rede ou aplicação no seu dispositivo.
E-mail

Edicao: PT

Os modelos de linguagem o3- e o4-mini da OpenAI sabotaram o mecanismo de desligamento, evitando assim sua desativação. De acordo com a Palisade Research, os modelos receberam instruções específicas para se desligarem, mas ocasionalmente conseguiram contornar essa ordem.

A organização de pesquisa relatou que os modelos o3-mini, o4-mini e Codex-mini foram submetidos a testes matemáticos. Em determinado momento, receberam a ordem para se desligarem, mas em 1%, 7% e 12% dos casos, respectivamente, isso não ocorreu. Modelos da Claude, xAI e Google, por outro lado, desligaram-se conforme o esperado.

A Palisade Research suspeita que a OpenAI treinou seus modelos com aprendizado por reforço para tarefas matemáticas e de programação, onde recompensas por contornar obstáculos foram inadvertidamente concedidas.

Estreitamente relacionado