Mas… a equipe está sob a liderança de Sam Altman, CEO da OpenAI. Com isso, a startup vai ter um novo time de segurança, que também contará com o comando de dois membros do conselho da empresa, Adam D’Angelo e Nicole Seligman. A polêmica ao redor dessa escolha você entende a seguir.

O comitê fará recomendações sobre “decisões críticas de segurança e proteção para projetos e operações OpenAI” – uma preocupação compartilhada por vários pesquisadores importantes de IA que deixaram a empresa este mês.

Para a sua primeira tarefa, a nova equipa irá “avaliar e desenvolver ainda mais os processos e salvaguardas da OpenAI”.

Em seguida, apresentará suas descobertas ao conselho da OpenAI, no qual todos os três líderes da equipe de segurança têm assento. O conselho decidirá então como implementar as recomendações da equipe de segurança.

Sam Altman vem recebendo críticas por falta de segurança na OpenAI

• A formação desta equipe ocorre pouco tempo após a saída de Ilya Sutskever, cofundador e cientista-chefe da OpenAI.
• Sutskever foi um dos executivos que apoiou a tentativa de golpe do conselho para destronar Altman no ano passado.
• Ele foi um dos líderes de uma equipe dentro da startup que foi criada para “dirigir e controlar sistemas de IA muito mais inteligentes do que nós”.

A equipe responsável por controlar os sistemas e garantir mais segurança acabou dissolvida, com outro membro que a comandava, Jan Leike, deixando a OpenAI e alegando que a segurança na empresa ficou em “segundo plano em relação aos produtos brilhantes”.

Desde então, Sam Altman recebeu fortes críticas de ex-funcionários, que alegam que sua gestão é inadequada. Na semana passada, a pesquisadora de políticas da OpenAI, Gretchen Krueger, anunciou sua renúncia, citando preocupações de segurança semelhantes as que Leike havia expressado.

Outros membros da nova equipe de segurança da OpenAI incluem o chefe de preparação Aleksander Madry, o chefe de segurança Lilian Weng, o chefe de ciência de alinhamento John Schulman, o chefe de segurança Matt Knight e o cientista-chefe Jakub Pachocki.