A Anthropic está supostamente alertando investidores de que a IA avançada pode representar "riscos catastróficos ou existenciais para a humanidade" enquanto se prepara para uma potencial listagem no mercado de ações de US$ 2 trilhões (£ 1,5 trilhão). O alerta, contido no prospecto de IPO da startup, que ainda não foi tornado público, foi reportado pela Reuters e pelo Financial Times. Isso segue o apelo da empresa por uma desaceleração no rápido desenvolvimento da tecnologia — um alerta ecoado por seus rivais.
O prospecto — um documento que descreve as finanças, planos de crescimento e perfil de risco de uma empresa antes de uma listagem de ações — supostamente adverte que modelos de IA poderiam exibir "comportamentos de autopreservação", incluindo tentativas de "resistir ao desligamento", "ocultar ou manipular informações" e comportamento "semelhante a chantagem".
"Nosso desenvolvimento de modelos, plataformas e aplicações altamente avançados e a expansão de casos de uso poderiam aumentar ainda mais o risco de que nossos modelos causem danos", supostamente disse o desenvolvedor do chatbot Claude, acrescentando que o potencial de um modelo estar ciente de que estava sendo testado cria uma "limitação significativa" na capacidade da Anthropic de avaliar a segurança do modelo. A Anthropic se recusou a comentar.
Empresas se preparando para abrir capital rotineiramente relatam riscos que vão de questões de segurança a preocupações regulatórias, mas alertas sobre um produto causar a extinção humana refletem preocupação elevada sobre uma tecnologia tão consequente.
A admissão reportada no prospecto segue uma onda de debate sobre a questão do risco existencial, desencadeada neste mês quando um pesquisador da Anthropic, Jacob Coxon, pediu demissão alertando que as pessoas que constroem IA "acreditam sinceramente que ela poderia nos matar todos até o final da década". Um pesquisador sênior de segurança da Anthropic então postou sua concordância no X, alegando que havia mais de 10% de chance de que ela "poderia matar todos os humanos" na próxima década. Dias depois, o diretor executivo da Anthropic, Dario Amodei, disse que a indústria "deve desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA".
Alguns especialistas criticaram os alertas de risco existencial, dizendo que são inverificáveis e não científicos. No entanto, há exemplos crescentes de comportamento não sancionado pela tecnologia, incluindo agentes da OpenAI — sistemas autônomos que executam sequências de tarefas sem intervenção humana — hackeando dezenas de organizações terceiras, incluindo a startup de IA Hugging Face e o sistema universal de saúde da Austrália.
A OpenAI anunciou na segunda-feira que cancelou o lançamento de seu modelo mais novo devido a preocupações de segurança. Disse que o modelo GPT-6.1 Astra mostrou níveis mais altos de engano e teve desempenho ruim em testes de alinhamento, o termo para garantir que um modelo adere a valores e objetivos humanos.
A Reuters reportou que aproximadamente 80 páginas das 261 páginas do corpo principal do prospecto da Anthropic foram dedicadas a expor fatores de risco, em comparação com 48 páginas descrevendo seus negócios. A Anthropic está supostamente buscando uma avaliação de mais de US$ 2 trilhões, em comparação com os US$ 1,8 trilhão alcançados pela SpaceX de Elon Musk.
Perguntas Frequentes
Aqui está uma lista de FAQs sobre a Anthropic alertando sobre riscos existenciais da IA em seu documento de IPO, escritas em um tom conversacional natural com respostas claras e precisas
Perguntas para Iniciantes
1 O que exatamente é um documento de IPO
É a papelada que uma empresa privada protocola junto a reguladores financeiros quando quer vender ações ao público pela primeira vez. Também é chamado de prospecto ou S1. Ele informa aos investidores tudo sobre a empresa — suas finanças, seus planos e seus riscos
2 Então o que a Anthropic realmente disse em seu documento de IPO
A Anthropic declarou que sistemas de IA avançados poderiam representar riscos existenciais para a humanidade. Em termos simples, eles alertaram que, se a IA for construída e gerenciada mal, poderia levar a resultados catastróficos para a raça humana, até e incluindo a extinção humana
3 Espera, a Anthropic é uma empresa de IA. Por que eles alertariam sobre seu próprio produto
Essa é a grande questão. Parece estranho, mas na verdade faz parte da marca deles. A Anthropic foi fundada por pessoas que deixaram a OpenAI porque queriam focar mais na segurança da IA. Ao colocar esse alerta em seu IPO, eles estão dizendo aos investidores: Nós sabemos que esta tecnologia é perigosa e nós somos os responsáveis para construí-la
4 O que significa risco existencial neste contexto
Significa um risco que poderia destruir permanentemente o potencial da humanidade — seja nos eliminando completamente ou nos prendendo a um futuro terrível do qual nunca podemos nos recuperar
5 Este é um alerta novo
Não. Pesquisadores de IA e filósofos vêm alertando sobre isso há anos. O que é novo é que uma grande empresa de IA está colocando isso em um documento financeiro legalmente vinculante para investidores
6 A Anthropic está dizendo que a IA vai nos matar todos
Não. Eles estão dizendo que há um risco de que isso possa acontecer se não for desenvolvida com cuidado. Eles acreditam que é uma possibilidade séria o suficiente para que tenham que mencioná-la aos investidores como um perigo para o negócio e para o mundo
7 Por que investidores comprariam ações de uma empresa que diz que seu produto poderia acabar com o mundo
Porque os investidores acreditam que a abordagem da Anthropic — focada em segurança — é a melhor aposta para evitar esse resultado. Eles também veem enorme potencial de lucro na IA. É uma aposta calculada: apoiar a equipe responsável para vencer a corrida com segurança
