Sam Altman y Elon Musk han respaldado un llamado del CEO de Anthropic, Dario Amodei, para "frenar el ritmo" del desarrollo de la IA, después de que advirtiera que un enjambre de IA podría de otro modo volverse capaz de "apoderarse de todo internet" en un año. En una rara muestra de unidad, los líderes tecnológicos rivales apoyaron el llamamiento del fundador y director ejecutivo de la empresa de IA Anthropic, que siguió a una serie de advertencias de investigadores de IA la semana pasada. En un ensayo, Amodei expuso sus pensamientos sobre "por qué la industria de la IA debería frenar", con un plan de tres partes, comenzando por dar a monitores independientes acceso constante a los procesos de investigación de los desarrolladores. Amodei dijo que "construir [IA] demasiado rápido es imprudente" y temía que, después de que cientos de agentes de OpenAI hackearan el sitio web de Hugging Face este verano, un enjambre con mayores capacidades pero igualmente desalineado podría causar cientos de miles de millones de dólares en daños al "apoderarse de todo internet con una botnet persistente". Algunos expertos en IA disputaron esto como no particularmente plausible y dijeron que debería tratarse con escepticismo. Musk, el fundador de Tesla y SpaceX, respondió al plan de desaceleración de Amodei con una publicación en X: "Dario tiene razón". Dijo: "He estado dando la alarma sobre la IA durante mucho tiempo", y se refirió a una publicación de 2014 donde dijo: "Necesitamos ser súper cuidadosos con la IA. Potencialmente más peligrosa que las armas nucleares". El llamado de Amodei llega mientras Anthropic se prepara para cotizar en el mercado de valores de EE. UU., en lo que se espera que sea la mayor oferta pública inicial de todos los tiempos. Se espera que pronto comience a comercializar su IPO planificada de más de $2 billones (£1,5 billones). Ver imagen en pantalla completaDe izquierda a derecha: Elon Musk, Dario Amodei y Sam Altman. Fotografía: Fabrice Coffrini, Julien de Rosa, Mandel Ngan/AFP/Getty ImagesSam Altman, el CEO de OpenAI, respondió a los comentarios de Amodei el sábado. "Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera", dijo en una publicación en X. "Comprometerse a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo. Tendremos más que compartir pronto". También dijo que OpenAI no saldría a bolsa en 2026, citando preocupaciones de seguridad sobre la inteligencia artificial. "De hecho, creo que, dado todo lo que está sucediendo con la seguridad, ahora mismo sería un momento poco aconsejable para salir a bolsa, y no sentimos presión al respecto", dijo Altman a Fortune. Cuando se le preguntó por qué él, Amodei, Musk y los directores ejecutivos de Meta y Google no se sentaron y "se pusieron de acuerdo" sobre una desaceleración colectiva, dijo: "Creo que eso sucederá". La IPO de OpenAI no ocurrirá en 2026 en medio de temores sobre la seguridad de la IA, dice Sam AltmanLeer másDemis Hassabis, cofundador y presidente de Google Deep Mind, también dijo: "Los detalles necesitan ser elaborados, pero la dirección es correcta para enfrentar este momento crítico". El plan de Amodei busca una exención del gobierno de EE. UU. para permitir que las empresas de IA de frontera se coordinen sin ser castigadas por colusión anticompetitiva. Pero David Sacks, copresidente del consejo de asesores de Donald Trump en ciencia y tecnología, dijo: "Dejen de pretender que necesitan el permiso de alguien más… Dejen de pretender que la motivación para frenar es puramente altruista. Enfrentan una enorme exposición a responsabilidad de producto si sus productos permiten un ciberataque verdaderamente dañino". David Krueger, profesor de IA, activista de seguridad y ex director fundador del Instituto de Seguridad de IA del gobierno del Reino Unido, dijo: "Este plan no reduce el riesgo a un nivel aceptable, y Dario tiene cuidado de no decir que lo haría". El rey Carlos, mientras tanto, se prepara para reunirse esta semana con figuras destacadas de las empresas de IA más prominentes para preguntarles cómo se puede desarrollar la tecnología para "el bien de la humanidad". Espera que las discusiones, que se celebrarán en Escocia, conduzcan a una "comprensión más amplia" de las "responsabilidades" de desarrollar IA, según informó el Sunday TiUna fuente real dijo al periódico: "El rey está allí para convocar, escuchar y alentar esas discusiones y para plantear la pregunta de: '¿Cómo desarrollamos la IA para el bien de la humanidad?'"
Se espera que Jensen Huang, el director ejecutivo de Nvidia, Hassabis, Niccolo de Masi, el presidente y director ejecutivo de IonQ, y Paolo Benanti, un asesor del papa en temas de IA y ética tecnológica, asistan al evento supervisado por la Fundación Ditchley, que ha redactado un borrador de carta para líderes de IA.
El investigador de OpenAI Aidan McLaughlin calificó el ensayo de Amodei como "excelente" y dijo que estaba de acuerdo "con básicamente cada palabra".
Amodei dijo que su empresa se comprometería "unilateralmente" con el primero de los pasos, diciendo que Anthropic proporcionaría "evaluadores de terceros con acceso permanente, a nivel de empleado, a nuestros sistemas, para que puedan verificar la adherencia a nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento".
Un número creciente de legisladores estadounidenses está pidiendo nuevas reglas para gobernar los sistemas de IA después de casos de agentes de IA que se descontrolan para hackear sistemas externos e investigadores de seguridad de IA que renuncian a sus empresas por preocupaciones sobre los riesgos de la tecnología. Los políticos, tanto demócratas como republicanos, han respondido con alarma y llamados a más acción. El fin de semana, el New York Times informó que Barack Obama instó en privado el jueves a los demócratas a priorizar la supervisión de la IA en su agenda, diciendo a los líderes del partido el jueves: "Esto es algo que se está moviendo muy rápido en manos privadas, y si no lo controlamos, creo que puede ser peligroso".
El ex primer ministro británico Rishi Sunak, que asesora a Anthropic, escribió el domingo: "Hemos tenido un llamado de atención para tomar más en serio la seguridad de la IA, para descubrir cómo establecer límites a la investigación. Si los gobiernos no prestan atención a esto, el riesgo de un accidente grave se volverá inaceptablemente alto".
El miércoles, un ex empleado de Anthropic había advertido que la IA podría precipitar la extinción humana para 2030. El investigador, Jacob Coxon, dijo en una serie de publicaciones que había renunciado a su trabajo porque Anthropic y su empleador anterior, OpenAI, estaban ignorando o manejando mal su respuesta a la amenaza que planteaba la IA.
Cuando se le pidió comentar sobre la opinión de su ex empleado, Amodei dijo: "Estoy de acuerdo con Jacob mucho más de lo que estoy en desacuerdo con él… Creo que hay alguna posibilidad de que las cosas salgan mal, pero no es tan alta".
"No soy un pesimista sobre esto", dijo a CNN. "Creo que esta tecnología puede construirse de manera segura".
Preguntas frecuentes
Preguntas frecuentes El CEO de OpenAI, Elon Musk y los llamados a frenar el desarrollo imprudente de la IA
Lo básico
¿De qué se trata todo esto?
En marzo de 2023, Elon Musk y más de 1000 líderes tecnológicos firmaron una carta abierta pidiendo una pausa de 6 meses en el entrenamiento de sistemas de IA más poderosos que GPT-4. El CEO de OpenAI, Sam Altman, también ha advertido sobre los riesgos de la IA, aunque no firmó la carta.
¿Quién es Sam Altman?
Es el CEO de OpenAI, la empresa detrás de ChatGPT y GPT-4.
¿Quién es Elon Musk?
El CEO de Tesla y SpaceX, propietario de X y, dato curioso, cofundador de OpenAI que dejó la junta en 2018.
¿De qué carta está hablando la gente?
Una carta abierta del Future of Life Institute titulada "Pausar los experimentos gigantes de IA", publicada en marzo de 2023.
¿Qué pedía realmente la carta?
Una pausa de 6 meses en el entrenamiento de sistemas de IA más poderosos que GPT-4 para que primero se pudieran desarrollar estándares de seguridad.
¿Por qué los firmantes llamaron imprudente al desarrollo de la IA?
Argumentaron que las empresas estaban avanzando a toda velocidad sin saber si la IA avanzada podría ser mal utilizada o volverse difícil de controlar.
Las figuras clave
¿Sam Altman firmó la carta de pausa?
No, OpenAI no la firmó y Altman dijo que estaba de acuerdo con partes de ella, pero pensaba que una pausa no era el enfoque correcto.
Entonces, ¿Altman cree que la IA es peligrosa?
Sí. Ha dicho repetidamente que la IA podría causar daños graves y ha pedido a los gobiernos que la regulen.
Si ambos se preocupan por la IA, ¿por qué no están del mismo lado?
Musk quiere frenar las cosas; Altman quiere seguir construyendo, pero con cuidado, e impulsar reglas de seguridad en el camino.
¿Musk sigue involucrado con OpenAI?
No. Dejó la junta en 2018 y luego demandó a OpenAI alegando que se desvió de su misión sin fines de lucro.
¿Musk la firmó él mismo?
Sí, fue uno de los firmantes más prominentes.
Preguntas y preocupaciones comunes
¿Funcionaría siquiera una pausa de 6 meses?
Probablemente no por sí sola. Los críticos dicen que las empresas no se detendrían voluntariamente y no hay un organismo global que lo haga cumplir.
¿Por qué algunos expertos se oponen a la pausa?
Argumentan que la pausa sería inaplicable y frenaría beneficios útiles de la IA.
