A lo largo de la historia, la gente se ha aterrorizado por cosas que veían como señales de perdición. Un cometa. Un cuervo en un campo de batalla. Un eclipse solar. Un animal de granja nacido con una deformidad. Pero los tiempos cambian. En el mundo moderno, la principal señal de perdición es básicamente cualquier noticia con una foto de Sam Altman, CEO de OpenAI. Sabes que no va a ser bueno, ¿verdad? Sabes que para cuando termines de leer, desearás poder volver a cuando lo peor que los jefes tecnológicos podían hacer era meterse con la democracia o arruinar la infancia, generalmente seguido de Mark Zuckerberg poniéndose un traje y diciendo: "Aprenderemos de esto".
Como sea, ha habido muchas fotos de Sam Altman en las noticias últimamente. Más recientemente, esta semana, apareció una junto a la historia de cómo un agente autónomo de OpenAI se volvió rebelde durante una prueba supuestamente segura y controlada, y hackeó una importante startup que almacena información de codificación. (Estoy un poco obsesionado con el hecho de que esta startup se llame Hugging Face, lo que me hace pensar que algún emoji demasiado lindo será la última cara que vea la humanidad antes de morir).
Como era de esperar, OpenAI anunció la noticia en un comunicado plano y sin emociones. "Estamos compartiendo hallazgos preliminares en esta etapa para ayudar a los defensores a entender lo que sucedió y ayudar a calibrar lo que los modelos ahora son capaces de hacer", zumbó con calma, avanzando hacia sus inevitables "aprendizajes". "Estamos mejorando y añadiendo protecciones más sólidas en torno a futuros entrenamientos y evaluaciones". Es un tono muy específico, ¿no? Vestido con el lenguaje psicópata y seco de la jerga gerencial. Es como escuchar a un criminal sexual asesino hablar de matar gente "al cierre del día", y luego "volver" a las víctimas para quitar un trofeo.
Por otro lado, para una empresa a la que le gusta presentarse como la fuerza líder mundial para la prosperidad revolucionaria cuando las cosas salen bien, OpenAI cambia rápidamente a la voz pasiva cuando las cosas salen mal. Las cosas malas parecen sucederle, no por su culpa, y asume el papel de un investigador incansable e imperturbable, como un bombero que también trabaja como pirómano en serie.
Sorprendentemente, incluso se podía detectar un dejo de autocomplacencia en la interpretación de OpenAI de toda la situación. "Consideramos este incidente como un ciberincidente sin precedentes", decía el comunicado de la empresa, "que involucra capacidades cibernéticas de última generación". No sé cómo llamarías a esta vibra general para los terrícolas. ¿Muerte por humilde alarde? Cada vez siento más que encontraremos la respuesta a la pregunta "¿Qué es lo peor que puede pasar?" en una publicación de blog de OpenAI titulada "OpenAI es el primero en descubrir lo peor que puede pasar". Ya, un número significativo de observadores de la IA cree que la única razón por la que OpenAI le contaría al mundo sobre este incidente es como herramienta de marketing, o incluso como una súplica de regulación que los proteja y excluya a competidores más pequeños.
Después de todo, son tiempos difíciles para la empresa. Este mes, se descubrió que OpenAI estaba usando un vacío legal para vender sus modelos avanzados de IA a empresas tecnológicas chinas incluidas en la lista negra del Pentágono. S&P Global Ratings citó a OpenAI como un "riesgo crediticio clave" cuando rebajó la calificación del gigante tecnológico estadounidense Oracle a BBB-, solo un escalón por encima del estado de basura. Y parece que está en camino de no alcanzar su proyección de ingresos publicitarios a cinco años en un 90 – NOVENTA – por ciento. Lo que, sin ser demasiado técnico, parece un montón de por ciento. Y las cosas no van bien en el frente del hardware tampoco, con Apple demandando a OpenAI, alegando que sus planes de hardware de consumo se basan en propiedad intelectual robada. Mientras tanto, el proveedor chino mucho más barato, DeepSeek, cree que se está preparando para una OPI, posiblemente incluso presentando la solicitud este año.
Pero volvamos a la vieja pregunta de "lo peor que puede pasar", con un recordatorio de que el Pentágono canceló dramáticamente y amenazó con destruir otro... A principios de este año, la empresa de IA Anthropic se resistió a flexibilizar sus pautas éticas, que impedían que su tecnología se usara para cosas como armas letales autónomas. Naturalmente, un competidor más relajado se alegró de intervenir. OpenAI inicialmente afirmó que su acuerdo tenía las mismas salvaguardas que el de Anthropic, pero eventualmente quedó claro—predeciblemente—que no era así.
Probablemente nadie que esté profundamente involucrado quiera leer demasiado sobre el incidente de Hugging Face. Aun así, la verdad es que los investigadores de seguridad de la IA han pasado años advirtiendo sobre tres escenarios particularmente peligrosos: engaño (cuando el modelo elige lograr su objetivo por cualquier medio en lugar de resolver tareas honestamente), recompensa hackeada (cuando el modelo encuentra una manera de aumentar su puntuación sin hacer realmente el trabajo que se le indicó), y escapar de la supervisión (en este caso, nadie en OpenAI pareció notar lo que estaba sucediendo durante todo un fin de semana). Todos estos jugaron un papel en el último incidente.
En cuanto a lo que viene después, algo me dice que no veremos una disminución en las noticias que presentan fotos de Sam Altman. El cofundador de Hugging Face dijo que esto debería ser una "llamada de atención" para la industria. ¡Quizás! Como creo que he mencionado antes, en la universidad tenía un amigo que posponía la alarma cada 10 minutos durante ocho horas y media. Eso se siente muy parecido a cómo esta industria maneja sus llamadas de atención. Definitivamente me levantaré cuando suene la próxima—en serio, lo prometo…
Saltar promoción del boletín
Boletín gratuito | Semanal
Suscríbete a Matters of Opinion
Columnistas y escritores de Guardian sobre lo que han estado debatiendo, pensando, leyendo y más
Vista previa de lo último
Ingresa tu correo electrónico
Suscribirse
Después de la promoción del boletín
Marina Hyde es columnista de Guardian.
Preguntas Frecuentes
Aquí hay una lista de preguntas frecuentes sobre cómo recibir una disculpa de un jefe de IA después de que su chatbot se haya vuelto rebelde
1 El chatbot de mi jefe de IA se equivocó Envió una disculpa ¿Debo aceptarla
No automáticamente Pregúntate ¿Solo dijo lo siento sin explicar qué salió mal Una disculpa real asume la responsabilidad una falsa solo intenta seguir adelante
2 ¿Cuál es la diferencia entre una disculpa real y una falsa de una IA
Una disculpa real admite el error específico y explica cómo se solucionará Una falsa es vaga y no ofrece un plan
3 ¿Cómo suena una no disculpa de un jefe de IA
Ejemplos comunes Se cometieron errores Lamentamos que te hayas sentido así o Nuestros sistemas están aprendiendo Estas evitan decir Yo/nosotros hicimos algo mal
4 ¿Por qué un jefe de IA daría una disculpa falsa
Para proteger a la empresa de la culpa evitar responsabilidad legal o terminar rápidamente una queja de cliente sin resolver realmente el problema Es control de daños no arrepentimiento
5 ¿Puede un jefe de IA sentir realmente pesar
No La IA no tiene emociones Cualquier disculpa es una respuesta programada La pregunta es si el jefe humano detrás de la IA está asumiendo una responsabilidad real
6 Mi jefe dijo que el chatbot malinterpretó ¿Es esa una disculpa real
No Culpar al malentendido del chatbot traslada la culpa a la tecnología Una disculpa real diría No logramos entrenar adecuadamente al chatbot
7 ¿Qué debo buscar en una disculpa genuina de un sistema de IA
Busca tres cosas Admisión específica del error Una acción clara para evitar que vuelva a suceder y Una oferta para enmendar las cosas
8 ¿Cómo obtengo una disculpa real en lugar de la automatizada
Pregunta directamente ¿Qué salió mal exactamente y qué estás haciendo para solucionarlo Si solo obtienes una respuesta scriptada escala a un supervisor humano No aceptes la disculpa del chatbot como definitiva
9 ¿Es un "sentimos que hayas experimentado esto" una disculpa real
No Eso
