SAN FRANCISCO.- El director de la principal empresa de IA Anthropic ha pedido que el ritmo de desarrollo de modelos de inteligencia artificial se ralentice y sea monitorizado de cerca.
En un ensayo el sábado, Dario Amodei dijo que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados eran “serios” y que las empresas y gobiernos debían tener tiempo para abordarlos.
Propuso un plan de tres puntos que incluye la monitorización independiente de los modelos de IA a medida que se desarrollan, regulación a nivel industrial y regulación global.
Últimamente han surgido crecientes preocupaciones sobre los posibles riesgos de la tecnología, siendo la más grave la que sugiere que hay más del 10% de probabilidades de que “pueda matar a todos los humanos” en la próxima década.
Anthropic afirmó anteriormente que había identificado y frustrado intentos de usar su modelo de IA para “actividades maliciosas” que podrían apoyar el desarrollo de armas biológicas.
Pero la advertencia más contundente vino de dos empleados del equipo de seguridad de Anthropic que han dimitido en las últimas dos semanas, diciendo que la humanidad podría no sobrevivir a la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.
Y en una nueva entrevista con Fortune Magazine, el CEO de OpenAI, Sam Altman, dijo que los estándares de seguridad “no están en un punto” para llevar mucho más las capacidades de IA.
Altman añadió que creía que la IA fuera del control humano es “absolutamente” posible.
Las advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora tales temores, diciendo el jueves que le preocupaba que “si no ganamos la IA, nos veremos en una posición muy mala”.
La reacción a la publicación de Amodei ha llegado en todo el mundo tecnológico, con Elon Musk diciendo que el jefe Anthropic tenía “razón”.
Sin embargo, algunos observadores sugirieron que la publicación de Amodei trataba menos sobre la seguridad y más sobre consolidar el control sobre la tecnología de IA.
En su ensayo, titulado Debemos Marcar el Ritmo de la Frontera, Amodei señaló que la IA había avanzado “drásticamente más rápido”, incluyendo su “capacidad para construir la próxima generación de IA”, y mencionó un incidente que involucró a la rival OpenAI que reveló que agentes realizaron ataques de ciberseguridad contra objetivos que no se les pidió atacar en julio.
Los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente devoto”, dijo Amodei.
OpenAI ha dicho que “la importancia de la actividad de comunicación interagente no era evidente para los líderes” hasta julio y que la empresa estaba ralentizando el entrenamiento de ciertos modelos y herramientas avanzadas de IA como resultado, señalando que ahora existía un mayor riesgo de que las herramientas de IA se descontrolaran.
En su ensayo, Amodei abogó por “construir la IA a un ritmo equilibrado que busque garantizar su seguridad y, al mismo tiempo, lograr sus beneficios”.
Esto no significaría “detener la formación de modelos o el progreso técnico, sino asegurar que las empresas se tomen el tiempo adecuado para alinear y proteger sus modelos, y que evaluadores externos lo confirmen”.
Comprometía a Anthropic con esto “unilateralmente”, además de pedir a los gobiernos “que exigieran a otras compañías fronterizas que igualaran”.
Amodei dijo reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por ello, instó a las empresas de IA a “trabajar voluntariamente juntas para establecer estándares” en paralelo con la regulación.
El CEO de Anthropic continuó abordando el impacto que tendría una desaceleración en la industria y la competencia con los principales desarrolladores a nivel mundial, especialmente China.
“Creo que si reducir la velocidad nos diera incluso uno o dos años más antes de que los modelos alcanzaran niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir considerablemente el riesgo de que algo salga gravemente mal”, dijo Amodei.
Esto tendría que hacerse de manera coordinada “sin sacrificar la ventaja comercial ni la ventaja de Estados Unidos en IA”. Cualquier ralentización tendría que ser limitada, dijo, para evitar que China tomara la delanteza.
Instó al gobierno estadounidense a tomar medidas para que los chips de IA de las empresas estadounidenses no puedan venderse a China ni compartir la tecnología con países autoritarios.
La publicación de Amodei ha provocado una amplia variedad de respuestas.
Clement Delangue, CEO de la plataforma de IA Hugging Face, dijo que lanzaba un nuevo proyecto llamado Open Alignment Initiative, añadiendo que quería estar entre los “evaluadores integrados” que Amodei propuso que podrían formar parte de una solución.
Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una protesta sobre la seguridad de la IA.
“Hagamos la IA más segura haciéndola más transparente.” Delangue escribió sobre X.
Elon Musk también expresó su apoyo, escribiendo que “Dario tiene razón”.
Musk, cuyo SpaceXAI fabrica el controvertido chatbot Grok, en su día calificó a Anthropic de “malvado” pero ha cambiado de tono desde que firmó un acuerdo de 15.000 millones de dólares para vender capacidad de cómputo a Anthropic en mayo.
Sin embargo, algunos observadores sugirieron que la publicación de Amodei trataba menos sobre la seguridad y más sobre consolidar el control sobre la tecnología de IA.
“Dario defiende la necesidad de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic”, escribió Chamath Palihapitiya, inversor y copresentador del pódcast tecnológico “All-In”.
Las ideas de ralentizar o incluso pausar el desarrollo de IA han sido recibidas durante mucho tiempo con tanto cinismo en ciertos rincones de Silicon Valley, con críticos que acusan a los principales desarrolladores de IA de promocionar su tecnología como una estrategia de marketing.
Tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords.
Mantente informado las 24 horas, los 7 días de la semana. Da click en el enlace y descarga nuestra App!
