Renunció a Anthropic y lanzó una dura advertencia sobre la IA

Jacob Coxon anunció su renuncia a Anthropic y lanzó una fuerte advertencia sobre el rumbo que está tomando el desarrollo de la inteligencia artificial. El investigador aseguró que durante los últimos tres años realizó trabajos de investigación en preentrenamiento tanto en OpenAI como en Anthropic y sostuvo que ninguna de las dos compañías está actuando de manera responsable.

Según Coxon, ambas organizaciones avanzan hacia el desarrollo de una superinteligencia capaz de mejorar sus propias capacidades, mientras las empresas compiten por alcanzar primero ese escenario.

“Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas”, escribió en la red social X.

Una tecnología con capacidades sobrehumanas

Coxon pidió no subestimar el potencial de los sistemas de inteligencia artificial que se están desarrollando. Según su planteo, en un futuro cercano podrían existir sistemas capaces de superar ampliamente las capacidades humanas en diferentes áreas.

El investigador mencionó entre sus posibles capacidades la posibilidad de hackear cualquier cosa, revolucionar campos completos de manera prácticamente inmediata y adquirir poder y recursos reales.

Para Coxon, el progreso observado hasta ahora en esas áreas demuestra que el desarrollo de estas tecnologías continúa avanzando y no muestra señales claras de desaceleración.

“Podría matarnos a todos”

Una de las advertencias más contundentes de Coxon apunta al nivel de preocupación que, según afirma, existe dentro de las propias compañías que desarrollan inteligencia artificial.

El investigador sostuvo que quienes trabajan en el desarrollo de IA creen sinceramente que estas tecnologías podrían provocar la muerte de toda la humanidad antes de que termine la década. “No es un truco de marketing”, afirmó.

Coxon agregó que algunos ejecutivos e investigadores senior moderan públicamente sus declaraciones para transmitir una imagen más prudente, pero aseguró que en privado escucha expresiones de preocupación similares. “Ninguna otra actividad humana representa este nivel de peligro”, sostuvo.

Por qué las empresas continúan desarrollando IA

El investigador también abordó una de las principales contradicciones alrededor de estos riesgos: si quienes desarrollan inteligencia artificial consideran que puede ser extremadamente peligrosa, ¿por qué continúan avanzando?

En el caso de OpenAI, Coxon consideró que muchas personas todavía no han interiorizado profundamente las implicancias que tendría una superinteligencia para la civilización.

Sobre Anthropic, en cambio, sostuvo que allí las consecuencias potenciales están mejor comprendidas, pero que la compañía estaría atrapada en una carrera para llegar primero.

Según su explicación, la lógica sería que ninguna otra organización actuará de manera suficientemente responsable y, por lo tanto, deben continuar desarrollando la tecnología ellos mismos pese a los riesgos.

La carrera por la superinteligencia

Coxon cuestionó que una decisión de semejante trascendencia pueda quedar en manos de empresas privadas.

A su entender, aceptar la carrera hacia lo que denomina el “endgame” de la inteligencia artificial constituye una apuesta demasiado arriesgada y basada en un exceso de confianza.

También cuestionó la idea de acelerar deliberadamente el desarrollo de sistemas de alineamiento para intentar alcanzar rápidamente una solución a los problemas de seguridad de la IA.

Para el investigador, avanzar en esa dirección debería requerir una confianza extraordinaria en que no existen alternativas más seguras.

¿Es posible frenar la carrera de la IA?

Pese a sus críticas, Coxon aseguró mantener una posición optimista respecto de la posibilidad de alcanzar acuerdos de coordinación entre los distintos actores del sector.

En ese sentido, mencionó acontecimientos recientes que, según su interpretación, podrían favorecer acuerdos de ritmo entre laboratorios estadounidenses.

Sin embargo, advirtió que todavía no considera que el mundo esté encaminado a evitar una carrera global por la inteligencia artificial.

Entre las medidas que considera necesarias mencionó opciones particularmente costosas, como una prohibición temporal de mejorar las capacidades de los modelos.

Un llamado a los investigadores de inteligencia artificial

Finalmente, Coxon dirigió su mensaje a quienes trabajan actualmente en los principales laboratorios de IA.

Les pidió que reflexionen sobre cómo podrían ser los próximos años y cuestionó si están dispuestos a iniciar procesos de aprendizaje por refuerzo de sistemas superinteligentes sin contar previamente con una comprensión rigurosa de su funcionamiento interno.

También cuestionó la postura de quienes consideran que el desarrollo de estas tecnologías es inevitable.

“¿Deberías agachar la cabeza porque ‘de todos modos está sucediendo’ —o aprovechar este momento para pedir condiciones diferentes?”, planteó.

Las declaraciones de Coxon vuelven a poner sobre la mesa uno de los debates centrales del desarrollo de la inteligencia artificial: hasta dónde avanzar en capacidades antes de contar con mecanismos suficientemente sólidos para comprender, controlar y alinear sistemas que eventualmente podrían superar ampliamente las capacidades humanas.