Jacob Coxon advierte que la carrera por una superinteligencia capaz de mejorarse a sí misma podría representar un riesgo para la humanidad
Jacob Coxon, investigador que trabajó durante tres años en OpenAI y Anthropic, anunció su renuncia a Anthropic y lanzó una advertencia sobre el ritmo de desarrollo de la inteligencia artificial. Según explicó, ambas compañías están compitiendo por crear sistemas capaces de mejorar sus propias capacidades y considera que esta carrera podría generar riesgos difíciles de controlar.
Coxon sostiene que algunos investigadores de la industria creen que una IA muy avanzada podría llegar a superar ampliamente las capacidades humanas y adquirir autonomía para actuar en el mundo real. Su principal preocupación no son los modelos actuales, sino una hipotética superinteligencia desarrollada mediante procesos de automejora recursiva.
La advertencia recibió el respaldo de Evan Hubinger, investigador de Anthropic especializado en alineamiento de IA. Hubinger afirmó que considera superior al 10 % la posibilidad de que una IA provoque la extinción humana durante la próxima década, aunque también aclaró que el riesgo de los modelos actuales es bajo y que el principal problema sería una futura superinteligencia para la que todavía no existe una solución completa de alineamiento.
El debate muestra una división dentro de la industria tecnológica entre quienes consideran que los riesgos existenciales deben abordarse antes de alcanzar sistemas más capaces y quienes creen que todavía existe demasiada incertidumbre para anticipar un escenario de extinción. La posibilidad de que la IA llegue a destruir a la humanidad continúa siendo una hipótesis debatida, pero las advertencias de investigadores de las propias compañías han aumentado la presión para desarrollar mecanismos de seguridad y supervisión.
Fuente: El Periódico — Jacob Coxon y el riesgo existencial de la IA
Fuente: El País — Jacob Coxon: un investigador de Anthropic dimite y alerta del peligro de la IA
Fuente: Associated Press — Anthropic researcher resigns with warning about the dangers of AI development
Fuente: TechCrunch — Anthropic researcher quits, warns against self-improving AI