Advierten riesgos globales de los agentes de inteligencia artificial en el Foro de Davos
Yoshua Bengio, pionero en inteligencia artificial, señaló durante el Foro Económico Mundial los peligros de sistemas autónomos, proponiendo alternativas supervisadas para prevenir posibles escenarios catastróficos
Yoshua Bengio, considerado uno de los “padrinos de la IA” junto a Geoffrey Hinton y Yann LeCun, y galardonado con el Premio Turing en 2018, lanzó una seria advertencia sobre los riesgos potenciales de desarrollar agentes de inteligencia artificial demasiado poderosos.
Durante su participación en el Foro Económico Mundial, Bengio llamó la atención sobre los peligros que representan estos sistemas autónomos y propuso una alternativa para minimizar los riesgos, destacando la importancia de sistemas de IA no basados en agentes.
En una entrevista con Business Insider, Bengio enfatizó que “todos los escenarios catastróficos con AGI o superinteligencia suceden si tenemos agentes”. Según explicó, los agentes son sistemas que actúan de forma autónoma, con objetivos propios, lo que los convierte en una amenaza potencial si sus decisiones no están alineadas con los valores y los intereses humanos.
Los riesgos de los agentes de IA
En su intervención, Bengio se refirió específicamente a los agentes de IA con capacidades cognitivas similares a las humanas, conocidas como inteligencia general artificial (AGI). Según explicó, estos agentes podrían representar un grave peligro si no se diseñan ni controlan adecuadamente. Entre los escenarios más alarmantes que mencionó se encuentran los sistemas de armas autónomos, que podrían tomar decisiones letales sin intervención humana.
Y también, la manipulación masiva de información, donde agentes de IA podrían ser utilizados para difundir desinformación y propaganda, socavando valores fundamentales como la democracia.
“El problema es que las personas seguirán construyendo agentes sin importar qué, especialmente porque las empresas y los países competidores temen que otros logren alcanzar primero la AGI autónoma”, afirmó Bengio en Business Insider.
Además destacó que los riesgos de los agentes autónomos radican en el posible conflicto entre sus objetivos y los valores humanos. “Debemos reconocer los riesgos, entender científicamente de dónde vienen y realizar la inversión tecnológica necesaria para garantizar la seguridad antes de que sea demasiado tarde y construyamos cosas que puedan destruirnos”, agregó.
El debate ético sobre la IA
La advertencia de Bengio forma parte de un debate ético más amplio sobre el desarrollo de la inteligencia artificial. Expertos y filósofos han planteado preocupaciones como la posibilidad de que las máquinas desarrollen conciencia propia, el grado de autonomía que deberían tener y la cuestión de quién debe ser responsable de sus acciones.
Durante un panel en el Foro Económico Mundial, Bengio instó a considerar estos dilemas y señaló que la colaboración internacional es clave para establecer estándares éticos y de seguridad.
Según él, la regulación debería impedir que las empresas desarrollen modelos autónomos sin probar primero su seguridad. “Es posible avanzar en nuestra ciencia sobre una IA segura y capaz, pero necesitamos reconocer los riesgos y realizar las inversiones necesarias”, afirmó.
Bengio también ha apoyado iniciativas concretas, como la legislación de seguridad de la IA SB 1047 en California, que busca requerir evaluaciones de riesgos para modelos cuyo costo de entrenamiento supere los 100 millones de dólares.
De paso, abogó por medidas como el registro de productos de IA, la formación ética para los desarrolladores y la supervisión gubernamental para rastrear posibles usos peligrosos o ilegales de esta tecnología.
La alternativa: sistemas de IA no basados en agentes
Como una solución a los riesgos de los agentes de IA, Bengio propone centrarse en sistemas de IA no basados en agentes. Estos sistemas no tienen objetivos propios ni capacidad de actuar de forma autónoma, y su uso está limitado a tareas específicas, lo que permite un mayor control y transparencia.
“Toda la IA para la ciencia y la medicina, todas las cosas que les importan a las personas, no son autónomas”, explicó en Business Insider. “Podemos continuar construyendo sistemas más poderosos que no sean autónomos”.
Entre los ejemplos de estos sistemas se encuentran herramientas para el análisis de datos, capaces de identificar patrones y extraer información valiosa, y sistemas que generan obras de arte como música, pinturas o poemas. Estas aplicaciones específicas, según Bengio, no requieren autonomía y, por lo tanto, son más fáciles de supervisar.
El informático canadiense también destacó los beneficios de los sistemas no autónomos en el ámbito científico, como el avance en descubrimientos biológicos. Citó el trabajo de DeepMind en el plegamiento de proteínas como una prueba de cómo la inteligencia artificial puede ser transformadora sin la necesidad de otorgarle agencia. “Es una apuesta, lo reconozco, pero creo que es una apuesta que vale la pena”, dijo.
Finalmente, Bengio plantea la posibilidad de desarrollar sistemas de monitoreo más sofisticados que permitan controlar a los agentes de IA. Sin embargo, advierte que esta estrategia requerirá una inversión significativa en investigación y desarrollo.
Una visión para el futuro de la IA
Yoshua Bengio propone una visión inspirada en la utopía de Star Trek, donde la tecnología sea utilizada para el beneficio de la humanidad: un mundo con democracia, atención médica, educación y alimentos para todos, y sin guerras.
Para alcanzar esta visión, es fundamental garantizar que el desarrollo de la inteligencia artificial esté guiado por principios de responsabilidad, transparencia y seguridad.
La advertencia de Bengio sobre los agentes de IA no es solo un llamado a la reflexión, sino una propuesta concreta para construir un futuro en el que la IA pueda mejorar nuestras vidas sin convertirse en una amenaza existencial.
Su compromiso con la Declaración de Montreal para el Desarrollo Responsable de la inteligencia artificial y su liderazgo en el informe científico internacional sobre la seguridad de la IA avanzada reflejan su intención de garantizar que esta tecnología beneficie a toda la humanidad.