Nuevas tecnologías ; nuevos retos - invierno nuclear e inteligencia artificial
Este artículo ha sido escrito por Jaime Sevilla, investigador afiliado al Centre for the Study of Existential Risk de la Universidad de Cambridge.
Nos encontramos en un periodo crítico de la historia de la humanidad.
Dispondremos en las próximas décadas de tecnologías que pueden causar un daño extremo a nivel global - pero hay razones para pensar que carecemos de la pericia colectiva y conocimiento que nos permita gestionarlas de manera segura.
Comienzo analizando el caso de una fuente de riesgo introducida por el desarrollo tecnológico en el siglo pasado: el armamento nuclear.
A continuación presentaré los beneficios y riesgos asociados a una nueva tecnología que tendremos que gestionar en las próximas décadas: la inteligencia artificial.
Ambas perspectivas nos ayudarán a entender mejor la sociedad en la que vivimos – y cómo podemos trabajar para mejorarla.
En el siglo pasado sobrevivimos al desarrollo de armamento nuclear.
Dos bombas nucleares fueron detonadas cerca del final de la segunda guerra mundial, causando alrededor de 170.000 muertes en Hiroshima y Nagasaki (Wellerstein 2020). Sin embargo, el incidente ni se acerca a la magnitud del desastre que podría precipitar el armamento nuclear.
Aparte del impacto directo, el estallido de bombas nucleares puede causar incendios prolongados, levantando una enorme cantidad de hollín hacia la estratosfera, a su vez provocando un invierno nuclear, un periodo de intenso cambio climático con consecuencias catastróficas para la producción de alimentos a nivel mundial (Xia et al. 2022).
A lo largo de la guerra Fría, el mundo temía una guerra nuclear debido a tensiones históricas. Sin embargo, el riesgo de un ataque intencionado siempre ha sido en su mayor parte eclipsado por el riesgo de un ataque accidental.
En 1983, el teniente coronel Stanislav Yevgrafovich Petrov de las Tropas de Defensa Aérea de la Unión Soviética se enfrentó a una dura decisión – ¿debía comunicar la advertencia de un ataque estadounidense proveniente de los radares que supervisaba a sus superiores, con toda seguridad desencadenando el comienzo de una guerra nuclear? ¿O ignorar el protocolo, y cruzar los dedos y confiar en que la alarma fuera resultado de un fallo de la instrumentación?
Afortunadamente para el mundo, Petrov optó por la segunda opción - pero la posibilidad de un invierno nuclear en 1983 constituye un macabro aviso de la fragilidad del mundo moderno (Hoffman 1999).
El riesgo de un ataque accidental no ha desaparecido. La investigadora Luisa Rodríguez compila información de varias fuentes para estimar la probabilidad anual de un ataque nuclear en un ~1.1%, ie un ~10.5% en la próxima década (Rodriguez 2019b).
En un artículo previo, Rodríguez estima la severidad de un hipotético intercambio nuclear entre Rusia y EEUU en la actualidad. Su modelo predice entre 1.5 y 7.2 miles de millones de muertes por hambruna a raíz del invierno nuclear consecuente (Rodriguez 2019a).
La época de tensión de la guerra fría puede haber terminado - pero la amenaza del armamento nuclear sigue presente (Robock 2011).
La promesa de la inteligencia artificial (IA) es automatizar la resolución de problemas, incluyendo problemas cotidianos como la conducción (Kunze et al. 2018) y problemas más esotéricos como el diseño de software (Li et al., n.d.).
Las posibilidades que habilita esta tecnología son abundantes, y pueden tener un impacto positivo dramático en la sociedad. La posibilidad de automatizar gran parte de la labor es un indicio de la posibilidad de que la inteligencia artificial suponga un adelanto económico comparable a las revoluciones agrícola e industrial (Davidson 2021).
Sin embargo, desarrollos recientes en el campo apuntan en una dirección inequívoca: desde el predictor de texto GPT-3 (Brown et al. 2020) hasta el bot de Starcraft AlphaStar (Oriol Vinyals et al. 2019), la delantera la llevan algoritmos con un grado elevado de opacidad. Con ello quiero decir que es difícil interpretar las razones por las que estos sistemas toman unas u otras decisiones.
Ésto es síntoma de un problema mayor. El entendimiento teórico de los problemas técnicos asociados al desarrollo de sistemas avanzados de inteligencia artificial no va a la par que el desarrollo de nuevas capacidades.
Por ejemplo, poco se sabe a día de hoy acerca de cómo conseguir que un sistema de aprendizaje por refuerzo explore de manera segura su entorno, o cómo garantizar que un sistema entrenado bajo condiciones distintas a las que encontrará en producción responda de manera coherente a situaciones que no ha encontrado previamente (Amodei et al. 2016).
En este contexto, la automatización de procesos críticos como la macroeconomía o la seguridad nacional puede tener consecuencias inesperadas a largo plazo.
Por ejemplo, la automatización puede amplificar las vulnerabilidades que suponen otras tecnologías. Volviendo a nuestro análisis anterior, el riesgo de un intercambio nuclear accidental se incrementa si un sistema autónomo está a cargo de la respuesta (Avin and Amadae 2019).
De manera más general, los problemas asociados a la inteligencia artificial se derivan principalmente de la dificultad de especificar objetivos formalmente. Un proceso autónomo con un objetivo mal especificado puede tener un efecto enorme en la sociedad.
Como ejemplo, contemplamos el caso del algoritmo evolutivo de Bird & Layzell. Este algoritmo fue diseñado para diseñar un circuito que emita una señal periódica (un oscilador). En su lugar, el algoritmo encontró la ingeniosa trampa de configurar el circuito para que actuara como una radio, recibiendo la señal periódica emitida por ordenadores cercanos (Bird and Layzell 2002). Otros ejemplos de la misma índole son abundantes en la literatura (Krakovna 2018).
De la misma manera podemos imaginar un sistema avanzado de IA, diseñado para perseguir una meta compleja según cierta especificación formal, que acabe actuando de una manera impredecible.
Incluso metas aparentemente inocuas pueden resultar en desastre - por ejemplo, independientemente de las tareas que estén intentando resolver, los sistemas de optimización avanzados están expuestos a incentivos para garantizar la continuación de su existencia (Omohundro 2008).
A modo de ejemplo, los sistemas que fallen de manera aparente, nunca serán desplegados en contextos delicados; pero un sistema que aparenta funcionar de manera correcta puede ser considerado apto para la tarea. Este proceso de selección favorece a los sistemas capaces de pretender funcionar, incentivando la emergencia de manipulación y ofuscación.
Uno puede imaginar que en tales contextos esperamos que los responsables, tanto investigadores como ingenieros como directivos involucrados, practiquen la diligencia debida para garantizar la seguridad de los sistemas diseñados.
Sin embargo, recordemos que el estudio teórico de los problemas de diseño de objetivos de sistemas de inteligencia artificial sigue en su infancia; y que la promesa de una ventaja estratégica debida a la inteligencia artificial, ya sea a nivel nacional o industrial, puede ser razón suficiente para recortar en medidas de seguridad (Armstrong, Bostrom, and Shulman 2016).
Cabe destacar que estos riesgos son especulativos. Pero incluso aceptando que estos son riesgos que no entendemos en profundidad o quizá improbables, la magnitud del problema requiere una inversión proporcional de estudio y preparación.
Deepmind, OpenAI y otros líderes del campo invierten en entender los potenciales problemas asociados al desarrollo de IA avanzada- espero que otros muchos se unan para aumentar las posibilidades de que la IA nos beneficie a todos.
He hablado del riesgo nuclear y la inteligencia artificial, destacando lo mucho que está en juego. Otros retos a los que nos enfrentamos incluyen la biología sintética, el cambio climático y la manufactura de precisión atómica.
Lo último que pretendo es dar una perspectiva alarmista. Nuevas tecnologías traen nuevos retos, pero en última instancia notamos que el desarrollo de nuevas tecnologías ha resultado históricamente en enormes beneficios, percibidos por gran parte de la sociedad.
Sin embargo, espero que hablando de los problemas que yo y mis compañeros del campo de estudio de los riesgos catastróficos globales afrontamos, y con la ayuda del lector, podamos promover juntos el análisis riguroso de los desafíos tecnológicos y sociales del mundo moderno.
El futuro aguarda. Hagamos todo lo posible por mejorar las vidas de las personas con tecnología e instituciones robustas y seguras.
Gracias a Juan García, Pablo Villalobos, Elena Molina y Sofía Padrón por sus comentarios y trabajo editorial.
Cítese este trabajo como
Jaime Sevilla, “Atravesando la frontera - Riesgo nuclear e inteligencia artificial”, Cambridge (2019).
Este obra está bajo una licencia de Creative Commons Reconocimiento 4.0 Internacional.
-
Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. 2016. ‘Concrete Problems in AI Safety’. ArXiv:1606.06565 [Cs], July. http://arxiv.org/abs/1606.06565.
Armstrong, Stuart, Nick Bostrom, and Carl Shulman. 2016. ‘Racing to the Precipice: A Model of Artificial Intelligence Development’. AI & SOCIETY 31 (2): 201–6. https://doi.org/10.1007/s00146-015-0590-y.
Avin, Shahar, and S M Amadae. 2019. ‘12. Autonomy and Machine Learning at the Interface of Nuclear Weapons, Computers and People’, May, 15.
Bird, J., and P. Layzell. 2002. ‘The Evolved Radio and Its Implications for Modelling the Evolution of Novel Sensors’. In Proceedings of the 2002 Congress on Evolutionary Computation. CEC’02 (Cat. No.02TH8600), 2:1836–41. Honolulu, HI, USA: IEEE. https://doi.org/10.1109/CEC.2002.1004522.
Brown, Tom B., Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. ‘Language Models Are Few-Shot Learners’. ArXiv:2005.14165 [Cs], July. http://arxiv.org/abs/2005.14165.
Davidson, Tom. 2021. ‘Could Advanced AI Drive Explosive Economic Growth?’ Open Philanthropy. 8 April 2021. https://www.openphilanthropy.org/could-advanced-ai-drive-explosive-economic-growth.
Hoffman, David. 1999. ‘“I Had A Funny Feeling in My Gut”’. Washingtonpost.Com. 10 February 1999. https://www.washingtonpost.com/wp-srv/inatl/longterm/coldwar/soviet10.htm?
Krakovna, Victoria. 2018. ‘Specification Gaming Examples in AI’. Victoria Krakovna (blog). 1 April 2018. https://vkrakovna.wordpress.com/2018/04/02/specification-gaming-examples-in-ai/.
Kunze, Lars, Tom Bruls, Tarlan Suleymanov, and Paul Newman. 2018. ‘Reading between the Lanes: Road Layout Reconstruction from Partially Segmented Scenes’. In 2018 21st International Conference on Intelligent Transportation Systems (ITSC), 401–8. Maui, HI: IEEE. https://doi.org/10.1109/ITSC.2018.8569270.
Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, James Keeling, et al. n.d. ‘Competition-Level Code Generation with AlphaCode’, 73.
Omohundro, Stephen M. 2008. ‘The Basic AI Drives’. In Proceedings of the 2008 Conference on Artificial General Intelligence 2008: Proceedings of the First AGI Conference, 483–92. NLD: IOS Press.
Oriol Vinyals, Igor Babuschkin, Junyoung Chung, and Michael Mathieu, Max Jaderberg, Wojtek Czarnecki, Andrew Dudzik, Aja Huang, Petko Georgiev, Richard Powell, Timo Ewalds, Dan Horgan, Manuel Kroiss, Ivo Danihelka, John Agapiou, Junhyuk Oh, Valentin Dalibard, David Choi, Laurent Sifre, Yury Sulsky, Sasha Vezhnevets, James Molloy, Trevor Cai, David Budden, Tom Paine, Caglar Gulcehre, Ziyu Wang, Tobias Pfaff, Toby Pohlen, Yuhuai Wu, Dani Yogatama, Julia Cohen, Katrina McKinney, Oliver Smith, Tom Schaul, Timothy Lillicrap, Chris Apps, Koray Kavukcuoglu, Demis Hassabis, David Silver. 2019. ‘AlphaStar: Mastering the Real-Time Strategy Game StarCraft II’. Deepmind. 24 January 2019. https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii.
Robock, Alan. 2011. ‘Nuclear Winter Is a Real and Present Danger’. Nature 473 (7347): 275–76. https://doi.org/10.1038/473275a.
Rodriguez, Luisa. 2019a. ‘How Bad Would Nuclear Winter Caused by a US-Russia Nuclear Exchange Be? - EA Forum’. 19 June 2019. https://forum.effectivealtruism.org/posts/pMsnCieusmYqGW26W/how-bad-would-nuclear-winter-caused-by-a-us-russia-nuclear.
Rodriguez, Luisa. 2019b. ‘How Likely Is a Nuclear Exchange between the US and Russia? - EA Forum’. 19 June 2019. https://forum.effectivealtruism.org/posts/PAYa6on5gJKwAywrF/how-likely-is-a-nuclear-exchange-between-the-us-and-russia.
Wellerstein, Alex. 2020. ‘Counting the Dead at Hiroshima and Nagasaki’. Bulletin of the Atomic Scientists (blog). 4 August 2020. https://thebulletin.org/2020/08/counting-the-dead-at-hiroshima-and-nagasaki/.
Xia, Lili, Alan Robock, Kim Scherrer, Cheryl Harrison, Jonas Jaegermeyr, Charles Bardeen, Owen Toon, and Ryan Heneghan. 2022. ‘Global Famine after Nuclear War’. https://doi.org/10.21203/rs.3.rs-830419/v1.
