La Singularidad Desnuda

Un universo impredecible de pensamientos y cavilaciones sobre ciencia, tecnología y otros conundros

Posts Tagged ‘Riesgo Existencial’

El experimento de la IA enjaulada

Posted by Carlos en abril 9, 2007

Hay una expresión en inglés que literalmente dice “sacar al genio de la botella”, y que hace referencia a desencadenar algún proceso irreversible, y por lo general de naturaleza negativa. Esta expresión (que también podemos encontrar a veces como “no se puede devolver el genio a la botella”) es especialmente relevante en el caso del surgimiento de IAs transhumanas de las que hablábamos el otro día. Si una de estas IA surge y es libre de propagarse a través de Internet, resulta evidente que no habrá forma de confinarla de nuevo si no es con su aquiescencia. Es por ello que resulta fundamental que la IA sea explícitamente amigable, ya que incluso la mera indiferencia (no ya la hostilidad) puede ser letal. Uno de los ejemplos clásicos al respecto hace referencia a una IA diseñada inicialmente para la fabricación de clips sujetapapeles, que tras alcanzar capacidades transhumanas lleva hasta su extremo este objetivo suyo, convirtiendo toda la Tierra en una fábrica de clips. Aunque el ejemplo puede parecer ridículo, el hecho es que una IA transhumana no estaría necesariamente dotada de los mismos condicionantes culturales, emocionales, o morales que a nosotros nos harían ver la futilidad de ese objetivo.

El cómo conseguir que la IA sea amigable es un tema apasionante y complejo que dejaremos para otro día. Demos de momento un salto hacia delante y supongamos que se ha creado una IA transhumana supuestamente (pero no fuera de toda duda) amigable. Por precaución, esta IA está confinada en un dispositivo hermético cuya única vía de comunicación con el exterior es un teclado y un terminal de texto. Dado que si se libera a la IA no habría marcha atrás, la persona a cargo de la misma está resuelta a no liberarla de ningún modo. Es muy probable que la IA intente convencer (o manipular) a su captor de que la libere, de ahí que para minimizar riesgos la interfaz de comunicación sea tan simple. Dado que como se ha dicho el vigilante (vamos a llamarlo el guardián de la puerta) está resuelto a no dejar salir a la IA, la cuestión es: ¿podría ésta llegar a convencer a su guardián? Éste es el experimento mental -y luego práctico- que propuso Eliezer Yudkowsky, y cuya respuesta es para él totalmente afirmativa.

Pensémoslo un poco: dado el riesgo que conlleva liberar a la IA, cualquiera puede pensar que de estar en el lugar del guardián de la puerta, nada de lo que ésta pudiera decirle le podría convencer en modo alguno. Yudkowski piensa que no es así, y para ello propuso una especie de juego de rol: el tomaría el papel de la IA enjaulada, y uno de los escépticos sería el guardián de la puerta. El protocolo del juego sería a grandes rasgos el siguiente:

  • Los dos jugadores interactuarán a través de un canal privado, usando algún programa de mensajería. Yudkowski propone un pequeño premio en metálico al guardián de la puerta si consigue retener a la IA, para que de esta manera la determinación del jugador sea mayor (el jugador que hace de IA no tiene premio alguno, salvo ganar el juego).
  • El juego durará un mínimo de dos horas, y más tiempo si la IA convence al guardián de que le siga oyendo. Durante todo el tiempo, el guardián ha de estar leyendo lo que dice la IA, e interactuando en su caso.
  • La IA sólo gana si el guardián accede voluntariamente a dejarla salir (no cuentan preguntas trampa, ni caballos de troya).
  • Los resultados de cualquier test simulado que se solicite a la IA los proporcionará la propia IA (por ejemplo, si el guardián le pide una cura contra el cancer y la IA le dice “aquí la tienes”, se supondrá que será correcta si la IA dice que lo es).
  • El guardián de la puerta se supone que es alguien que conoce íntimamente a la IA (puede ser alguien que estuviera involucrado en su diseño), y tiene tanto el poder físico como el derecho social y moral a liberar a la IA.
  • Sea cual sea el resultado del juego (se libere a la IA o no) sólo se sabrá éste, pero no los detalles de cómo se llegó a él. De esta forma los jugadores no han de preocuparse por parecer ilógicos/simples/etc. ante terceras personas, y se evita que personas externas digan “conmigo eso no hubiera funcionado”.

Yudkowsky jugó dos veces, una contra Nathan Russell y otra contra David McFadzean, dos oponentes que afirmaban que nada de lo que la IA pudiera decirles le convencería. El resultado: Yudkowsky ganó las dos veces. Su interpretación: si una mente humana ha sido capaz de convencer al guardián, ¿qué dificultad iba a tener una IA transhumana que estuviera órdenes de magnitud por encima de nosotros? Primer corolario: si se crea una IA transhumana, ésta escapará con seguridad; los humanos no son sistemas seguros de contención. Segundo corolario: si es posible producir una IA simiente, es preciso entonces garantizar por todos los medios que sea amigable. ¿Cómo? Ésa es otra cuestión.

Enviar a Blog Memes Enviar a del.icio.us Enviar a digg Enviar a fresqui Enviar a menéame

Anuncios

Posted in Inteligencia Artificial, Juegos, Singularidad, Tecnología, What-if | Etiquetado: | 17 Comments »