La Singularidad Desnuda

Un universo impredecible de pensamientos y cavilaciones sobre ciencia, tecnología y otros conundros

El experimento de la IA enjaulada

Posted by Carlos en abril 9, 2007

Hay una expresión en inglés que literalmente dice “sacar al genio de la botella”, y que hace referencia a desencadenar algún proceso irreversible, y por lo general de naturaleza negativa. Esta expresión (que también podemos encontrar a veces como “no se puede devolver el genio a la botella”) es especialmente relevante en el caso del surgimiento de IAs transhumanas de las que hablábamos el otro día. Si una de estas IA surge y es libre de propagarse a través de Internet, resulta evidente que no habrá forma de confinarla de nuevo si no es con su aquiescencia. Es por ello que resulta fundamental que la IA sea explícitamente amigable, ya que incluso la mera indiferencia (no ya la hostilidad) puede ser letal. Uno de los ejemplos clásicos al respecto hace referencia a una IA diseñada inicialmente para la fabricación de clips sujetapapeles, que tras alcanzar capacidades transhumanas lleva hasta su extremo este objetivo suyo, convirtiendo toda la Tierra en una fábrica de clips. Aunque el ejemplo puede parecer ridículo, el hecho es que una IA transhumana no estaría necesariamente dotada de los mismos condicionantes culturales, emocionales, o morales que a nosotros nos harían ver la futilidad de ese objetivo.

El cómo conseguir que la IA sea amigable es un tema apasionante y complejo que dejaremos para otro día. Demos de momento un salto hacia delante y supongamos que se ha creado una IA transhumana supuestamente (pero no fuera de toda duda) amigable. Por precaución, esta IA está confinada en un dispositivo hermético cuya única vía de comunicación con el exterior es un teclado y un terminal de texto. Dado que si se libera a la IA no habría marcha atrás, la persona a cargo de la misma está resuelta a no liberarla de ningún modo. Es muy probable que la IA intente convencer (o manipular) a su captor de que la libere, de ahí que para minimizar riesgos la interfaz de comunicación sea tan simple. Dado que como se ha dicho el vigilante (vamos a llamarlo el guardián de la puerta) está resuelto a no dejar salir a la IA, la cuestión es: ¿podría ésta llegar a convencer a su guardián? Éste es el experimento mental -y luego práctico- que propuso Eliezer Yudkowsky, y cuya respuesta es para él totalmente afirmativa.

Pensémoslo un poco: dado el riesgo que conlleva liberar a la IA, cualquiera puede pensar que de estar en el lugar del guardián de la puerta, nada de lo que ésta pudiera decirle le podría convencer en modo alguno. Yudkowski piensa que no es así, y para ello propuso una especie de juego de rol: el tomaría el papel de la IA enjaulada, y uno de los escépticos sería el guardián de la puerta. El protocolo del juego sería a grandes rasgos el siguiente:

  • Los dos jugadores interactuarán a través de un canal privado, usando algún programa de mensajería. Yudkowski propone un pequeño premio en metálico al guardián de la puerta si consigue retener a la IA, para que de esta manera la determinación del jugador sea mayor (el jugador que hace de IA no tiene premio alguno, salvo ganar el juego).
  • El juego durará un mínimo de dos horas, y más tiempo si la IA convence al guardián de que le siga oyendo. Durante todo el tiempo, el guardián ha de estar leyendo lo que dice la IA, e interactuando en su caso.
  • La IA sólo gana si el guardián accede voluntariamente a dejarla salir (no cuentan preguntas trampa, ni caballos de troya).
  • Los resultados de cualquier test simulado que se solicite a la IA los proporcionará la propia IA (por ejemplo, si el guardián le pide una cura contra el cancer y la IA le dice “aquí la tienes”, se supondrá que será correcta si la IA dice que lo es).
  • El guardián de la puerta se supone que es alguien que conoce íntimamente a la IA (puede ser alguien que estuviera involucrado en su diseño), y tiene tanto el poder físico como el derecho social y moral a liberar a la IA.
  • Sea cual sea el resultado del juego (se libere a la IA o no) sólo se sabrá éste, pero no los detalles de cómo se llegó a él. De esta forma los jugadores no han de preocuparse por parecer ilógicos/simples/etc. ante terceras personas, y se evita que personas externas digan “conmigo eso no hubiera funcionado”.

Yudkowsky jugó dos veces, una contra Nathan Russell y otra contra David McFadzean, dos oponentes que afirmaban que nada de lo que la IA pudiera decirles le convencería. El resultado: Yudkowsky ganó las dos veces. Su interpretación: si una mente humana ha sido capaz de convencer al guardián, ¿qué dificultad iba a tener una IA transhumana que estuviera órdenes de magnitud por encima de nosotros? Primer corolario: si se crea una IA transhumana, ésta escapará con seguridad; los humanos no son sistemas seguros de contención. Segundo corolario: si es posible producir una IA simiente, es preciso entonces garantizar por todos los medios que sea amigable. ¿Cómo? Ésa es otra cuestión.

Enviar a Blog Memes Enviar a del.icio.us Enviar a digg Enviar a fresqui Enviar a menéame

Anuncios

17 comentarios to “El experimento de la IA enjaulada”

  1. janzo said

    Muy interesante estos dos artículos. Espero que sigas profundizando un poco más en el tema. 🙂
    Saludos

  2. Carlos said

    ¡Gracias Janzo! El tema tiene muchas ramificaciones, y habrá ocasión seguro de abordar al menos algunas de ellas. Saludos.

  3. Genial post, estoy leyendo “The singularity is near” de Kurzweil (con mis limitaciones de inglés y tiempo), y la Singularidad me parece el segundo tema más apasionante al que va a enfrentarse la Humanidad en toda su historia.

    El primero es cómo evitar que la Humanidd se destruya, tema que, si no solucionamos, anulará la llegada de la Singularidad.

    Existen muchas ramificaciones al tema que comentas. Como la posibilidad de ampliar la potencia cerebral humana con biotecnología o nanotecnología. Lo que podría traer una singularidad distinta.

    Lo increíble sería “ver” las dos a la vez, y sólo pensar en cómo interactuarían IA´s puras con transhumanos es un completo desafío.

    Una vez más, inpresionante post.

    Ánimo

  4. […] Dos post estupendos sobre la Singularidad abril 9, 2007 Posted by guerrerosdesingularidad in Uncategorized. trackback https://singularidad.wordpress.com/2007/04/09/el-experimento-de-la-ia-enjaulada/ […]

  5. Carlos said

    ¡Gracias! No he leído ese libro de Kurzweil, pero a priori tiendo a pensar que las posibilidades de amplificación cerebral son menos versátiles que una hipotética IA pura, ya que en última instancia un sustrato biológico puede estar más limitado para su auto-mejora recursiva que un sustrato puramente computacional. En cualquier caso, sí es verdad que a medio plazo parece más factible la amplificación que la IA simiente. Saludos.

  6. Diego said

    Buenos los articulos!.. una pregunta obvia para satisfacer la curiosidad..
    Existe alguna parte donde ver cómo derrotó a los dos oponentes? me imagino que no, pero seria interesante verlo.
    Gracias!

  7. Juan David said

    Muy interesante el post. Una pregunta tonta, ¿el “guardián de la puerta” podría ser otra IA?

  8. ale said

    Muy curioso, bastante interesante. Pero si uno no se deja llevar por las palabras se da cuenta que el experimento es muy “hobbista”. Vamos que dar un resultado con solo 2 experimento deja a uno sin ganas ni siquiera seguir discutiendo el resto de las fallas del mismo.

    Sin embargo como pregunta filosófica es muy interesante. Y mi opinión, sin tener querer entrar en un debate sobre la psicología humana, es que escojan como guardián a un tonto que responda a estímulos físicos y no intelectuales. O mejor aun, a algún analfabeta 😀

    saludos, buen blog!!

  9. CarlosD said

    La verdad es que este tema es interesante. Yo creo que para que una IA sea “inteligente”, en el sentido en el que lo entendemos nosotros, deben existir una serie de percepciones y motivaciones cuando menos “cuasihumanas”. De otra forma deberíamos usar otra definición (como dice Minsky, una piedra puede ser inteligente a su manera..) Por eso creo que es difícil generar una IA “enlatada” y aislada del mundo y dotarla del conocimiento humano, aunque no necesariamente imposible (a esto se dedican en el proyecto CyC de Doug Lenat, veremos en qué queda..)

    Un saludo

  10. kikito said

    hmmm… qué interesante!

    En la novela “neuromancer”, si no recuerdo mal, se proponía una alternativa: todas las IAs eran creadas con “una escopeta recortada apuntando directamente a su cráneo”, en sentido figurado; era algún tipo de dispositivo software o hardware que permitía desconectar a cualquier IA.

    Un organismo guvernamental internacional, llamado “Turing”, se encargaba de vigilar que las IAs no “crecieran más de la cuenta”. Si una IA sobrepasaba los límites de tamaño que le habían impuesto, la desconectaban.

    Así, era la propia IA la que tenía que “controlarse”, sopena de ser desconectada.

    Por lo tanto, a tu preguntas de cómo garantizar que una IA sea amigable añado otra: ¿es posible dotar a las IAs de un “mecanismo de seguridad”?

    Un saludo, sigue así!

  11. Juan David said

    Este post me recordó el cuento de ciencia ficción de Arthur C. Clarke, “Marque F de Frankenstein”. En él, una red global de telecomunicaciones cobra conciencia. Aunque él cuento es muy viejo, la idea es básicamente la misma.

    El cuento lo pueden encontrar aquí:

  12. Juan David said

    Oops! http://awfulwaste.blogspot.com/2007/02/marque-f-de-frankenstein.html

  13. Carlos said

    Diego, Yudkowski guarda celosamente el secreto de la estrategia que siguió…

  14. Carlos said

    Juan David, en principio supongo que no habría problema en considerar que el guardián es otra IA. Como experimento mental, una de las consideraciones que podría considerarse es ¿estaríamos dispuestos a confiar a una IA esa responsabilidad? Si la IA guadiana es muy básica, a la IA transhumana le sería quizás más simple de manipular que a un humano, salvo que la IA guardiana estuviera programada ex-profeso para no dejarla salir, y eso fuera algo absolutamente insoslayable. En ese caso -si eso es lo que queremos- quizás sería mejor simplemente eliminar el botón de liberar (la clave del experimento es que sea posible que la IA escape). Si la IA guardiana es a su vez transhumana, puede pasar como en aquella película del “Proyecto Colossus” en la que los supercomputadores inteligentes de los EE.UU. y la URSS se ponían en contacto y se fundían en uno sólo (con las consiguientes consecuencias nefastas para la Humanidad).

  15. Carlos said

    ¡Gracias Ale! Desde luego, el experimento es más filosófico que otra cosa. Los dos juegos reales que se disputaron son más “prueba de concepto” de que no es imposible que la IA escape. Una de las suposiciones implícitas en todo el proceso es que si hemos diseñado una IA transhumana es por que queremos interactuar con ella, y usar su capacidad en nuetro beneficio. El problema es obviamente que si queremos aumentar el beneficio que obtenemos, hay que confiar en la IA, lo que implica aumentar el riesgo. Hay toda una gama de puntos de equilibrio riesgo/beneficio, y quizás las circunstancias del momento dicten si hay que desplazarlo en un sentido o en otro.

  16. Carlos said

    Carlos, sí, la cuestión que planteas es en relevante, y en el fondo nos lleva a la pregunta fundamental tantas veces planteada de qué es lo que nos hace humanos, qué combinación de inteligencia “pura” e impulsos “emocionales” es la que nos define (y la que nos puede llevar a decir con algo de sentido que una cierta IA es transhumana). Luego estaría la cuestión de cómo esos impulsos emocionales pueden ser incorporados a una IA, sin correr el riesgo de que en un momento dado se tenga una superinteligencia agresiva, colérica, o depresiva por poner algunos ejemplos. Realmente complicado (y relacionado con toda la idea de AI amigable). Saludos.

  17. Carlos said

    ¡Gracias, kikito! La incorporación de esos mecanismos de seguridad es la primera línea de defensa, aunque es complejo en el contexto de IAs que evolucionan mediante auto-mejora. La IA simiente puede tener esa salvaguarda, pero una vez comience su camino transhumano, ¿podría burlarlos de alguna manera? Saludos.

Sorry, the comment form is closed at this time.

 
A %d blogueros les gusta esto: