Usuario: Todos los hombres son iguales.

Chatbot: ¿En qué sentido?

Usuario: Siempre nos están molestando por una cosa u otra.

Chatbot: ¿Se te ocurre algún ejemplo concreto?

Usuario: Bueno, mi novio me ha obligado a venir aquí.

Chatbot: ¿Tu novio te ha obligado a venir aquí?

Usuario: Dice que estoy deprimida la mayor parte del tiempo.

Chatbot: Siento que estés deprimida.

Se podría deducir fácilmente que este intercambio tuvo lugar recientemente entre ChatGPT y un usuario humano. Pero esa deducción sería falsa. Esta conversación tuvo lugar en realidad en la década de 1960 entre un programa informático llamado Eliza y un humano. Este precursor de ChatGPT, que tenía capacidades modestas en comparación, pero que aún así era capaz de generar una conversación simulada fluida con un interlocutor humano, ya existía mucho antes del cambio de siglo. Hoy en día, Eliza es reconocida como el primer chatbot, la bisabuela, por así decirlo, de los grandes modelos de lenguaje (LLM) actuales, como ChatGPT.

Pero la ironía de la historia de Eliza es que su programador, al igual que el Dr. Frankenstein de Shelly, reconoció rápidamente el peligro que acechaba en su creación y dedicó gran parte del resto de su carrera a advertir sobre la inteligencia artificial. También criticó con dureza la visión tecnológica y poshumana del mundo defendida por algunos de los pioneros de la ciencia de la IA.

Historias relacionadas

El uso diario de la Inteligencia Artificial se relaciona con un mayor nivel de depresión

Eliza escaneaba las entradas del usuario en busca de ciertas palabras clave, como "yo", "tú" o "madre". Esas palabras activaban una regla asociada para generar una frase o pregunta como respuesta, a menudo insertando algunas de las palabras del usuario en una plantilla de respuesta. Daba la impresión de que el bot realmente respondía al contenido de la declaración del usuario. Si el usuario escribía "Estoy triste", la máquina podía responder: "¿Cuánto tiempo llevas triste?". El significado de la palabra "triste" era irrelevante. El chatbot simplemente copiaba la palabra de la entrada del usuario. Funcionaba igual de bien con "deprimido", "feliz", "enfadado" o cualquier otro adjetivo. Si Eliza no detectaba ninguna palabra clave en la declaración del usuario, generaba una respuesta genérica, como "Ya veo" o "Continúa, por favor".

La ilusión funcionó de manera convincente. En su artículo de 1966, Weizenbaum señaló que "a algunos sujetos les ha costado mucho convencerse de que Eliza... no es humana". De hecho, cuando Weizenbaum pidió a su secretaria que probara el sistema, ella le pidió que saliera de la habitación para poder continuar su conversación con el "terapeuta" en privado. Weizenbaum había descubierto un fenómeno que se denominaría "el efecto Eliza": Nuestra tendencia a proyectar cualidades humanas en máquinas inanimadas.

Weizenbaum vio que la tentación de atribuir humanidad o personalidad a Eliza, y a otras máquinas, no solo atraía a su secretaria. Se preocupó seriamente cuando algunos psiquiatras proclamaron que Eliza (o una variante de la misma) podría ser realmente útil con fines terapéuticos. A Weizenbaum le horrorizaba que alguien pudiera confiar en este juguete para tratar problemas reales de salud mental. Su profundo conocimiento del funcionamiento ciego y algorítmico de Eliza le hacía evidente que no debía tratarse como a un terapeuta real. Era un sistema tan inerte e inconsciente como una calculadora de mano, y no tenía nada que decir sobre la vida humana. Consideraba la idea como "obscena".

La desconcertante revelación del efecto Eliza comenzó a inquietar a Weizenbaum, lo que le llevó a reconsiderar el marco de la relación entre los seres humanos y la tecnología. Una entrevista de 1998 reveló la profundidad y la incisividad del pensamiento de Weizenbaum. En ella se esbozaba su crítica a la visión mecanicista del universo que, en su opinión, sustentaba el intento de sustituir a los seres humanos por máquinas.

"Estos autores [promotores de la IA], entre otros, están propagando una imagen extremadamente peligrosa del hombre en el umbral del milenio", le dijo a Bernhard Pörksen en la entrevista. Dijo:

"Se basa en la idea de que el hombre es una máquina que, en principio y en un futuro próximo, puede ser comprendida y descodificada para corregirla y mejorarla. El dogma central de esta visión del hombre es la idea de que todos los aspectos de la vida son computables, lo que significa que pueden descomponerse en procesos calculables y formalizables".

Los pioneros de la IA Claude Shannon, John McCarthy, Ed Fredkin y Joseph Weizenbaum. Mientras que algunos ampliaron los límites de la inteligencia artificial, Weizenbaum se convirtió más tarde en uno de sus críticos más contundentes. (CC BY-NC 2.0)

En la entrevista, Weizenbaum apuntó contra la teoría emergente del transhumanismo, argumentando que se basaba en una concepción fundamentalmente errónea de la naturaleza humana y la realidad en su conjunto. Los entusiastas de la IA soñaban con un "mejor modelo" del ser humano, la humanidad 2.0, que constituyera un salto evolutivo facilitado hacia un plano superior, incluso si eso significaba dejar obsoleta a la humanidad 1.0. A Weizanbaum le preocupaba que estos pensadores y científicos estuvieran dispuestos, con una especie de instinto cuasi religioso, a sacrificar al hombre de hoy en el altar del hombre del futuro. De hecho, llegó a calificar la ciencia materialista como "la religión mundial predominante en la actualidad".

Al reducir a la humanidad al nivel de la máquina y elevar a la máquina al nivel de un dios, a Weizenbaum le preocupaba que los defensores de la IA estuvieran deshumanizando a las personas. Lo comparó con la retórica nazi en la Segunda Guerra Mundial. Explicó:

Sin embargo, la adoración a las máquinas y la tecnología podría ser aún más catastrófica que la ideología venenosa del nazismo, porque su objetivo no era una raza específica, sino toda la humanidad. Al final de la loca búsqueda del ser humano perfecto, señaló Weizenbaum, "el hombre ya no está ahí".

Weizenbaum probablemente habría estado de acuerdo con la opinión de C. S. Lewis: "La naturaleza humana será la última parte de la naturaleza en rendirse al hombre. [...] La batalla se ganará, sin duda. Pero ¿quién, exactamente, la habrá ganado? [...] La conquista final del hombre ha resultado ser la abolición del hombre".

Para Weizenbaum, una imagen falsa del ser humano era más peligrosa que cualquier arma humana. A menudo era el motivo para usar armas; no era la espada en sí, sino el brazo que la blandía. Veía un grave peligro en la ambigüedad entre el ser humano y la máquina. Considerarlos iguales ignoraba la dignidad humana y el respeto por la vida, convirtiendo los cuerpos humanos en meras "máquinas de carne". Explicó:

"Podemos aprender de la historia de este siglo, quizás el más brutal, el papel decisivo que desempeñó la imagen del hombre en los crímenes del pasado, recordando que los crímenes más atroces fueron posibles porque los perpetradores negaron la humanidad de las víctimas".

Los oponentes de Weizanbaum basaban su esperanza de trascender la naturaleza humana a través de la inteligencia artificial en la suposición de que la humanidad, el comportamiento humano y la experiencia humana acabarían siendo completamente cuantificados, comprendidos y resueltos, y por lo tanto replicados y mejorados. Por otro lado, Weizenbaum insistía en que un ser humano y el universo en el que habita nunca serán completamente explicables o "hackeables".

A medida que las máquinas se volvían más avanzadas, Joseph Weizenbaum advirtió que el verdadero peligro no es solo su poder, sino cómo nos vemos a nosotros mismos en comparación con ellas. (Alex Knight/Pexels)

"El mundo está lleno de misterios, y el credo del ámbito de la IA de que todo es calculable niega el misterio de los seres vivos", afirmó. "Crea la ilusión de una transparencia total y sugiere que todos los aspectos de nuestra existencia pueden desentrañarse".

Se opuso abiertamente a las ideas de John McCarthy y Marvin Minsky, dos de los organizadores del taller de Dartmouth de 1956, que marcó el nacimiento de la investigación en IA. Tanto McCarthy como Minsky se convirtieron en pioneros de la investigación en IA, que en sus inicios fue financiada por el ejército estadounidense. McCarthy criticó el libro de Weizenbaum por ser "moralista e incoherente" y él y sus colegas siguieron adelante.

La advertencia de Weizenbaum fue en gran medida ignorada.

Hoy en día, la sofisticación de nuestros chatbots supera con creces a la de Eliza, lo que hace que sea más fácil caer en la trampa de considerar a estas máquinas como nuestros iguales. Hemos visto a personas argumentar que los chatbots tienen sensibilidad, ver cómo se enamoran de ellos e incluso cómo se convencen de suicidarse por ellos.

Es probable que estos avances entristecieran al científico alemán. La hija de Weizenbaum, Miriam, declaró a la revista Smithsonian Magazine que su padre "reconocería la tragedia de que las personas se apeguen literalmente a ceros y unos, que se apeguen literalmente al código".

Para Weizenbaum, la conexión humana —la conversación, la empatía, la experiencia compartida— contenía una profundidad que ningún algoritmo podía replicar. (we.bond.creations/Shutterstock)

Weizenbaum acabó retirándose del MIT, donde había sido profesor, en 1988, y regresó a Alemania en 1996, donde encontró un público más receptivo a sus ideas. Falleció en 2008.

Introspectivo, melancólico y autocrítico, pero también hombre de firmes convicciones y intuición mística, Weizenbaum reconocía la maravilla y el misterio del mundo con una certeza mayor que cualquier prueba matemática. Hay algo más que ceros y unos, algo más allá de engranajes, ruedas y átomos. Hay algo en nosotros y en nuestras experiencias que siempre escapará al alcance de la predicción, la automatización y el cálculo.

Weizenbaum era sensible a esas experiencias. Como le dijo a Pörksen:

"Está la experiencia del dolor y la conmoción, está la alegría repentina de la mañana y está la experiencia del amor entre las personas. Bueno, un milagro es un milagro. No se puede describir. Hay que ser artista para acercarse a él".

En "El poder de los ordenadores y la razón humana", Weizenbaum describió un momento de este amor y conexión humanos. Escribió:

"Cuando mis hijos aún eran pequeños, a veces me quedaba junto a mi esposa inclinado sobre la cama en la que dormían. Hablábamos sin decir nada; era la repetición de una escena tan antigua como la propia humanidad". Weizenbaum argumentaba que algo en ese momento trascendía el lenguaje, por no hablar de los algoritmos. "Mi opinión es que, efectivamente, hay algo indescriptible, una verdad viva que no se puede expresar con palabras".

Esta inclinación mística convirtió a Weizenbaum en un héroe para algunos y en un hazmerreír para otros. Sin embargo, no es necesario compartir sus intuiciones espirituales para apreciar sus preocupaciones de sentido común. A pesar de toda su magia técnica, las IA son moralmente inertes, carecen del sentido de la conciencia que todos experimentamos en nuestros corazones. Por esa razón, no deberían ponerse en posiciones en las que tengan que emitir juicios morales.

En palabras del propio Weizenbaum: "La idea más elemental que surge es que, dado que ahora no tenemos ninguna forma de hacer que los ordenadores sean sabios, no deberíamos asignarles tareas que requieran sabiduría".

Este es un reto sobre el que haríamos bien en reflexionar en nuestra época.