Nueva York. Incluso las mentes humanas más brillantes que desarrollan la inteligencia artificial generativa que está a punto de cambiar el mundo admiten que no comprenden cómo funcionan los cerebros digitales.

Quienes no se dedican al sector suelen sorprenderse y alarmarse al descubrir que no entendemos cómo funcionan nuestras propias creaciones de IA, escribió Dario Amodei, cofundador de Anthropic, en un ensayo publicado en Internet en abril.

Esta falta de comprensión no tiene precedentes en la historia de la tecnología.

A diferencia de los programas de software tradicionales, que siguen rutas lógicas prestablecidas dictadas por los programadores, los modelos de IA generativa (IA gen) son entrenados para encontrar su propio camino al éxito una vez que reciben un pedido.

En un pódcast reciente, Chris Olah, quien formó parte deOpenAI (creador de ChatGPT) antes de unirse a Anthropic, describió la IA gen como un andamio sobre el que crecen los circuitos.

Olah es considerado una autoridad en la llamada interpretabilidad mecanicista, un método de ingeniería inversa para comprender cómo funcionan los modelos de IA.

Esta ciencia, nacida hace aproximadamente una década, busca determinar exactamente cómo la inteligencia artificial llega de una pregunta a una respuesta.

Comprender la totalidad de un modelo de lenguaje extenso es una tarea increíblemente ambiciosa, dijo Neel Nanda, investigador principal del laboratorio de IA DeepMind de Google.

Es en cierto modo análogo a intentar comprender completamente el cerebro humano, algo que los neurocientíficos aún no han logrado, añadió Nanda.

Explorar las mentes digitales para comprender su funcionamiento se ha transformado en un campo académico de gran interés, entre otros motivos por su potencial de tornar la IA más poderosa.

Los estudiantes se sienten muy atraídos por ello porque perciben el impacto que puede tener, afirmó Mark Crovella, profesor de informática de la Universidad de Boston.

Según Crovella, la interpretabilidad mecanicista implica estudiar no sólo los resultados proporcionados por la IA, sino también analizar los cálculos realizados cuando la tecnología examina las consultas.

Se podría analizar el modelo, observar los cálculos que se están realizando e intentar comprenderlos, explicó el profesor.

La empresa Goodfire utiliza software capaz de representar datos en forma de pasos de razonamiento para comprender mejor el procesamiento de la IA generativa y corregir errores. La herramienta también está diseñada para evitar que los modelos de IA se utilicen con fines maliciosos o que decidan por sí mismos engañar a los humanos sobre lo que están haciendo.

Se siente como una carrera contrarreloj para llegar antes de que se implementen modelos de IA extremadamente inteligentes en el mundo sin comprender cómo funcionan, afirmó Eric Ho, director ejecutivo de Goodfire.

En su ensayo, Amodei señala que los recientes avances lo volvieron optimista respecto a que la clave para descifrar completamente la IA se encontrará en dos años.

Coincido en que para 2027, podríamos tener una interpretabilidad que detecte de forma fiable los sesgos y las intenciones dañinas de los modelos, indicó Anh Nguyen, profesor asociado de la Universidad de Auburn.

Según Crovella, de la Universidad de Boston, a diferencia del cerebro humano, en el caso de la IA los investigadores tienen “el equivalente a cada neurona instrumentada dentro de estos modelos.

Todo lo que ocurre dentro del modelo lo conocemos perfectamente. Es cuestión de descubrir la forma correcta de analizarlo, apuntó el académico.

Descifrar el funcionamiento interno de la IA generativa podría allanar el camino para su adopción en áreas donde pequeños errores pueden tener consecuencias drásticas, como la seguridad nacional, sostiene Amodei.