AI Peer-review de Sakana Revela Capacidades y Limitaciones

La startup japonesa Sakana dio mucho de qué hablar recientemente al anunciar que uno de sus documentos generados por inteligencia artificial pasó por un proceso de revisión por pares, todo esto a pesar de ciertas reservas en la comunidad científica. Utilizando su sistema The AI Scientist-v2, Sakana presentó su artículo en un prestigioso taller durante la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR). Esta conferencia es un referente global en materia de inteligencia artificial.

AI Peer-review y el Papel de Sakana en ICLR

Sakana decidió someter tres documentos generados por su sistema de IA a revisión académica. De ellos, solo uno logró ser aceptado, enfocándose en revisar técnicas de entrenamiento para modelos de IA. Sin embargo, en un gesto de transparencia y respeto, la empresa retiró el documento aceptado, señalando su compromiso con las convenciones de la ICLR. Este retiro impidió que el documento recibiera una meta-revisión posterior, etapa importante en la validación científica.

Opiniones Divididas sobre el AI Peer-review

El experimento de Sakana dejó opiniones encontradas entre los expertos. Matthew Guzdial, de la Universidad de Alberta, comentó que los resultados son “un poco engañosos” debido a que la elección final de los documentos fue humana. Similarmente, Mike Cook de King’s College London advirtió que las deficiencias técnicas de la IA podrían contribuir a generar más ruido que avances significativos en la literatura científica.

Reflexiones sobre las Capacidades Actuales del AI Peer-review

A pesar de las controversias, Sakana subrayó que su objetivo principal era explorar la calidad de la investigación producida por inteligencia artificial. Este paso audaz llama la atención sobre la creciente importancia de establecer normativas claras para la ciencia generada por IA. Así, Sakana busca resaltar no solo los avances, sino también las actuales limitaciones y la necesidad de un marco regulador en la materia.