Investigadores de la UGR mejoran la eficiencia del lenguaje basado en IA

La inteligencia artificial sigue avanzando, y ahora un equipo de la Universidad de Granada ha desarrollado un innovador método para reducir el tamaño de los modelos de lenguaje basados en BERT, sin afectar su rendimiento. Este hallazgo podría cambiar la forma en que los sistemas de IA se utilizan en dispositivos con menos capacidad, como los teléfonos móviles.

El método, denominado Persistent BERT Compression and Explainability (PBCE), se basa en la homología persistente para identificar y eliminar neuronas redundantes. Gracias a este enfoque, los investigadores lograron reducir hasta un 47% el tamaño de BERT Base y un 42% el de BERT Large, sin afectar significativamente la precisión en tareas de procesamiento del lenguaje natural.

BERT y su impacto en la inteligencia artificial

BERT es uno de los modelos de lenguaje más utilizados en inteligencia artificial. Gigantes tecnológicos como Google lo emplean para comprender mejor las consultas de los usuarios y ofrecer resultados de búsqueda más precisos. Sin embargo, su gran tamaño y consumo de recursos han limitado su uso en dispositivos con menor capacidad. Este problema ha impulsado la búsqueda de soluciones como PBCE, que no solo reduce el peso del modelo, sino que también mejora su interpretabilidad.

Hacia una IA más accesible y sostenible

El elevado costo computacional de los grandes modelos de lenguaje plantea un reto ambiental. Con este nuevo método, los investigadores de la UGR buscan acercarse a una IA más sostenible y eficiente, reduciendo la huella de carbono sin sacrificar el rendimiento.

"Este método no solo optimiza el tamaño del modelo, sino que también mejora la explicabilidad del comportamiento de las neuronas, lo que facilita la interpretación de las redes neuronales", explica Luis Balderas, investigador de la UGR y del Instituto DaSCI.

Resultados prometedores en pruebas de rendimiento

La investigación, publicada en la revista Applied Sciences, ha demostrado que PBCE mantiene un alto nivel de rendimiento en el GLUE Benchmark, un conjunto de pruebas utilizadas para evaluar modelos de lenguaje. En algunas tareas, el modelo comprimido incluso supera a la versión original de BERT, lo que confirma la eficacia del método.

Este avance abre nuevas posibilidades para la implementación de modelos de IA en dispositivos móviles y sistemas con recursos limitados, democratizando el acceso a la inteligencia artificial y permitiendo su aplicación en nuevos entornos.

El papel del Instituto DaSCI

El Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional (DaSCI), con sede en las universidades de Granada, Jaén y Córdoba, ha sido clave en esta investigación. Este centro de excelencia impulsa el desarrollo de soluciones avanzadas en inteligencia artificial, fomentando la colaboración entre expertos y promoviendo la digitalización en distintos sectores. Con este nuevo logro, la UGR y el Instituto DaSCI continúan posicionándose como referentes en el campo de la inteligencia artificial, aportando soluciones innovadoras para mejorar la eficiencia y accesibilidad de los modelos de lenguaje.