Los modelos multimodales, a diferencia de los modelos de lenguaje que solo procesan texto, permiten procesar datos de diferente tipología (texto, imágenes, audio…). Esta capacidad de interactuar con la IA a través de diferentes medios desbloquea nuevas posibilidades y casos de uso.

Los modelos de lenguaje visuales (VLM), como IDEFICS, son un tipo de modelos multimodales capaces de procesar tanto texto como imágenes. Actualmente, IDEFICS (Hugging Face) es el modelo de lenguaje visual open-source más avanzado hasta el momento.

Volvemos con la segunda adaptación de IDEFICS del mundo

Tras publicar la primera adaptación de IDEFICS del mundo, hoy nuestro Clibrain labs vuelve con una nueva versión, adaptándolo para un nuevo caso de uso.

Esta vez, hemos adaptado el modelo mediante técnicas de fine-tuning haciendo uso de FloCo, un dataset con 11884 diagramas de flujo asociados con sus respectivos códigos.

Entrenado para escribir código Python a partir de diagramas de flujo

Así, conseguimos que al aportar un diagrama de flujo al modelo, este devuelva su código Python correspondiente. Esto facilita y agiliza el proceso de programación, escribiendo de manera instantánea el código que el diagrama de flujo representa.

Además, siguiendo nuestro compromiso con la IA en español, el modelo está preparado para interactuar tanto en inglés como en español.

Modelo y recursos disponibles bajo licencia open-source

Como en nuestros lanzamientos anteriores, liberamos el modelo bajo licencia open-source para que todo el mundo pueda beneficiarse y hacer uso del mismo.

Junto a la publicación de la primera adaptación de IDEFICS, compartimos el procedimiento y las técnicas que se siguieron para el entrenamiento del modelo, así como los pasos para realizar inferencia sobre el mismo. Estos recursos son aplicables también para esta segunda adaptación.

Podéis encontrar esta adaptación de IDEFICS y el resto de nuestros modelos open-source en hf.co/clibrain.