Last Updated on febrero 29, 2024 9:57 am by Laszlo Szabo / NowadAIs | Published on febrero 29, 2024 by Juhasz “the Mage” Gabor
Llama 3 de Meta en julio: Todo lo que necesitas saber sobre el nuevo modelo de IA de Zuckerberg – Notas clave:
- Meta, dirigida por su consejero delegado Mark Zuckerberg, ha anunciado el entrenamiento de Llama 3, un nuevo gran modelo lingüístico (LLM).
- Llama 3 es la continuación de Llama 1 y Llama 2, y se centra en la creación de modelos de código abierto.
- Aún no hay fecha de lanzamiento, pero según los plazos anteriores, Llama 3 podría debutar en torno a julio de 2024.
Antecedentes de Meta Llama 3
En enero de 2024, Mark Zuckerberg, consejero delegado de Meta, compartió en un vídeo de Instagram que la división de IA de la empresa había comenzado recientemente a entrenar a la Llama 3. Esta nueva generación de la familia LLaMa de grandes modelos lingüísticos (LLM) sigue al lanzamiento de los modelos Llama 1 (inicialmente estilizados como “LLaMA”) en febrero de 2023 y de los modelos Llama 3 en julio, según The Information.
Aunque aún no se han revelado detalles como el tamaño de los modelos y las capacidades multimodales, Zuckerberg ha declarado que Meta tiene previsto seguir abriendo los modelos básicos de Llama:
Ver esta publicación en Instagram
¿Cuándo estará disponible Llama 3?
Aunque no hay fecha oficial de lanzamiento, cabe señalar que se tardó tres meses en entrenar a Llama 1 y seis meses en entrenar a Llama 2.
Si la próxima generación de modelos sigue un calendario similar, Llama 3 podría salir al mercado en torno a julio de 2024. Sin embargo, Meta podría dedicar más tiempo a la puesta a punto y la alineación adecuada de los modelos.
Aumentar el acceso a los modelos de IA Generativa permite a más entidades que solo empresas, startups y aficionados.
A medida que los modelos de código abierto se vuelven más potentes, es crucial reducir el riesgo de uso malintencionado por parte de agentes malintencionados.
En su vídeo de anuncio, Zuckerberg reiteró el compromiso de Meta con la formación de modelos de forma responsable y segura.
¿Será Llama 3 de código abierto?
Mientras que Meta proporcionó acceso a los modelos de Llama 1 a instituciones de investigación para uso no comercial caso por caso, el código y los pesos de los modelos de Llama 2 se publicaron bajo una licencia abierta que permitía su uso comercial a organizaciones con menos de 700 millones de usuarios activos mensuales.
Aunque se discute si la licencia de Llama 2 se ajusta a la definición técnica estricta de “código abierto”, en general se habla de él como tal.
No hay indicios de que Llama 3 vaya a publicarse de forma diferente.
¿Será Llama 3 multimodal?
Una tendencia emergente en IA son los modelos multimodales, que pueden entender y operar a través de diferentes formatos o modalidades de datos.
En lugar de crear modelos separados para texto, código, audio, imágenes o vídeos, los nuevos modelos de última generación, como Gemini de Google y GPT-4V de OpenAI, y los modelos de código abierto como LLaVa, o Qwen-VL, pueden moverse sin problemas entre tareas de visión por ordenador y de procesamiento del lenguaje natural.
Aunque Zuckerberg ha confirmado que Llama 3, al igual que Llama 2, tendrá capacidades de generación de código, no mencionó explícitamente otras capacidades multimodales.
Sin embargo, en su vídeo de anuncio de Llama 3, Zuckerberg habló de cómo imagina la IA en intersección con el Metaverso, sugiriendo que los planes de Meta para los modelos Llama incluyen la integración de datos visuales y de audio junto con datos de texto y código, lo que se alinea con su objetivo de lograr la AGI.
¿Qué diferencias habrá entre Llama 3 y Llama 2?
Zuckerberg también ha anunciado importantes inversiones en infraestructura de formación. Para finales de 2024, Meta pretende disponer de unas 350.000 GPU NVIDIA H100, con lo que el total de recursos informáticos disponibles ascenderá a 600.000 equivalentes H100
“600.000 H100 equivalentes de computación”
incluyendo las GPU de las que ya dispone.
En la actualidad, sólo Microsoft dispone de una reserva comparable de potencia de cálculo. Por tanto, es razonable esperar que Llama 3 ofrezca mejoras significativas de rendimiento en comparación con los modelos Llama 2, aunque los tamaños sean similares.
Como sugiere un documento de Deepmind de marzo de 2022, entrenar modelos más pequeños con más datos produce un mejor rendimiento que entrenar modelos más grandes con menos datos.
Aunque Llama 2 estaba disponible en los mismos tamaños que Llama 1, se preentrenó con un 40 % más de datos.
Aunque aún no se han anunciado los tamaños de los modelos de Llama 3, es probable que sigan aumentando el rendimiento dentro de los modelos de 7.000 a 70.000 millones de parámetros, como se ha visto en las generaciones anteriores.
Las recientes inversiones de Meta en infraestructura seguramente permitirán un preentrenamiento más robusto para modelos de cualquier tamaño. Además, Llama 2 duplicó la longitud de contexto de Llama 1, lo que significa que puede “recordar” el doble de tokens durante la inferencia.
Definiciones:
- LLama 3: La tercera iteración de la gran familia de modelos lingüísticos de Meta, centrada en capacidades avanzadas de IA y potenciales aplicaciones multimodales.
- Meta: La empresa matriz de Facebook, Instagram y WhatsApp, centrada en unir a las personas a través de la tecnología y liderar la innovación en IA.
- GPU (unidad de procesamiento gráfico): Circuito electrónico especializado diseñado para manipular y alterar rápidamente la memoria con el fin de acelerar la creación de imágenes y cálculos en una memoria intermedia de fotogramas destinada a la salida a un dispositivo de visualización.
Preguntas más frecuentes:
- ¿Qué es Llama 3 de Meta?
Llama 3 es el último gran modelo lingüístico desarrollado por Meta, del que se espera que amplíe los límites de la IA con capacidades avanzadas. - ¿Cuándo saldrá a la venta Llama 3?
Aunque no hay una fecha de lanzamiento fija, el calendario de Meta sugiere un posible debut en torno a julio de 2024. - ¿Será Llama 3 de código abierto?
Basándose en el compromiso de Meta con las licencias abiertas, se prevé que Llama 3 siga un modelo de código abierto. - ¿Qué novedades podemos esperar de Llama 3?
Se espera que Llama 3 incluya capacidades multimodales, mejorando su integración con datos visuales y sonoros. - ¿Cómo se compara Llama 3 con sus predecesores?
Con importantes inversiones en infraestructura, se espera que Llama 3 ofrezca notables mejoras de rendimiento con respecto a Llama 2.
