Last Updated on Februar 29, 2024 9:50 am by Laszlo Szabo / NowadAIs | Published on Februar 29, 2024 by Juhasz “the Mage” Gabor
Metas Llama 3 im Juli: Alles, was Sie über Zuckerbergs neues KI-Modell wissen müssen – Key Notes:
- Meta, angeführt von CEO Mark Zuckerberg, kündigte das Training von Llama 3 an, einem neuen großen Sprachmodell (LLM).
- Llama 3 folgt auf die Veröffentlichung von Llama 1 und Llama 2, wobei der Schwerpunkt auf dem Open-Sourcing der Modelle liegt.
- Es gibt noch kein Veröffentlichungsdatum, aber basierend auf früheren Zeitplänen könnte Llama 3 im Juli 2024 erscheinen.
Meta’s Llama 3’s Hintergrund
Im Januar 2024 teilte Mark Zuckerberg, der CEO von Meta, in einem Instagram-Video mit, dass die KI-Abteilung des Unternehmens kürzlich mit dem Training des Llama 3 begonnen hat. Diese neue Generation der LLaMa-Familie von großen Sprachmodellen (LLMs) folgt auf die Veröffentlichung der Llama-1-Modelle (ursprünglich als “LLaMA” bezeichnet) im Februar 2023 und der Llama-3-Modelle im Juli – laut The Information.
Während Details wie Modellgrößen und multimodale Fähigkeiten noch nicht bekannt gegeben wurden, erklärte Zuckerberg, dass Meta plant, die Llama-Grundmodelle weiterhin als Open-Sourcing-Lösung anzubieten:
View this post on Instagram
Wann wird Llama 3 verfügbar sein?
Es gibt zwar kein offizielles Veröffentlichungsdatum, aber es ist erwähnenswert, dass es drei Monate dauerte, Llama 1 zu trainieren und sechs Monate, um Llama 2 zu trainieren.
Wenn die nächste Generation von Modellen einem ähnlichen Zeitplan folgt, könnte Llama 3 etwa im Juli 2024 veröffentlicht werden. Meta könnte jedoch zusätzliche Zeit für die Feinabstimmung und die korrekte Ausrichtung des Modells einplanen.
Ein besserer Zugang zu generativen KI-Modellen ermöglicht nicht nur Unternehmen, Start-ups und Hobbyisten.
Da Open-Source-Modelle immer leistungsfähiger werden, ist es von entscheidender Bedeutung, das Risiko einer böswilligen Nutzung durch schlechte Akteure zu verringern.
In seinem Ankündigungsvideo bekräftigte Zuckerberg das Engagement von Meta, Modelle verantwortungsvoll und sicher zu trainieren.
Wird Llama 3 quelloffen sein?
Während Meta den Zugang zu den Llama-1-Modellen Forschungseinrichtungen zur nichtkommerziellen Nutzung auf Einzelfallbasis gewährte, wurden der Llama-2-Code und die Modellgewichte unter einer offenen Lizenz veröffentlicht, die die kommerzielle Nutzung durch Organisationen mit weniger als 700 Millionen monatlich aktiven Nutzern erlaubt.
Obwohl es eine Debatte darüber gibt, ob die Lizenz von Llama 2 der strengen technischen Definition von “Open Source” entspricht, wird sie im Allgemeinen als solche bezeichnet.
Es gibt keine Anzeichen dafür, dass Llama 3 anders veröffentlicht werden wird.
Wird Llama 3 multimodal sein?
Ein neuer Trend in der KI sind multimodale Modelle, die verschiedene Datenformate oder Modalitäten verstehen und nutzen können.
Anstatt getrennte Modelle für Text, Code, Audio, Bilder oder Videos zu erstellen, können neue hochmoderne Modelle wie Googles Gemini und OpenAIs GPT-4V sowie Open-Source-Modelle wie LLaVa oder Qwen-VL nahtlos zwischen Aufgaben der Computer Vision und der Verarbeitung natürlicher Sprache wechseln.
Zuckerberg hat zwar bestätigt, dass Llama 3, wie auch Llama 2, über Fähigkeiten zur Codegenerierung verfügen wird, aber er hat nicht ausdrücklich andere multimodale Fähigkeiten erwähnt.
In seinem Video zur Ankündigung von Llama 3 erörterte Zuckerberg jedoch, wie er sich die Verknüpfung von KI mit dem Metaverse vorstellt, und deutete an, dass Metas Pläne für die Llama-Modelle neben Text- und Codedaten auch die Integration von visuellen und Audiodaten vorsehen, was mit ihrem Ziel der Erreichung von AGI übereinstimmt.
Wie wird Llama 3 im Vergleich zu Llama 2 aussehen?
Zuckerberg kündigte auch erhebliche Investitionen in die Schulungsinfrastruktur an. Bis Ende 2024 will Meta über etwa 350.000 NVIDIA H100 GPUs verfügen, womit die gesamten verfügbaren Rechenressourcen auf
“600.000 H100-Äquivalente an Rechenleistung”
einschließlich der bereits vorhandenen GPUs.
Derzeit verfügt nur Microsoft über einen vergleichbaren Vorrat an Rechenleistung. Daher kann man davon ausgehen, dass Llama 3 im Vergleich zu den Llama-2-Modellen erhebliche Leistungssteigerungen bieten wird, auch wenn die Größenordnungen ähnlich sind.
Wie in einem Deepmind-Papier vom März 2022 dargelegt, führt das Training kleinerer Modelle mit mehr Daten zu einer besseren Leistung als das Training größerer Modelle mit weniger Daten.
Während Llama 2 in der gleichen Größe wie Llama 1 verfügbar war, wurde es mit 40 % mehr Daten trainiert.
Obwohl die Größe der Llama-3-Modelle noch nicht bekannt gegeben wurde, ist es wahrscheinlich, dass sie die Leistung innerhalb der 7-70-Milliarden-Parameter-Modelle weiter steigern werden, wie es bei den vorherigen Generationen der Fall war.
Die jüngsten Investitionen von Meta in die Infrastruktur werden sicherlich ein robusteres Pre-Training für Modelle jeder Größe ermöglichen. Außerdem hat Llama 2 die Kontextlänge von Llama 1 verdoppelt, was bedeutet, dass es sich während der Inferenz doppelt so viele Token “merken” kann.
Definitionen:
- LLama 3: Die dritte Iteration der großen Sprachmodellfamilie von Meta, die sich auf erweiterte KI-Fähigkeiten und potenzielle multimodale Anwendungen konzentriert.
- Meta: Die Muttergesellschaft von Facebook, Instagram und WhatsApp, die sich darauf konzentriert, Menschen durch Technologie zusammenzubringen und Innovationen im Bereich KI anzuführen.
- GPU (Graphics Processing Unit): Ein spezialisierter elektronischer Schaltkreis, der den Speicher schnell manipulieren und verändern kann, um die Erstellung von Bildern und Berechnungen in einem Bildpuffer zu beschleunigen, der für die Ausgabe an ein Anzeigegerät bestimmt ist.
Häufig gestellte Fragen:
- Was ist Meta’s Llama 3?
Llama 3 ist das neueste große Sprachmodell, das von Meta entwickelt wurde und die Grenzen der KI mit fortschrittlichen Fähigkeiten erweitern soll. - Wann wird Llama 3 auf den Markt kommen?
Es gibt zwar kein festes Veröffentlichungsdatum, aber der Zeitplan von Meta deutet auf ein mögliches Debüt im Juli 2024 hin. - Wird Llama 3 quelloffen sein?
Aufgrund Metas Verpflichtung zu offenen Lizenzen wird Llama 3 voraussichtlich einem Open-Source-Modell folgen. - Welche neuen Funktionen können wir in Llama 3 erwarten?
Llama 3 wird voraussichtlich multimodale Funktionen enthalten, die die Integration mit visuellen und akustischen Daten verbessern. - Wie ist Llama 3 im Vergleich zu seinen Vorgängern?
Dank erheblicher Investitionen in die Infrastruktur dürfte Llama 3 gegenüber Llama 2 erhebliche Leistungsverbesserungen bieten.
