Last Updated on február 29, 2024 9:55 de. by Laszlo Szabo / NowadAIs | Published on február 29, 2024 by Juhasz “the Mage” Gabor
Meta Llama 3 júliusban: Zuckerberg új mesterséges intelligencia modelljéről – Key Notes:
- A Mark Zuckerberg vezérigazgató által vezetett Meta bejelentette a Llama 3, egy új nagy nyelvi modell (LLM) képzését.
- A Llama 3 a Llama 1 és a Llama 2 kiadását követi, és a modellek nyílt forráskódúvá tételére összpontosít.
- Megjelenési dátum még nincs, de a korábbi ütemtervek alapján a Llama 3 2024 júliusa körül debütálhat.
A Meta Llama 3 háttere
2024 januárjában Mark Zuckerberg, a Meta vezérigazgatója egy Instagram-videóban osztotta meg, hogy a vállalat AI-részlege nemrég kezdte meg a Llama 3 kiképzését. A nagy nyelvi modellek (LLaMa) családjának új generációja a 2023 februárjában megjelent Llama 1 (kezdetben stilizáltan “LLaMA”) és a júliusban megjelent Llama 3 modelleket követi – írja a The Information.
Bár olyan részleteket, mint a modellméretek és a multimodális képességek, még nem hoztak nyilvánosságra, Zuckerberg kijelentette, hogy a Meta tervezi a Llama alapmodellek további nyílt forráskódúvá tételét:
View this post on Instagram
Mikor lesz elérhető a Llama 3?
Bár hivatalos megjelenési dátum nincs, érdemes megjegyezni, hogy a Llama 1 kiképzése három hónapig, a Llama 2 kiképzése pedig hat hónapig tartott.
Ha a modellek következő generációja hasonló ütemtervet követ, akkor a Llama 3 potenciálisan 2024 júliusa körül jelenhet meg. A Meta azonban több időt szánhat a finomhangolásra és a modellek megfelelő összehangolására.
A generatív mesterséges intelligencia modellekhez való hozzáférés növelése nem csak a vállalkozások, startupok és hobbisták számára nyújt lehetőséget.
Ahogy a nyílt forráskódú modellek egyre nagyobb teljesítményűvé válnak, kulcsfontosságú, hogy csökkentsük a rosszindulatú szereplők általi rosszindulatú felhasználás kockázatát.
Bejelentő videójában Zuckerberg megismételte a Meta elkötelezettségét a modellek felelősségteljes és biztonságos képzése mellett.
A Llama 3 nyílt forráskódú lesz?
Míg a Meta a Llama 1 modellekhez való hozzáférést kutatóintézetek számára biztosította nem kereskedelmi célú felhasználásra, eseti alapon, a Llama 2 kódját és a modellek súlyait nyílt licenc alatt adta ki, amely lehetővé teszi a kereskedelmi célú felhasználást a 700 millió havi aktív felhasználónál kevesebbel rendelkező szervezetek számára.
Bár vita folyik arról, hogy a Llama 2 licenc megfelel-e a “nyílt forráskód” szigorú technikai definíciójának, általánosságban mégis így hivatkoznak rá.
Semmi nem utal arra, hogy a Llama 3 másképp kerülne kiadásra.
A Llama 3 multimodális lesz?
A mesterséges intelligencia egyik feltörekvő trendje a multimodális modellek, amelyek különböző adatformátumokat vagy modalitásokat képesek megérteni és működtetni.
Ahelyett, hogy külön modelleket hoznánk létre szöveghez, kódhoz, hanghoz, képhez vagy videóhoz, az új, legmodernebb modellek, mint például a Google Gemini és az OpenAI GPT-4V, valamint a nyílt forráskódú modellek, mint például a LLaVa vagy a Qwen-VL, zökkenőmentesen tudnak váltani a számítógépes látás és a természetes nyelvi feldolgozási feladatok között.
Bár Zuckerberg megerősítette, hogy a Llama 3, akárcsak a Llama 2, kódgeneráló képességekkel fog rendelkezni, más multimodális képességeket nem említett kifejezetten.
A Llama 3 bejelentő videójában Zuckerberg azonban arról beszélt, hogyan képzeli el a mesterséges intelligencia és a Metaverse kereszteződését, utalva arra, hogy a Meta tervei között szerepel a Llama modellekkel kapcsolatban a vizuális és hangadatok integrálása a szöveges és kódadatok mellett, ami összhangban van az AGI elérésére irányuló céljukkal.
Milyen lesz a Llama 3 a Llama 2-höz képest?
Zuckerberg jelentős beruházásokat jelentett be a képzési infrastruktúrába is. A Meta célja, hogy 2024 végére körülbelül 350 000 NVIDIA H100 GPU-val rendelkezzen, így a teljes rendelkezésre álló számítási erőforrásuk elérheti a következő szintet
“600.000 H100 egyenértékű számítási kapacitás”
beleértve a már meglévő GPU-kat is.
Jelenleg csak a Microsoft rendelkezik hasonló számítási teljesítmény-készlettel. Ezért joggal várható, hogy a Llama 3 jelentős teljesítménynövekedést kínál majd a Llama 2 modellekhez képest, még akkor is, ha a méretek hasonlóak.
Amint azt a Deepmind 2022 márciusában megjelent tanulmánya is sugallja, a kisebb modellek több adaton történő betanítása jobb teljesítményt eredményez, mint a nagyobb modellek kevesebb adaton történő betanítása.
Bár a Llama 2 ugyanolyan méretekben állt rendelkezésre, mint a Llama 1, 40%-kal több adaton lett előtanítva.
Bár a Llama 3 modellek méreteit még nem jelentették be, valószínű, hogy a korábbi generációkhoz hasonlóan a 7-70 milliárd paraméteres modelleken belül tovább növelik majd a teljesítményt.
A Meta közelmúltbeli infrastrukturális beruházásai minden bizonnyal robusztusabb előképzést tesznek majd lehetővé bármilyen méretű modellek számára. Emellett a Llama 2 megduplázta a Llama 1 kontextushosszát, ami azt jelenti, hogy kétszer annyi tokenre “emlékszik” a következtetés során.
Definíciók:
- LLama 3: A Meta nagyméretű nyelvi modellcsaládjának harmadik iterációja, amely a fejlett mesterséges intelligencia képességekre és a lehetséges multimodális alkalmazásokra összpontosít.
- Meta: A Facebook, az Instagram és a WhatsApp anyavállalata, amely arra összpontosít, hogy a technológia segítségével összehozza az embereket, és vezető szerepet tölt be az AI területén történő innovációban.
- GPU (grafikus feldolgozó egység): Speciális elektronikus áramkör, amelyet a memória gyors manipulálására és módosítására terveztek, hogy felgyorsítsa a képek és számítások létrehozását a megjelenítő eszközre történő kimenetre szánt képkockapufferben.
Gyakran ismételt kérdések:
- Mi az a Meta’s Llama 3?
A Llama 3 a Meta által kifejlesztett legújabb nagyméretű nyelvi modell, amely várhatóan fejlett képességeivel a mesterséges intelligencia határait feszegeti. - Mikor jelenik meg a Llama 3?
Bár nincs meghatározott megjelenési dátum, a Meta időbeosztása szerint 2024 júliusa körül debütálhat. - A Llama 3 nyílt forráskódú lesz?
A Meta nyílt licencek iránti elkötelezettsége alapján a Llama 3 várhatóan nyílt forráskódú modellt követ majd. - Milyen új funkciókat várhatunk a Llama 3-ban?
A Llama 3 várhatóan multimodális képességekkel fog rendelkezni, ami fokozza a vizuális és hangadatokkal való integrációt. - Hogyan hasonlít a Llama 3 az elődeihez?
A jelentős infrastrukturális beruházásoknak köszönhetően a Llama 3 várhatóan jelentős teljesítménynövekedést kínál majd a Llama 2-höz képest.
