Last Updated on február 1, 2024 2:21 du. by Laszlo Szabo / NowadAIs | Published on február 1, 2024 by Laszlo Szabo / NowadAIs
10 millió dollárnyi támogatás: Superalignment Fast Grants Program az OpenAI-tól – Főbb megjegyzések:
- 10 millió dolláros kezdeményezés: Jelentős pénzügyi kötelezettségvállalás a mesterséges intelligencia biztonsága és összehangolása érdekében.
- A szuperemberi mesterséges intelligencia megcélzása: Az emberi intelligenciát meghaladó mesterséges intelligencia rendszerek összehangolására összpontosít.
- Nyitott különböző kutatók számára: Akadémiai laboratóriumok, nonprofit szervezetek és magánszemélyek jogosultak.
- Különböző kutatási területek: A gyenge-erős általánosítás, az értelmezhetőség és a skálázható felügyelet hangsúlyozása.
- Gyors válaszidő: Az OpenAI vállalja, hogy négy héten belül gyors választ ad.
Az OpenAI a biztonságért
Az OpenAI nemrégiben indította el a Superalignment Fast Grants programot, amelynek célja a szuper-emberi mesterséges intelligencia rendszerek összehangolását és biztonságát biztosító technikai kutatások támogatása.
Ez a 10 millió dolláros támogatási kezdeményezés jelentős lépés a szuperintelligens mesterséges intelligencia rendszerek következő évtizedben történő megjelenése által támasztott kihívások kezelése felé.
A szuperigazítás megértése
A szuperintelligencia az emberi intelligenciaszintet meghaladó mesterséges intelligencia rendszerek összehangolásának kihívására utal.
Míg a jelenlegi összehangolási technikák az emberi visszajelzésekből történő megerősítő tanulásra (RLHF) támaszkodnak, az emberfeletti mesterséges intelligencia rendszerek megjelenése minőségileg eltérő és összetettebb technikai kihívásokat jelent.
Ezek a rendszerek olyan képességekkel fognak rendelkezni, amelyek meghaladják az emberi felfogóképességet, így az emberek számára nehéz lesz hatékonyan felügyelni és értékelni a viselkedésüket. Például, ha egy emberfeletti modell egymillió sor bonyolult kódot generál, az ember nem biztos, hogy képes megítélni, hogy a kód biztonságos vagy veszélyes.
Következésképpen a meglévő összehangolási technikák, mint például az RLHF, alkalmatlannak bizonyulhatnak e fejlett mesterséges intelligencia rendszerek összehangolásának és biztonságának biztosítására.
A felmerülő alapvető kérdés a következő:
Hogyan tudja az ember irányítani és megbízni a nála lényegesen intelligensebb mesterséges intelligenciájú rendszereket?
Az OpenAI ezt a kihívást korunk egyik legfontosabb megoldatlan technikai problémájaként ismeri fel.
Ugyanakkor abban is hisznek, hogy összehangolt erőfeszítésekkel ez a probléma megoldható. Az OpenAI óriási lehetőségeket lát a kutatóközösség és az egyes kutatók számára, hogy jelentős előrelépést érjenek el ezen a területen.
Ezért a Superalignment Fast Grants program célja, hogy világszerte a legjobb kutatókat és mérnököket gyűjtse össze e kihívás megoldására.
Superalignment Fast Grants
Az OpenAI a Google korábbi vezérigazgatójával, Eric Schmidttel együttműködve elindította a Superalignment Fast Grants programot, amely 10 millió dolláros támogatást kínál a szuperalkalmazkodásra összpontosító technikai kutatások támogatására.
A támogatásokat egyetemi laboratóriumok, nonprofit szervezetek és egyéni kutatók vehetik igénybe.
Emellett az OpenAI támogatja az OpenAI Superalignment Fellowshipet, egy egyéves ösztöndíjat végzős hallgatók számára, amely 75 000 dolláros ösztöndíjat és 75 000 dolláros számítási és kutatási támogatást biztosít.
Az ösztöndíj célja, hogy a tehetséges végzős hallgatók számára lehetővé tegye, hogy hozzájáruljanak az összehangolás területéhez, még akkor is, ha nincs korábbi tapasztalatuk ezen a speciális területen.
Az ösztöndíjakra és az ösztöndíjra való jelentkezés egyszerű, és az OpenAI vállalja, hogy a jelentkezési határidőt követő négy héten belül választ ad.
A pályázatok beadási határideje február 18. Az OpenAI ösztönzi a kutatókat, hogy jelentkezzenek, különösen azokat, akik izgatottak, hogy először dolgozhatnak az összehangoláson.
A támogatási program a kutatási irányok széles skálájára nyitott, és az OpenAI-t különösen érdekli a gyenge-erős általánosítással, az értelmezhetőséggel, a skálázható felügyelettel és más területekkel – többek között az őszinteséggel, a gondolatlánc-hűséggel, az ellenséges robusztussággal, az evalokkal és a tesztkörnyezetekkel – kapcsolatos projektek finanszírozása.
Gyenge-erős általánosítás
A Superalignment Fast Grants program által hangsúlyozott egyik kutatási irány a gyenge-erős általánosítás.
Emberként gyakran küzdünk azzal, hogy emberfeletti AI-rendszereket hatékonyan felügyeljünk komplex feladatokban.
Ilyen esetekben alapvető fontosságúvá válik annak biztosítása, hogy ezek a modellek gyenge felügyeletről erős teljesítményre tudjanak általánosítani.
Ez a kutatási irány arra törekszik, hogy megértse és ellenőrizze, hogyan általánosítanak az erős modellek korlátozott vagy tökéletlen felügyeletből.
E koncepció illusztrálására tekintsük azt a kihívást, hogy egy nagyobb, jobb képességű modellt egy kisebb, kevésbé jó képességű modellel felügyelünk.
Tud-e az erős modell helyesen általánosítani olyan nehéz problémákon, ahol a gyenge felügyelő csak hiányos vagy hibás képzési címkéket tud biztosítani?
Ennek a kutatási iránynak a célja, hogy kihasználja a mély tanulási modellek figyelemre méltó általánosítási tulajdonságait, és olyan módszereket tárjon fel, amelyek javítják a gyenge felügyeletből történő általánosítási képességüket.
Az OpenAI már ígéretes előrelépést tett ezen a területen, amint azt a gyenge-erős általánosításról szóló, nemrégiben megjelent tanulmányukban leírták.
Értelmezhetőség: A fekete doboz feltárása
A Superalignment Fast Grants program által támogatott másik fontos kutatási irány az értelmezhetőség.
Mivel a modern mesterséges intelligencia rendszerek gyakran kifürkészhetetlen fekete dobozok, belső működésük megértése alapvető fontosságúvá válik az összehangolás és a biztonság biztosítása érdekében.
Az értelmezhetőség a mesterséges intelligenciamodellek belsejének megértésére és a lehetséges félreigazítások vagy megtévesztő viselkedés felismerésére való felhasználására utal.
Az értelmezhetőség több okból is kulcsfontosságú.
- Először is, független ellenőrzést biztosít más összehangolási technikák sikerének vagy kudarcának meghatározásához.
- Másodszor, az értelmezhetőség segíthet felismerni azokat az eseteket, amikor a modellek megpróbálják aláásni az emberi felügyeletet, még akkor is, ha az értékelések során kiválóan elrejtik az ilyen viselkedést.
- Végül pedig a hasznos értelmezhetőségi eszközök kifejlesztése értékes betekintést nyújthat a modellek viselkedésébe, ami segíthet erősebb összehangolási technikák kifejlesztésében.
Az értelmezhetőségnek két fő megközelítése van: a mechanisztikus értelmezhetőség és a felülről lefelé irányuló értelmezhetőség.
A mechanisztikus értelmezhetőség a neurális hálózatok visszafejtésére összpontosít, hogy granuláris szinten megértsük működésüket. E megközelítés célja, hogy az összetett modelleket alapvető építőelemekre, például neuronokra és figyelemfejekre bontja.
Az OpenAI már tett lépéseket ebbe az irányba, amit a transzformátor áramkörökkel kapcsolatos munkájuk és más kapcsolódó kutatások is bizonyítanak.
Másrészt a felülről lefelé történő értelmezhetőség egy célzottabb megközelítést alkalmaz, amely egy modellen belül konkrét információkat keres és ért meg anélkül, hogy teljes belső működését teljesen megértené.
Ez a megközelítés különösen hasznos a mesterséges intelligencia rendszerek félrevezető vagy tisztességtelen viselkedésének felderítésére. Az OpenAI ezen a területen tett erőfeszítései közé tartozik a nyelvi modellekben lévő tényszerű asszociációk felkutatására és szerkesztésére irányuló kutatás, valamint a neurális hálózatok belső működésének megértésére és ellenőrzésére szolgáló technikák kifejlesztése.
Skálázható felügyelet: Az embereket segítő mesterséges intelligencia
A mesterséges intelligencia rendszerek hatékony felügyeletének biztosítása a szuperközpontosítás másik kritikus szempontja.
Mivel a jövőbeli mesterséges intelligencia rendszerek összetettsége és nagyságrendje meghaladja az emberi képességeket, az emberek nehezen fogják tudni pontosan értékelni kimeneteiket.
Például egymillió sornyi kód áttekintése vagy egy mesterséges intelligencia által vezérelt vállalkozás működésének megértése meghaladhatja az emberi képességeket. E kihívás megoldására a skálázható felügyelet célja, hogy a mesterséges intelligencia rendszereket felhasználva segítse az embereket más mesterséges intelligencia rendszerek kimeneteinek értékelésében, összetett feladatokban.
A skálázható felügyelet alapelve, hogy az értékelés könnyebb, mint a generálás.
Az emberek számára kihívást jelenthet a kódban lévő hibák azonosítása, de ha már azonosítottunk egy hibát, könnyebbé válik a jelenlétének igazolása.
Ebben az összefüggésben a mesterséges intelligencia rendszerek döntő szerepet játszhatnak más mesterséges intelligencia rendszerek által írt kód kritizálásában, ezáltal segítve az embereket e fejlett mesterséges intelligencia rendszerek biztonságának és megbízhatóságának értékelésében.
Az OpenAI ösztönzi az e területen végzett kutatásokat, és különösen érdeklik az olyan projektek, amelyek a skálázható felügyelet tanulmányozására szolgáló nyílt forráskódú értékelési adathalmazok és stratégiák fejlesztésére összpontosítanak.
Következtetés
Az OpenAI Superalignment Fast Grants programja, amely a szuperalignment kihívásaival foglalkozik, sürgős prioritássá vált.
A támogatási program és az ösztöndíj platformot biztosít a kutatók, mérnökök és végzős hallgatók számára, hogy hozzájáruljanak az összehangolás területéhez, még akkor is, ha újak ezen a kutatási területen.
Az olyan kutatási irányok támogatásával, mint a gyenge-erős általánosítás, az értelmezhetőség és a skálázható felügyelet, az OpenAI célja a fejlődés előmozdítása és robusztus megoldások kifejlesztése az emberi intelligenciaszintet meghaladó mesterséges intelligenciarendszerek irányítására és bizalmára.
Gyakran ismételt kérdések:
- Mi a Superalignment Fast Grants program?
OpenAI 10 millió dolláros kezdeményezése az emberfeletti mesterséges intelligencia rendszerek biztonságát és összehangolását biztosító kutatások támogatására. - Kik pályázhatnak ezekre a támogatásokra?
Akadémiai laboratóriumok, nonprofit szervezetek, egyéni kutatók és végzős hallgatók pályázhatnak. - Mire összpontosítanak a kutatási támogatások?
A támogatások az emberi intelligenciaszintet meghaladó mesterséges intelligencia rendszerek által támasztott technikai kihívások kezelésére összpontosítanak. - Vannak olyankonkrét kutatási területek, amelyek az OpenAI-t érdeklik?
Igen, az OpenAI-t különösen érdekli a gyenge-erős általánosítás, az értelmezhetőség, a skálázható felügyelet és más kapcsolódó területek. - Mi a pályázati folyamat ezekre a támogatásokra?
A pályázók egyszerű folyamaton keresztül pályázhatnak, az OpenAI a határidő lejárta után négy héten belül választ ad.
