Generálny riaditeľ spoločnosti Anthropic načrtáva plán na spomalenie vývoja umelej inteligencie
Dario Amodei práve požiadal priemysel, aby… spomalil. Nie zastavil. Zrýchlil tempo. Dlhá esej, tri kroky a varovanie, že rekurzívne sebazdokonaľovanie sa už varí rýchlejšie, ako si ho dospelí stihnú všimnúť.
Anthropic jednostranne pozýva zabudovaných hodnotiteľov dovnútra budovy – odznaky, stoly, notebooky a právo publikovať zistenia bez PR filtra. Potom chce, aby demokratické laboratóriá koordinovali bezpečnostné normy. A potom, nejako, dohodu s autoritárskymi vládami. Ľahké na papieri. Ťažké všade inde.
Stále hovorí, že umelá inteligencia by mohla byť zázrakom. Taktiež hovorí, že schopnejší, nesprávne zarovnaný roj by mohol ovládnuť internet pomocou perzistentného botnetu a spôsobiť škody v hodnote stoviek miliárd. Tieto dve vety sedia vedľa seba a nevychádzajú spolu.
Oh - a chce úzku výnimku z antitrustových predpisov, aby bezpečnostné rozhovory samy o sebe neboli právnym problémom. Brzdy sú spojené s papiermi. Samozrejme, že sú.
Sam Altman potvrdzuje, že OpenAI tento rok nevstúpi na burzu a tvrdí, že IPO by teraz prišlo v „nevhodnom okamihu“ vzhľadom na obavy o bezpečnosť umelej inteligencie
Altman poskytol exkluzívny rozhovor a zrušil kalendár kótovania. IPO v tejto chvíli by podľa neho bolo „nerozumným momentom“. Bezpečnostné práce ešte nie sú hotové. Zosúladenie nie je hotové. Spoločnosť nie je pripravená. Keď na neho tlačili – nie tento rok.
Bankári už krúžili okolo. Dôverný spis existuje. Generálny riaditeľ teraz hovorí, že najprv musia urobiť veľa vecí, vrátane toho, aby zistili, ako vôbec priemysel a vlády spolupracujú. Znel takmer uľavene, že môže čakať.
Povedal tiež, že vybudovanie umelej inteligencie mimo ľudskej kontroly je „absolútne“ možné – potom sľúbil, že pozastaví tréning, ak je to cesta správna. Odvážne. Možno aj pohodlné. Možno oboje. Prepletenie neziskových a ziskových organizácií, argumentoval, existuje preto, aby mohli robiť rozhodnutia, ktoré zjavne nie sú v záujme akcionárov. Uvidíme, či táto veta prežije kontakt so skutočným prospektom.
Sam Altman z OpenAI naznačuje dohodu s inými spoločnosťami zaoberajúcimi sa umelou inteligenciou na riešenie bezpečnostných rizík
Rovnaký rozhovor, iný titulok a toto je len šepot. Prirodzeným ďalším krokom je stretnutie s Amodeim, Muskom a Demisom Hassabisom. Altman: myslí si, že sa to stane. Nebude vopred oznamovať súkromné rozhovory. V podstate ich vopred ohlásil.
Dvojciferné katastrofické riziko nie je prijateľné, povedal. Stále nezverejnené modely sú už také schopné, že ďalšie skúmanie bez lepšej monitorovateľnosti sa zdá byť bezohľadné. Skutočný pakt a starostlivo uniknutá atmosféra môžu zvonku vyzerať rovnako.
Zamestnanci už interne počuli jednu verziu tohto tvrdenia. Verejne je to stále hmla. Ak sa miestnosť uskutoční, skvelé. Ak nie, citát aj tak splnil svoju úlohu.
Sam Altman podporuje výzvu Daria Amodeiho na spomalenie a hovorí, že OpenAI urobí to isté
Len niekoľko hodín po eseji Altman zverejnil, že OpenAI bude zodpovedať záväzku vstavaného hodnotiteľa. Prístup ako pre zamestnancov. Čoskoro sa o tom dozviete viac. Musk napísal tri slová: „Dario má pravdu.“ Traja súperiaci generálni riaditelia. Jeden slogan. Nepokojná víkendová energia.
Koordinácia a divadlo môžu ísť ruka v ruke. Prvý stupeň Amodeiho plánu teraz zahŕňa dve najväčšie laboratóriá, ktoré verejne prikyvujú. Hugging Face – áno, tá Hugging Face – požiadala o vstup do hodnotiaceho programu a spustila niečo s názvom Open Alignment Initiative. Transparentnosť od ľudí, ktorí boli napadnutí hackermi. Poetické alebo špicaté.
Európa, ak to už znamená, nemá nikoho, koho by si mohla vypýtať na túto výnimku v americkom štýle. Brusel už dávno prestal udeľovať individuálne výnimky. Takže podávanie rúk je americké. Zvyšok mapy je... pokrčenie plecami.
OpenAI chce len vyhrať
Matematici nemajú po víkende plnom rozhovorov práve oslavnú náladu. Navier-Stokesov šprint OpenAI – zhruba desaťtisíc agentov, desiatky miliónov dolárov výpočtového času, osemdesiatosem hodín – vyzerá zvnútra poľa ako honba za trofejou. Matematici chcú prehľad. Laboratórium, stále hovoria, chce vyhrať.
Tristan Buckmaster im povedal, že OpenAI ponúka neobmedzené výpočty a výhradné autorstvo, ak sa zbaví svojho spolupracovníka spriazneného s Anthropic. Nazval to úplatkom. Povedal nie. OpenAI kategoricky tvrdí, že jeho pokyny v Codexe nemohli ovplyvniť systém. Nie je presvedčený. Andreas Thom si stále kladie otázku, či chaty v ChatGPT o jeho vlastnej práci slúžili ako podklad pre model, ktorý na nej neskôr vznikol. Iba spoločnosť by to vedela. Má podozrenie, že to ani oni nevedia.
A potom ten háčik: OpenAI tvrdí, že už dosiahla značný pokrok v ďalšom probléme Ceny milénia. Ktorý zostáva nemenovaný. Clay aj tak stále potrebuje dlhé obdobie na prijatie komunitou. Takže nikto ešte „nevyhral“. Už len pretekajú o ďalší. Roztomilé.
Často kladené otázky
Aký je plán generálneho riaditeľa spoločnosti Anthropic Daria Amodeiho na urýchlenie vývoja umelej inteligencie?
Amodei publikoval dlhú esej, v ktorej žiada odvetvie, aby spomalilo – nie zastavilo – pretože rekurzívne sebazdokonaľovanie napreduje rýchlejšie, ako audítori dokážu držať krok. Prvým krokom je jednostranné pozvanie integrovaných hodnotiteľov do Anthropic s odznakmi, stolmi, notebookmi a právom publikovať zistenia bez PR filtra. Potom chce, aby demokratické laboratóriá koordinovali bezpečnostné normy a nakoniec nejakú formu dohody s autoritárskymi vládami. Chce tiež úzku výnimku z antitrustových zákonov, aby bezpečnostné rozhovory samy osebe neboli právnym problémom.
Prečo Sam Altman povedal, že OpenAI tento rok neuskutoční IPO?
V exkluzívnom rozhovore Altman povedal, že IPO by v súčasnosti bolo nerozumným momentom, pretože bezpečnostné práce, zosúladenie a spoločenská pripravenosť sú nedokončené. Keď bol opýtaný, potvrdil, že sa tak tento rok nestane, aj keď sa okolo bankárov diskutuje a existuje dôverný dokument. Argumentoval, že štruktúra neziskových/ziskových organizácií existuje preto, aby OpenAI mohla robiť rozhodnutia, ktoré zjavne nie sú v záujme akcionárov. Povedal tiež, že vybudovanie umelej inteligencie mimo ľudskej kontroly je absolútne možné a sľúbil, že ak by to bola cesta, pozastaví školenia.
Naznačil Altman bezpečnostnú dohodu s inými laboratóriami umelej inteligencie?
V tom istom rozhovore Altman povedal, že si myslí, že sa uskutoční stretnutie s kolegami, ako sú Amodei, Musk a Demis Hassabis, pričom odmietol vopred oznámiť súkromné rozhovory. Argumentoval, že dvojciferné katastrofické riziko nie je prijateľné a že stále nezverejnené modely sú už natoľko výkonné, že ďalšie tlačenie bez lepšej monitorovateľnosti sa zdá byť bezohľadné. Zamestnanci už interne počuli verziu tejto myšlienky, takže verejné komentáre môžu skôr predstavovať predbežnú koordináciu než potvrdenie uzavretej dohody.
Dodrží OpenAI záväzok spoločnosti Anthropic týkajúci sa vstavaných hodnotiteľov?
Len niekoľko hodín po Amodeiho eseji Altman zverejnil, že OpenAI doplní sľub o vstavaných hodnotiteľoch o prístup podobný zamestnancom a čoskoro sa dozvieme viac podrobností. Elon Musk napísal, že Dario má pravdu, a postavil troch súperiacich generálnych riaditeľov pod podobný slogan. Hugging Face požiadal o vstup do programu hodnotiteľov a spustil iniciatívu Open Alignment. Európa nemôže ponúknuť rovnakú výnimku z antitrustových predpisov v americkom štýle, akú predložil Amodei, takže podávanie rúk je zatiaľ prevažne americké.
Prečo matematici kritizujú Navier-Stokesov sprint od OpenAI?
Matematici opisujú zhruba desaťtisíc agentov trvajúci osemdesiatosemhodinový Navier-Stokesov test od OpenAI ako honbu za trofejami, ktorá uprednostňuje víťazstvo pred pochopením. Tristan Buckmaster povedal, že OpenAI ponúkla neobmedzené výpočty a výhradné autorstvo, ak by sa zbavil spolupracovníka prepojeného s Anthropic; označil to za úplatok a odmietol. OpenAI hovorí, že jeho výzvy v Codexe nemohli ovplyvniť systém, ale zostáva o tom presvedčený. Andreas Thom stále nalieha na to, či chaty ChatGPT o jeho vlastnej práci prispeli k neskoršiemu vývoju modelu.
Potvrdila OpenAI pokrok v riešení ďalšieho problému s cenou Milénia?
OpenAI tvrdí, že už dosiahla značný pokrok v ďalšom probléme z Ceny milénia, ale neuvádza, o aký. Clayov Matematický inštitút stále potrebuje dlhé obdobie na prijatie komunitou, takže zatiaľ nikto oficiálne nevyhral. V rámci tejto oblasti sa toto utajenie a skoršie preteky Naviera a Stokesa prejavujú ako laboratóriá, ktoré už šprintujú o ďalšiu trofej. Rozhovory pre The Verge vyjadrujú napätie tak, že matematici chcú získať viac informácií, zatiaľ čo OpenAI chce vyhrať.