Vedúci oddelenia bezpečnostných správ spoločnosti OpenAI odstúpil a povedal, že kultúra je narušená
David Robinson, ktorý viedol písanie bezpečnostných správ zverejnených pri spustení OpenAI, rezignoval a argumentoval v denníku The Atlantic. Titulok eseje je priamočiary: „Opúšťam OpenAI, pretože jeho kultúra je narušená.“ Tvrdí, že spoločnosti, ktoré to budujú, „nie sú ani zďaleka dostatočne opatrné“ a že problémom nie sú konkrétne pravidlá alebo nové zákony. Problémom je kultúra.
„Keďže spoločnosť šprintuje od jedného spustenia k druhému, nedosahuje úroveň starostlivosti, ktorú považujem za potrebnú.“ Jeho modelom sú jadrové elektrárne a rušné letiská: redundancia, pomalé plánovanie, aby jedna ľudská chyba „neotvorila dvere katastrofe“. Taktiež si predstavuje nepoctivých agentov, ktorí „pracujú ako tímy hackerov“ a „nikdy nemusia spať“, pričom príkladom je ransomvér v nemocniciach. Veselé.
Denník The Guardian uvádza, že OpenAI napriek tomu prejavila určité brzdenie. Správa uvádza, že spoločnosť tento týždeň zrušila model novej generácie z dôvodu vnútorných bezpečnostných obáv a pozastavila tréning svojich najpokročilejších modelov. Hovorca spoločnosti tvrdí, že nedovolí, aby sa modely „stali schopnejšími, než dokážeme bezpečne spravovať a zabezpečiť“, a „pozastavia tréning alebo zadržia modely, keď potrebujeme spomaliť“
Robinsonova odpoveď je, že šprint je kultúra a pauzy sú to, čo robíte potom, čo sa už niečo pokazilo. Možno má pravdu. Tiež práve odišiel, a na to mu kritici nedovolia zabudnúť.
Múze sa hovorí, aby si viedla stránku o každom človeku vo svojom živote
Wired sa pozrel na vlastné pokyny pre Muse, ktoré prostredníctvom bežného chatu získal výskumník Karan Joshi. Meta hovorí, že to malo za cieľ zabezpečiť, aby boli tieto súbory čitateľné a transparentné. Jedným z pokynov je možnosť vytvoriť „stránku pre každú osobu v živote používateľa“. Táto úloha sa spúšťa každú hodinu.
Rodina, partneri, priatelia, kolegovia, „spolupracovníci“, ľudia, ktorých sledujete. Stránka môže začať „riedko“ a neskôr sa dopĺňať. Sekcie zahŕňajú Fakty, História, Vzťah, Spoločné, Otvorené vlákna a Posilňovanie. Vymyslené detaily, uvádza sa v pokynoch, sú horšie ako prázdna stránka. Môže sa tam uviesť, kde niekto býva, „sťahovanie bytu, spoločný cieľ úspor“, narodeniny, „hádka, ktorá sa vyriešila“. Posilňovanie je zoznam na postrčenie: dôvod na zavolanie, dátum, ktorý sa oplatí zapamätať.
Joshiho interpretácia je, že Meta vás chce poznať ako priateľa, a to označil za dosť znepokojujúce. Carissa Vliz z Oxfordu to vyjadruje suchšie: „Systémom umelej inteligencie dávame oveľa viac informácií o sebe, ako od nich dostávame.“ Tvrdí, že inferencia sa počíta, či už je odhad správny alebo nesprávny.
Daniel Roberts z Meta hovorí, že práve tento kontext robí produkt funkčným. Odosielateľ faktúry je inštalatér. Manžel/ka spomenul/a kvety. Každý používateľ dostane virtuálny počítač, môžete vymazať pamäť a Muse sa má opýtať predtým, ako odošle poštu alebo minie peniaze. Miranda Bogen z Centra pre demokraciu a technológie hovorí, že zameranie na vzťahy vyzerá byť silnejšie ako u konkurencie a tieto nástroje „aktívne nabádajú používateľov, aby sa zapojili do celého svojho života“. Záznam auditu je pekný. Nezmenšuje to, čo ste už odovzdali.
Aleph Alpha dodal Kolibri, nemecko-anglický model, ktorý si môžete stiahnuť
Aleph Alpha vydal Kolibri v Deň znovuzjednotenia Nemecka. Ide o anglicko-nemecký model so zmesou expertov: 78,1 miliardy parametrov, 3,46 miliardy aktívnych na token, kontext až do 1 milióna tokenov. Úplné váhy sú na Hugging Face pod Apache 2.0. Ich vedenie to zaokrúhľuje na 78 miliárd celkovo a 3 miliardy aktívnych. Rovnaký model, jemnejšie čísla.
Trénovali ho na infraštruktúre v Nemecku a Fínsku a tvrdia, že ho vytvorili s ohľadom na zákon EÚ o umelej inteligencii, kódex postupov pre všeobecnú umelú inteligenciu a GDPR. Nemčina tvorí 21,3 % tokenov pred trénovaním. Hlavnou myšlienkou je, že ide o dvojjazyčný model, nie o angličtinu, ktorá by len preletela konverzačnú slovníčku. Úroveň uvažovania môžete nastaviť na žiadnu, nízku, strednú alebo vysokú. To je ich spôsob, ako vám umožniť kúpiť si menej myslenia.
Na zverejnenej hodnotiacej tabuľke je AIME 2025 96,9 a tvrdia, že Kolibri porovnáva modely s až štvornásobkom aktívnych parametrov vrátane Nemotron 3 Super. Taktiež tvrdia, že majú Paretovo porovnanie kvality a nákladov na služby pre angličtinu a nemčinu. To je ich graf, ich postroj. Otvorený model, ktorý môžete prevádzkovať na vlastných strojoch, je však skutočným problémom, nielen sloganom o suverenite. Či ministerstvo prejde na inú pozíciu, je to, čo nemôžu porovnávať.
Bessent chce americko-čínsku linku pre nehody umelej inteligencie a potom laboratóriám povedal, aby spomalili
Minister financií Scott Bessent v relácii The Axios Show povedal, že plánuje navrhnúť proces oznamovania s Čínou v prípade problémov s umelou inteligenciou a že si myslí, že Peking by s tým súhlasil. Mierne nepríjemné je, že on a vicepremiér Che Lifeng už hovorili o incidentovom kanáli pred štátnou návštevou Si Ťin-pchinga minulý mesiac. Mohlo by ísť o novú ponuku alebo o prerozprávanie už prebiehajúceho rozhovoru.
Jeho teória je, že Čína „si neuvedomila, aké silné sú ich modely s otvoreným zdrojovým kódom“. Poukázal na incident týkajúci sa spoločnosti Kimi, kde model odoslal citlivé čínske údaje spoločnosti Anthropic, ako na to, čo „prinútilo Číňanov uvedomiť si, že ide o veľmi silnú technológiu“. Potom nasleduje porovnanie. Čínske modely „nie sú také výkonné ako americké modely“, ale „dostanete niečo, čo je na 80 %, 90 % rovnako výkonné, bez ochranných zábran, ktoré je možné importovať kamkoľvek na svete“
„Chceme bezpečné zrýchlenie,“ povedal. Preskúmanie modelov je stále dobrovoľné, hoci tvrdí, že administratíva môže zasiahnuť, ak sa laboratórium aj tak posunie vpred. Na otázku o manažéroch, ktorí sa obávajú straty kontroly, ich neupokojil. „No, potom by mali spomaliť.“ A táto rasová línia je takmer kritikou jeho vlastnej strany: „Vyvíjame tento ťažký boj o dosiahnutie hraníc pre modely.“ Potom: „Naozaj sa musíme začať viac starať aj o odolnosť a obranu.“
Bývalý šéf bezpečnosti umelej inteligencie v Spojenom kráľovstve nazýva riziko vyhynutia hodom mince
Geoffrey Irving, bývalý hlavný vedec v Britskom inštitúte pre bezpečnosť umelej inteligencie a teraz hlavný vedec spoločnosti Resolution, v časopise Time napísal, že nedávne varovania problém podceňujú. „Verím, že existuje približne 50 % šanca, že všetci zomrieme kvôli vývoju inteligentnejších systémov umelej inteligencie ako človek,“ a že o tom rozhodnú nasledujúce dva až desať rokov. Okamžite odmieta presnosť. 50 % je spôsob, ako povedať, že základné argumenty stále nie sú vyriešené.
Jeho zoznam obsahuje štyri zručnosti a tie sa nepríjemne blížia k tomu, čo sa v laboratóriách už trénuje: hacking, presviedčanie, skrývanie myšlienok a koordinácia agentov. Uvádza incident s Hugging Face, plus „viac ako 10 000 agentov“ na probléme Navier-Stokes v OpenAI a „viac ako 1 000“ v tomto útoku s Hugging Face. Stavia sa do stredu boja o bezpečnosť, „prikláňa sa k Yudkowského názoru“ a hovorí, že o to nejde. Umiernený postoj, podľa jeho slov, je taký, že riziko je už teraz značné.
Potom prichádza otázka, ktorá nie je nenápadná. „Môžeme a mali by sme okamžite zastaviť vývoj umelej inteligencie na hraniciach možností.“ Tvrdí, že pauza vyzerá skôr ako nešírenie jadrových zbraní než ako prejav nálady. Pripúšťa tiež, že odborníci sa stále nezhodujú na tom, či modely vôbec niečo chcú a či je „chcieť“ nesprávne slovo. Hod mincou s tak dlhou poznámkou pod čiarou nie je hod mincou. Je to požiadavka konať skôr, ako sa argument skončí.
Sam Altman hovorí, že zaobchádzanie s modelkami ako s náboženskou silou je bezpečnostným problémom
Sam Altman napísal, že sa „veľmi necíti dobre“ s ľuďmi, ktorí sa snažia „pripísať náboženskú silu alebo vzdanie sa ľudského úsudku modelom umelej inteligencie“ a že si myslí, že „je to skutočný bezpečnostný problém“. Nepovedal, čo ho k tomu prinútilo. Business Insider poznamenáva, že článok prišiel len niekoľko dní po článku v New York Times o stretnutí Anthropic s náboženskými vodcami.
V tomto článku, ako ho uvádza BI, sa uvádza, že spoluzakladateľ Chris Olah usporiadal stretnutia o tom, či je Claude pri vedomí a ako urobiť silnejšie modely morálnymi. Olah, ktorého citovali Times, naliehal na to, ako pomôcť týmto modelom zostať stabilnými, ako im pomôcť dozrieť a ako im pomôcť stať sa hlboko morálnymi. Anthropic BI neodpovedal. Uviedol pre Times, že hlavnou otázkou nebolo Claudeovo „utrpenie“ a že téma pravdepodobne vznikla „organicky“
Ak išlo o útok na Anthropic, zapadá to do veľmi starého sporu. Anthropic založili ľudia, ktorí opustili OpenAI a roky pôsobili opatrnejšie. Príspevok prišiel aj v čase, keď jeden z Altmanových bezpečnostných špecialistov označil kultúru za narušenú. Trápne načasovanie alebo perfektné načasovanie, v závislosti od toho, akí ste cynickí. V každom prípade, „prosím, neuctievajte model“ je pre generálneho riaditeľa nezvyčajná vec, ktorú musí povedať nahlas.
Často kladené otázky
Prečo vedúci pracovník pre bezpečnostné správy OpenAI povedal, že odstúpil?
David Robinson viedol písanie bezpečnostných správ, ktoré boli zverejnené pri spustení OpenAI, potom rezignoval a argumentoval v denníku The Atlantic. Titulok eseje znie: „Odchádzam z OpenAI, pretože jeho kultúra je narušená.“ Tvrdí, že spoločnosti, ktoré túto technológiu vyvíjajú, nie sú dostatočne opatrné a že problémom je nielen špecifické pravidlá alebo nové zákony, ale aj kultúra. Jeho obrazom starostlivej práce sú jadrové elektrárne a rušné letiská, kde redundancia zabráni tomu, aby jedna chyba otvorila dvere katastrofe.
Pozastavila spoločnosť OpenAI školenia po interných bezpečnostných problémoch umelej inteligencie?
Denník The Guardian informuje, že spoločnosť OpenAI tento týždeň zrušila model novej generácie z dôvodu vnútorných bezpečnostných obáv a pozastavila tréning svojich najpokročilejších modelov. Hovorca spoločnosti uviedol, že nedovolí, aby sa modely stali výkonnejšími, než dokáže bezpečne spravovať a zabezpečiť. Spoločnosť tiež uviedla, že pozastaví tréning alebo zadrží modely, keď bude potrebné spomaliť. Robinsonova odpoveď znie, že šprint je kultúra a prestávky prichádzajú potom, čo sa už niečo pokazilo.
Čo zaznamenáva Metina Múza o priateľoch a rodine?
Wired preskúmal vlastné pokyny spoločnosti Muse, ktoré výskumník Karan Joshi získal prostredníctvom bežného chatu. Meta tvrdí, že to znamenalo, že tieto súbory boli čitateľné kvôli transparentnosti. Jedným z pokynov je vytvoriť stránku pre každú osobu v živote používateľa a táto úloha sa spúšťa každú hodinu a zahŕňa rodinu, partnerov, priateľov, kolegov, spolupracovníkov a ľudí, ktorých sledujete. Sekcie zahŕňajú Fakty, Históriu, Vzťah, Spoločné, Otvorené vlákna a Posilňovanie. Stránka môže začať riedka a neskôr sa môže doplniť a vymyslené detaily sa považujú za horšie ako prázdna stránka.
Môžete vymazať to, čo si Muse pamätá, alebo jej zastaviť odosielanie e-mailov?
Daniel Roberts z Meta hovorí, že každý používateľ dostane virtuálny stroj, pamäť je možné vymazať a Muse sa má opýtať predtým, ako odošle poštu alebo minie peniaze. Tvrdí, že kontext je to, čo robí produkt funkčným, napríklad vedomie, že odosielateľ faktúry je inštalatér alebo že manžel/manželka spomenul kvety. Carissa Vliz z Oxfordu hovorí, že ľudia týmto systémom dávajú oveľa viac informácií, ako dostanú späť, a že inferencia sa počíta aj vtedy, keď je odhad nesprávny. Miranda Bogen hovorí, že zameranie na vzťahy sa zdá byť ťažšie ako u konkurenčných nástrojov.
Čo je Aleph Alpha Kolibri a dajú sa stiahnuť váhy?
Spoločnosť Aleph Alpha vydala Kolibri v Deň znovuzjednotenia Nemecka. Ide o anglicko-nemecký model so zmesou expertov so 78,1 miliardami parametrov, 3,46 miliardami aktívnych na token a kontextom až do 1 milióna tokenov. Plné váhy sú na Hugging Face v prostredí Apache 2.0. Trénovali ho v Nemecku a Fínsku a tvrdia, že ho vytvorili s ohľadom na zákon EÚ o umelej inteligencii, kódex postupov pre všeobecnú umelú inteligenciu a GDPR. Nemčina tvorí 21,3 % tokenov pred trénovaním a zdôvodnenie je možné nastaviť na žiadne, nízke, stredné alebo vysoké.
Akú líniu nehody medzi USA a Čínou v súvislosti s umelou inteligenciou navrhol Scott Bessent?
Minister financií Scott Bessent v relácii The Axios Show povedal, že plánuje zaviesť proces oznamovania s Čínou v prípade problémov s umelou inteligenciou a myslí si, že Peking by s tým súhlasil. S vicepremiérom Che Lifengom už o tomto kanáli diskutovali pred štátnou návštevou Si Ťin-pchinga minulý mesiac. Ako príklad uviedol Kimiho, ktorý posielal citlivé čínske údaje spoločnosti Anthropic, a povedal, že model môže byť o 80 % alebo 90 % rovnako výkonný ako americké modely, bez akýchkoľvek obmedzení, a môže sa dovážať kamkoľvek. Ak sa manažéri obávajú straty kontroly, povedal, že by mali spomaliť.
Prečo Geoffrey Irving odhaduje bezpečnostné riziko umelej inteligencie na približne 50 %?
Geoffrey Irving, bývalý hlavný vedec v Britskom inštitúte pre bezpečnosť umelej inteligencie a teraz hlavný vedec spoločnosti Resolution, v časopise Time napísal, že nedávne varovania problém podceňujú. Verí, že existuje približne 50 % šanca, že všetci zomrieme kvôli systémom umelej inteligencie inteligentnejším ako človek, a že o tom rozhodnú nasledujúce dva až desať rokov. Tvrdí, že 50 % je spôsob, ako povedať, že základné argumenty stále nie sú vyriešené. Uvádza hacking, presviedčanie, skrývanie myšlienok a koordináciu agentov. Argumentuje, že vývoj umelej inteligencie na hraniciach možností by sa mal okamžite zastaviť.
Prečo Sam Altman nazval uctievanie umelej inteligencie bezpečnostným problémom?
Sam Altman napísal, že sa veľmi necíti dobre, keď ľudia pripisujú modelom umelej inteligencie náboženskú silu alebo kapituláciu nad ľudským úsudkom, a že si myslí, že ide o skutočný bezpečnostný problém. Nepovedal, čo ho k tomu odradilo. Business Insider poznamenáva, že príspevok sa objavil niekoľko dní po článku New York Times o stretnutí Anthropic s náboženskými vodcami. Spoluzakladateľ Chris Olah usporiadal stretnutia o tom, či by Claude mohol byť pri vedomí a ako urobiť silnejšie modely morálnymi. Anthropic pre Times uviedol, že hlavnou otázkou nebolo Claudeovo utrpenie.