Aká je zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu?

Aká je zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu?

Stručná odpoveď: Vývojári používajúci generatívnu umelú inteligenciu sú zodpovední za celý systém, nielen za výstup modelu. Keď umelá inteligencia ovplyvňuje rozhodnutia, kód, súkromie alebo dôveru používateľov, musia si vybrať bezpečné aplikácie, overiť výsledky, chrániť údaje, znížiť škody a zabezpečiť, aby ľudia mohli chyby skontrolovať, prepísať a opraviť.

Kľúčové poznatky:

Overenie : Vyleštené výstupy považovať za nedôveryhodné, kým ich nepotvrdia zdroje, testy alebo ľudská kontrola.

Ochrana údajov : Minimalizujte údaje výziev, odstráňte identifikátory a zabezpečte protokoly, kontroly prístupu a dodávateľov.

Spravodlivosť : Testujte naprieč demografickými skupinami a kontextami, aby ste odhalili stereotypy a nerovnomerné vzorce zlyhania.

Transparentnosť : Jasne označte používanie umelej inteligencie, vysvetlite jej obmedzenia a ponúknite možnosť ľudského posúdenia alebo odvolania.

Zodpovednosť : Pred spustením určte jasných vlastníkov pre nasadenie, incidenty, monitorovanie a vrátenie zmien.

Aká je zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu? Infografika

Články, ktoré by ste si mohli prečítať po tomto:

🔗 Najlepšie nástroje umelej inteligencie pre vývojárov softvéru: Najlepší programátorskí asistenti s umelou inteligenciou
Porovnajte najlepších asistentov kódovania s umelou inteligenciou pre rýchlejšie a čistejšie vývojové pracovné postupy.

🔗 10 najlepších nástrojov umelej inteligencie pre vývojárov na zvýšenie produktivity
Zoznam nástrojov umelej inteligencie pre vývojárov pre inteligentnejšie kódovanie a rýchlosť.

🔗 Prečo môže byť umelá inteligencia škodlivá pre spoločnosť a dôveru
Vysvetľuje škody v reálnom svete: riziká zaujatosti, súkromia, pracovných miest a dezinformácií.

🔗 Zašla umelá inteligencia priďaleko v rozhodnutiach s vysokými stávkami?
Definuje, kedy umelá inteligencia prekračuje hranice: sledovanie, deepfake, presviedčanie, absencia súhlasu.

Prečo je zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu dôležitejšia, než si ľudia myslia

Veľa softvérových chýb je otravných. Tlačidlo sa pokazí. Stránka sa načíta pomaly. Niečo padá a všetci stonajú.

Problémy generatívnej umelej inteligencie môžu byť rôzne. Môžu byť jemné.

Model môže znieť sebavedomo, aj keď sa mýli. Profil NIST GenAI Dokáže reprodukovať skreslenie bez zjavných varovných signálov. Profil NIST GenAI Pri neopatrnom použití môže odhaliť citlivé údaje. OWASP Top 10 pre aplikácie LLM Osem otázok ICO pre generatívnu AI Dokáže vytvoriť kód, ktorý funguje - až kým v produkcii nezlyhá nejakým veľmi trápnym spôsobom. OWASP Top 10 pre aplikácie LLM Trochu ako keby ste si najali veľmi nadšeného stážistu, ktorý nikdy nespí a z času na čas si s ohromujúcou sebadôverou vymýšľa fakty.

Preto zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu väčšia ako len jednoduchá implementácia. Vývojári už nevytvárajú len logické systémy. Vytvárajú pravdepodobnostné systémy s fuzzy hranami, nepredvídateľnými výstupmi a reálnymi sociálnymi dôsledkami. NIST AI RMF

To znamená, že zodpovednosť zahŕňa:

Viete, ako to chodí – keď sa nástroj zdá byť magický, ľudia ho prestanú spochybňovať. Vývojári si nemôžu dovoliť byť takí uvoľnení.

Čo robí dobrú verziu zodpovednosti vývojárov používajúcich generatívnu umelú inteligenciu? 🛠️

Dobrá verzia zodpovednosti nie je performatívna. Nejde len o pridanie vyhlásenia o odmietnutí zodpovednosti na konci a nazvanie to etikou. Prejavuje sa vo výbere dizajnu, testovacích návykoch a správaní produktu.

zvyčajne podrobná verzia zodpovednosti vývojárov používajúcich generatívnu umelú inteligenciu

Ak sa to zdá veľa, tak... je to tak. Ale tak to je, keď pracujete s technológiou, ktorá môže ovplyvňovať rozhodnutia, presvedčenia a správanie vo veľkom meradle. Zásady OECD pre umelú inteligenciu

Porovnávacia tabuľka – hlavná zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu v skratke 📋

Oblasť zodpovednosti Koho to ovplyvňuje Denná prax vývojárov Prečo je to dôležité
Presnosť a overenie používatelia, tímy, zákazníci Kontrola výstupov, pridanie validačných vrstiev, testovanie okrajových prípadov UI môže byť plynulá a stále sa značne mýliť – čo je zhruba kombinácia profilu NIST GenAI
Ochrana súkromia používatelia, klienti, interní zamestnanci Minimalizujte používanie citlivých údajov, vymažte výzvy, kontrolujte protokoly Keď uniknú súkromné ​​údaje, zubná pasta je vonku z tuby 😬 Osem otázok ICO pre generatívnu AI OWASP Top 10 pre LLM aplikácie
Zaujatosť a spravodlivosť nedostatočne zastúpené skupiny, všetci používatelia naozaj Audit výstupov, testovanie rôznych vstupov, ladenie bezpečnostných opatrení Škoda nie je vždy hlučná – niekedy je systematická a tichá. Profil NIST GenAI. Usmernenia ICO o umelej inteligencii a ochrane údajov.
Bezpečnosť firemné systémy, používatelia Obmedziť prístup k modelu, chrániť sa pred okamžitým vkladaním, riskantné akcie v sandboxe Jeden šikovný exploit môže rýchlo zničiť dôveru OWASP Top 10 pre LLM aplikácie NCSC o umelej inteligencii a kybernetickej bezpečnosti
Transparentnosť koncoví používatelia, regulačné orgány, podporné tímy Jasne označte správanie AI, vysvetlite obmedzenia, zdokumentujte používanie Ľudia si zaslúžia vedieť, kedy stroj pomáha. Zásady OECD pre umelú inteligenciu (AI Princípy) Kódex postupov pre označovanie a označovanie obsahu generovaného umelou inteligenciou.
Zodpovednosť vlastníci produktov, právne oddelenie, vývojové tímy Definovanie zodpovednosti, riešenia incidentov a eskalačných ciest „Umelá inteligencia to urobila“ nie je odpoveď dospelých Zásady OECD pre umelú inteligenciu
Spoľahlivosť každý, kto sa dotýka produktu Monitorovanie zlyhaní, nastavenie prahových hodnôt spoľahlivosti, vytvorenie záložnej logiky Modely sa odchyľujú, zlyhávajú neočakávaným spôsobom a z času na čas majú dramatickú malú epizódu. NIST AI RMF NCSC usmernenia pre zabezpečenie umelej inteligencie
Blahobyt používateľa najmä zraniteľní používatelia Vyhnite sa manipulatívnemu dizajnu, obmedzte škodlivé výstupy, prehodnoťte prípady použitia s vysokým rizikom Len preto, že niečo sa dá vygenerovať, neznamená to, že by to malo byť v súlade s princípmi OECD pre umelú inteligenciu (NIST AI RMF).

Iste, trochu nerovný stôl, ale to sa hodí k téme. Skutočná zodpovednosť je tiež nerovná.

Zodpovednosť začína pred prvou výzvou – výberom správneho prípadu použitia 🎯

Jednou z najväčších zodpovedností vývojárov je rozhodnutie, či by sa generatívna umelá inteligencia mala vôbec používať . NIST AI RMF

Znie to očividne, ale stále sa to prehliada. Tímy vidia model, nadchnú sa a začnú ho vnucovať do pracovných postupov, ktoré by sa lepšie riešili pravidlami, vyhľadávaním alebo bežnou softvérovou logikou. Nie každý problém potrebuje jazykový model. Niektoré problémy potrebujú databázu a pokojné popoludnie.

Pred výstavbou by sa developeri mali opýtať:

Zodpovedný vývojár sa nepýta len: „Môžeme toto postaviť?“ Pýta sa: „Malo by sa to postaviť takto?“ NIST AI RMF

Už len táto otázka zabraňuje mnohým hlúpym nezmyslom.

Presnosť je zodpovednosť, nie bonusová funkcia ✅

Povedzme si to na rovinu – jednou z najväčších pascí generatívnej umelej inteligencie je zamieňanie výrečnosti s pravdou. Modely často produkujú odpovede, ktoré znejú uhladene, štruktúrovane a hlboko presvedčivo. Čo je krásne, kým obsah nie je nezmysel zahalený v tajnosti. Profil NIST GenAI

Zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu teda zahŕňa aj vytváranie overovacích prvkov.

To znamená:

To má veľký význam v oblastiach ako:

  • zdravotná starostlivosť

  • financie

  • právne pracovné postupy

  • vzdelávanie

  • zákaznícka podpora

  • automatizácia podnikov

  • generovanie kódu

Napríklad vygenerovaný kód môže vyzerať úhľadne, ale zároveň skrýva bezpečnostné chyby alebo logické chyby. Vývojár, ktorý ho slepo kopíruje, nie je efektívny – jednoducho outsourcuje riziko v krajšom formáte. OWASP Top 10 pre LLM aplikácie NCSC o umelej inteligencii a kybernetickej bezpečnosti

Model môže pomôcť. Vývojár stále vlastní výsledok. Zásady OECD pre umelú inteligenciu

Ochrana súkromia a správa údajov sú nevyhnutné 🔐

Tu sa veci rýchlo zhoršujú. Generatívne systémy umelej inteligencie sa často spoliehajú na výzvy, protokoly, kontextové okná, pamäťové vrstvy, analytiku a infraštruktúru tretích strán. To vytvára veľa príležitostí na únik, pretrvávanie alebo opätovné použitie citlivých údajov spôsobmi, ktoré používatelia nikdy neočakávali. Osem otázok ICO pre generatívnu umelú inteligenciu OWASP Top 10 pre aplikácie LLM

Vývojári majú zodpovednosť chrániť:

  • osobné informácie

  • finančné záznamy

  • lekárske detaily

  • interné firemné údaje

  • obchodné tajomstvá

  • autentifikačné tokeny

  • komunikácia s klientmi

Zodpovedné postupy zahŕňajú:

Toto je jedna z tých oblastí, kde „zabudli sme na to myslieť“ nie je malá chyba. Je to zlyhanie, ktoré narúša dôveru.

A dôvera, keď sa raz rozbije, sa rozleje ako spadnuté sklo. Možno to nie je najvtipnejšia metafora, ale chápete.

Zaujatosť, spravodlivosť a zastúpenie – tichšie zodpovednosti ⚖️

Skreslenie v generatívnej umelej inteligencii je zriedkavo kresleným záporákom. Zvyčajne je oveľa klzkejšie. Model môže vytvárať stereotypné popisy práce, nerovnomerné rozhodnutia o moderovaní, jednostranné odporúčania alebo kultúrne úzke predpoklady bez toho, aby spustil zjavné poplachy. Profil NIST GenAI

Preto zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu zahŕňa aktívnu prácu v oblasti spravodlivosti.

Vývojári by mali:

Systém sa môže zdať celkovo funkčný dobre, ale zároveň niektorým používateľom slúži horšie ako iným. To nie je prijateľné len preto, že priemerný výkon vyzerá na dashboarde pekne. Usmernenia ICO k umelej inteligencii a ochrane údajov Profil NIST GenAI

A áno, spravodlivosť je ťažšia ako úhľadný kontrolný zoznam. Je v nej úsudok. Kontext. Kompromisy. Aj miera nepohodlia. To však nezbavuje zodpovednosti – potvrdzuje ju. Usmernenia ICO k umelej inteligencii a ochrane údajov

Bezpečnosť je teraz súčasťou rýchleho návrhu, čiastočne inžinierskej disciplíny 🧱

Generatívna AI bezpečnosť je svojím vlastným zvláštnym beštiom. Tradičná bezpečnosť aplikácií je samozrejme stále dôležitá, ale systémy AI pridávajú nezvyčajné povrchy útoku: vkladanie promptu, nepriama manipulácia s promptu, nebezpečné používanie nástrojov, únik údajov prostredníctvom kontextu a zneužitie modelu prostredníctvom automatizovaných pracovných postupov. OWASP Top 10 pre LLM aplikácie NCSC o AI a kybernetickej bezpečnosti

Vývojári sú zodpovední za zabezpečenie celého systému, nielen rozhrania. Pokyny NCSC pre bezpečnú umelú inteligenciu

Medzi kľúčové zodpovednosti patrí:

Jednou nepríjemnou pravdou je, že používatelia – a útočníci – určite vyskúšajú veci, ktoré vývojári neočakávali. Niektorí zo zvedavosti, iní zo zlomyseľnosti, niektorí preto, že o druhej ráno klikli na nesprávnu vec. Stáva sa to.

Bezpečnosť pre generatívnu umelú inteligenciu nie je ako stavba múru a skôr ako riadenie veľmi ukecaného strážcu brány, ktorého niekedy oklamú frázy.

Transparentnosť a súhlas používateľa sú dôležitejšie ako okázalé UX 🗣️

Keď používatelia interagujú s umelou inteligenciou, mali by si to uvedomovať. Kódex postupov OECD pre označovanie a označovanie obsahu generovaného umelou inteligenciou v rámci zásad umelej inteligencie.

Nie nejasne. Nie skryté v termínoch. Jasne.

Hlavnou súčasťou zodpovednosti vývojárov používajúcich generatívnu umelú inteligenciu je zabezpečiť, aby používatelia rozumeli:

Transparentnosť nie je o strašení používateľov. Ide o ich rešpektovaní.

Dobrá transparentnosť môže zahŕňať:

Mnoho produktových tímov sa obáva, že úprimnosť spôsobí, že funkcia bude menej magická. Možno. Ale falošná istota je horšia. Hladké rozhranie, ktoré skrýva riziko, je v podstate vyleštený zmätok.

Vývojári zostávajú zodpovední - aj keď model „rozhodne“ 👀

Táto časť je veľmi dôležitá. Zodpovednosť nemožno preniesť na dodávateľa modelu, kartu modelu, šablónu výzvy ani na tajomnú atmosféru strojového učenia. Princípy OECD pre umelú inteligenciu , NIST AI RMF

Vývojári sú stále zodpovední. Zásady OECD pre umelú inteligenciu

To znamená, že niekto v tíme by mal vlastniť:

Mali by existovať jasné odpovede na otázky ako:

Bez vlastníctva sa zodpovednosť mení na hmlu. Každý predpokladá, že sa o ňu stará niekto iný... a potom to nikto nerobí.

Tento vzorec je v skutočnosti starší ako umelá inteligencia. Umelá inteligencia ho jednoducho robí nebezpečnejším.

Zodpovední vývojári vytvárajú pre korekciu, nie pre dokonalosť 🔄

A tu je malý zvrat: zodpovedný vývoj umelej inteligencie nespočíva v predstieraní, že systém bude dokonalý. Ide o predpoklad, že nejakým spôsobom zlyhá, a o navrhovanie s ohľadom na túto realitu. NIST AI RMF

To znamená výrobu produktov, ktoré sú:

Takto vyzerá zrelosť. Nie lesklé ukážky. Nie dychberúce marketingové texty. Skutočné systémy so zábradlím, protokolmi, zodpovednosťou a dostatočnou pokorou na to, aby si priznali, že stroj nie je čarodejník. Smernice NCSC pre bezpečnú umelú inteligenciu. Princípy OECD pre umelú inteligenciu.

Pretože to tak nie je. Je to nástroj. Mocný, áno. Ale stále nástroj.

Záverečná úvaha o zodpovednosti vývojárov používajúcich generatívnu umelú inteligenciu 🌍

Aká je teda zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu ?

Znamená to budovať opatrne. Spochybňovať, kde systém pomáha a kde škodí. Chrániť súkromie. Testovať zaujatosť. Overovať výstupy. Zabezpečiť pracovný postup. Byť transparentný voči používateľom. Udržiavať ľuďom zmysluplnú kontrolu. Zostať zodpovedný, keď sa niečo pokazí. NIST AI RMF OECD Princípy AI

To môže znieť náročne – a aj je. Ale je to tiež to, čo odlišuje premyslený vývoj od bezohľadnej automatizácie.

Najlepší vývojári používajúci generatívnu umelú inteligenciu nie sú tí, ktorí prinútia model vykonávať najviac trikov. Sú to tí, ktorí chápu dôsledky týchto trikov a navrhujú podľa toho. Vedia, že rýchlosť je dôležitá, ale skutočným produktom je dôvera. Je zvláštne, že táto staromódna myšlienka stále platí. NIST AI RMF

Nakoniec, zodpovednosť nie je prekážkou inovácie. Je to to, čo bráni inovácii v tom, aby sa zmenila na drahý, turbulentný rozrast s vylešteným rozhraním a problémom s dôverou 😬✨

A možno je to tá najjednoduchšia verzia.

Stavajte odvážne, to je isté – ale stavajte tak, aby to mohlo ovplyvniť ľudí, pretože ich to ovplyvní. Zásady OECD pre umelú inteligenciu

Často kladené otázky

Aká je zodpovednosť vývojárov, ktorí v praxi používajú generatívnu umelú inteligenciu?

Zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu siaha ďaleko za rámec rýchleho dodávania funkcií. Zahŕňa výber správneho prípadu použitia, testovanie výstupov, ochranu súkromia, zníženie škodlivého správania a zabezpečenie zrozumiteľnosti systému pre používateľov. V praxi zostávajú vývojári zodpovední za to, ako je nástroj navrhnutý, monitorovaný, opravovaný a riadený v prípade zlyhania.

Prečo si generatívna umelá inteligencia vyžaduje väčšiu zodpovednosť vývojárov ako bežný softvér?

Tradičné chyby sú často zrejmé, ale generatívne zlyhania umelej inteligencie môžu znieť uhladene, no zároveň byť nesprávne, zaujaté alebo riskantné. To sťažuje odhalenie problémov a sťažuje používateľom dôveryhodnosť omylom. Vývojári pracujú s pravdepodobnostnými systémami, takže zodpovednosť zahŕňa zvládanie neistoty, obmedzovanie škôd a prípravu na nepredvídateľné výstupy pred spustením.

Ako vývojári vedia, kedy by sa generatívna umelá inteligencia nemala používať?

Bežným východiskovým bodom je otázka, či je úloha otvorená alebo či ju lepšie zvládnu pravidlá, vyhľadávanie alebo štandardná softvérová logika. Vývojári by mali tiež zvážiť, akú škodu by mohla spôsobiť nesprávna odpoveď a či človek dokáže realisticky skontrolovať výsledky. Zodpovedné používanie niekedy znamená rozhodnutie vôbec nepoužívať generatívnu umelú inteligenciu.

Ako môžu vývojári znížiť halucinácie a nesprávne odpovede v generatívnych systémoch umelej inteligencie?

Presnosť je potrebné navrhnúť, nie predpokladať. V mnohých procesoch to znamená založiť výstupy na dôveryhodných zdrojoch, oddeliť vygenerovaný text od overených faktov a používať kontrolné pracovné postupy pre úlohy s vyšším rizikom. Vývojári by mali tiež testovať výzvy určené na zmätenie alebo zavádzanie systému, najmä v oblastiach ako kód, podpora, financie, vzdelávanie a zdravotná starostlivosť.

Aká je zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu za súkromie a citlivé údaje?

Zodpovednosť vývojárov používajúcich generatívnu umelú inteligenciu zahŕňa minimalizáciu údajov vstupujúcich do modelu a zaobchádzanie s výzvami, protokolmi a výstupmi ako s citlivými. Vývojári by mali podľa možnosti odstrániť identifikátory, obmedziť uchovávanie údajov, kontrolovať prístup a starostlivo skontrolovať nastavenia dodávateľov. Používatelia by tiež mali byť schopní pochopiť, ako sa s ich údajmi nakladá, a nie neskôr objavovať riziká.

Ako by mali vývojári riešiť zaujatosť a spravodlivosť v generatívnych výstupoch umelej inteligencie?

Práca so zaujatosťou si vyžaduje aktívne hodnotenie, nie predpoklady. Praktickým prístupom je testovať podnety v rôznych demografických skupinách, jazykoch a kontextoch a potom skontrolovať výstupy z hľadiska stereotypov, vylúčenia alebo nerovnomerných vzorcov zlyhania. Vývojári by tiež mali vytvoriť spôsoby, ako môžu používatelia alebo tímy nahlasovať škodlivé správanie, pretože systém sa môže zdať celkovo silný, no napriek tomu môže určité skupiny neustále zlyhávať.

Aké bezpečnostné riziká musia vývojári zvážiť pri generatívnej umelej inteligencii?

Generatívna umelá inteligencia predstavuje nové oblasti útoku vrátane promptného vkladania údajov, nebezpečného používania nástrojov, úniku údajov prostredníctvom kontextu a zneužívania automatizovaných akcií. Vývojári by mali dezinfikovať nedôveryhodný vstup, obmedziť povolenia nástrojov, obmedziť prístup k súborom a sieti a monitorovať vzorce zneužívania. Bezpečnosť sa netýka len rozhrania; vzťahuje sa na celý pracovný postup okolo modelu.

Prečo je transparentnosť dôležitá pri tvorbe s generatívnou umelou inteligenciou?

Používatelia by mali jasne vedieť, kedy je zapojená umelá inteligencia, čo dokáže a kde sú jej limity. Dobrá transparentnosť môže zahŕňať označenia ako „vygenerované umelou inteligenciou“ alebo „asistované umelou inteligenciou“, jednoduché vysvetlenia a jasné cesty k ľudskej podpore. Takýto druh otvorenosti neoslabuje produkt; pomáha používateľom kalibrovať dôveru a robiť lepšie rozhodnutia.

Kto je zodpovedný, keď generatívna funkcia umelej inteligencie spôsobí škodu alebo urobí niečo zle?

Výsledok je stále zodpovedný za vývoj a produktové tímy, aj keď model prináša odpoveď. To znamená, že by mala existovať jasná zodpovednosť za schválenie nasadenia, riešenie incidentov, vrátenie zmien, monitorovanie a komunikáciu s používateľmi. „Model rozhodol“ nestačí, pretože zodpovednosť musí zostať na ľuďoch, ktorí systém navrhli a spustili.

Ako vyzerá zodpovedný vývoj generatívnej umelej inteligencie po spustení?

Zodpovedný vývoj pokračuje aj po vydaní prostredníctvom monitorovania, spätnej väzby, kontroly a opráv. Silné systémy sú auditovateľné, prerušiteľné, obnoviteľné a navrhnuté s možnosťami záložných riešení v prípade zlyhania umelej inteligencie. Cieľom nie je dokonalosť; ide o vytvorenie niečoho, čo sa dá bezpečne preskúmať, vylepšiť a upraviť, keď sa objavia problémy v reálnom svete.

Referencie

  1. Národný inštitút pre štandardy a technológie (NIST) – profil NIST GenAI – nvlpubs.nist.gov

  2. OWASP – OWASP Top 10 pre prihlášky na LLM – owasp.org

  3. Úrad komisára pre informácie (ICO) - Osem otázok ICO pre generatívnu umelú inteligenciu - ico.org.uk

Nájdite najnovšiu umelú inteligenciu v oficiálnom obchode s asistentmi umelej inteligencie

O nás

Späť na blog