Aké dôkazy potrebujete na preukázanie súladu AI? Kontrolný zoznam pre audítorov a tímy AI

Dôkaz o dodržiavaní súladu s AI znamená operačný dôkaz, nie len písomný zámer.

Najsilnejší dôkaz obsahuje dokumentáciu, záznamy, záznamy z preskúmania, povolenia, záznamy o incidentoch a zachované technické artefakty.

Politiky sú dôležité, ale nepodporované politiky sú slabými dôkazmi.

Podľa GDPR musia byť organizácie schopné preukázať dodržiavanie predpisov, nielen uviesť, že dodržiavajú EUR-Lex.

Podľa zákona EÚ o AI vysokorizikové záväzky v oblasti AI výslovne zahŕňajú ťažbu dreva, dokumentáciu, ľudský dohľad, riadenie rizík a monitorovanie po uvedení na trh Európska komisia EUR-Lex.

Silné dôkazy sa dajú získať, dajú sa priradiť, verziujú a zámerne si ich ponechávajú.

V kontexte riadenia AI je dôkazom súbor záznamov, ktoré umožňujú niekomu mimo bezprostredného projektového tímu overiť, ako bol systém navrhnutý, schválený, monitorovaný a kontrolovaný. To je to, čo mení riadenie zo súboru sľubov na niečo overiteľné.

Užitočný spôsob, ako o tom premýšľať, je:

Dokumentácia ukazuje, čo ste zamýšľali.

Záznamy a záznamy ukazujú, čo sa vlastne stalo.

Recenzie a záznamy o schválení ukazujú, kto bol zodpovedný.

Záznamy o incidentoch a výnimkach ukazujú, ako ste riešili problémy, keď sa pokazila normálna operácia.

NIST NIST Učebnica NIST. ICO usmernenie robí podobný bod v praxi: audítori chcú dôkazy o účinných kontrol, nielen politický jazyk ICO.

GDPR y Princíp zodpovednosti vyžaduje, aby prevádzkovatelia boli zodpovední, a schopní preukázať, dodržiavanie. To je vyššia čiara, než majú politiku v zdieľanej pohonu EUR-Lex.

Usmernenia ICO o riadení a zodpovednosti v UI odporúčajú dokumentovať opatrenia na ochranu súkromia, prideľovať zodpovednosti, získavať dôkazy o tom, že vedúci manažment podpísal riziká, a podporovať politiky prevádzkovými postupmi, príručkami alebo usmerneniami pre zamestnancov. ICO.

V praxi to znamená:

V politike sa môže písať, že je tu ľudský dohľad.

Dôkazom je postup preskúmania, pridelenie recenzenta, prepísať log a eskalačný záznam ICO.

V politike sa môže písať, že systém je monitorovaný.

Dôkazom je plán monitorovania, výstrahy, lístky na incidenty a história preskúmania po uvedení do prevádzky Európska komisia.

Podľa pravidiel je prístup obmedzený.

Dôkazom je konfigurácia RBAC, schvaľovací chodník, prístupové protokoly a záznamy o výnimkách ICO.

1Dokumentácia o riadení

Toto je základná vrstva, ktorá odpovedá na základné otázky, ako napríklad: aký je tento systém, kto ho vlastní, čo je dovolené robiť a kto ho schválil?

Užitočné dôkazy o riadení často zahŕňajú:

inventár systému AI

plánovaný účel a opis úžitkového prípadu

vlastník systému a zodpovedná funkcia

RACI alebo matica zodpovednosti

záznamy riadiaceho výboru

politické a prevádzkové postupy

záznamy o odbornej príprave a informovanosti

história schvaľovania a registrácie

NIST odporúča definovať úlohy, zodpovednosti, postupy preskúmania, frekvenciu monitorovania a zodpovednosti za riadenie zmien NIST Učebnica NISTUsmernenia ICO tiež poukazujú na podpisové a zdokumentované štruktúry zodpovednosti vrcholového manažmentu ICO.

2Posudzovanie rizík a záznamy o klasifikácii

Ak sa niekto spýta, prečo ste sa k systému správali ako k nízkemu riziku, obmedzenému riziku alebo vysokému riziku. Odpoveď by nemala závisieť od pamäte.

Európska komisia opisuje zákon o umelej inteligencii ako rámec založený na riziku a vysokorizikové povinnosti zahŕňajú hodnotenie a zmierňovanie rizík, ťažbu dreva, technickú dokumentáciu, ľudský dohľad a odolnosť voči nim Európska komisia Európska komisia.

Vedenie záznamov, ako sú:

oznámenie o klasifikácii rizík alebo právne posúdenie

DPIA alebo rovnocenné posúdenie vplyvu, ak sa týkajú osobných údajov

identifikované škody a scenáre zneužitia

rozhodnutia o zmierňovaní a reziduálnom riziku

výsledky validácie alebo testovania

dátumy preskúmania a spúšťacie faktory opätovného posúdenia

konečné schválenie zavedenia, obmedzenia alebo odmietnutia systému

Ak AI zahŕňa osobné údaje a zvýšené riziko pre jednotlivcov, zodpovednosť GDPR a povinnosti DPIA sa môžu stať relevantnými aj v závislosti od kontextu. EUR-Lex ICO.

3Technická dokumentácia a popis systému

Pre vysokorizikové AI zákon očakáva podrobnú technickú dokumentáciu. Prehľad Komisie zdôrazňuje dokumentáciu ako základný mechanizmus dodržiavania súladu a v znení úradného zákona o AI sa stanovujú požiadavky na technickú dokumentáciu pre vysokorizikový systém. Európska komisia EUR-Lex.

V praxi by technická dokumentácia mala umožniť pochopiť:

čo systém robí a nerobí

kde je nasadený

aký model alebo modely sa používajú

aké zdroje údajov alebo rozhrania majú rozsah

aké nástroje, pluginy alebo systémy na po prúde

aké záruky existujú

aké predpoklady a obmedzenia platia

ako funguje monitorovanie a spätné navrátenie

To sa stáva ešte dôležitejším, keď ide o modely AI tretej strany alebo univerzálne modely AI Európska komisia NIST.

4Záznamy systému a záznamy o vysledovateľnosti

Ak dokumentácia vysvetľuje systém, záznamy vysvetľujú systém v prevádzke.

Podľa zákona o umelej inteligencii musí vysokorizikové systémy umelej inovácie technicky umožňovať automatické zaznamenávanie udalostí počas životnosti systému a protokolovanie by malo podporovať sledovateľnosť zodpovedajúcu zamýšľanému účelu. ai-act-service-desk.ec.europa.eu EUR-Lex.

V audite najviac záleží na tom, či ste všetko zaregistrovali. Je to, či môžete rekonštruovať materiálne akcie a rozhodnutia. To zvyčajne znamená uchovávanie záznamov, ako sú:

časová pečiatka

aktérska identita alebo identita služby

verzia systému a modelu

rýchle alebo odkaz na úlohu

volania na nástroje alebo vonkajšie akcie

politické kontroly a výsledky presadzovania

požiadavky na schválenie a výsledky schválenia

výstupný odkaz

stav chyby

prostredie zavádzania

korelačné ID alebo stopové ID

NIST NIST Učebnica NIST.

Ak sa osobné údaje týkajú, pri zaznamenávaní by sa mali dodržiavať zásady minimalizácie údajov a bezpečnosti. ICO.

5Záznamy o dohľade nad ľuďmi

Èlovek v slučke nie je sám dôkazom.

Podľa zákona o umelej inteligencii je vhodný dohľad nad ľuďmi jednou z hlavných vysoko rizikových požiadaviek Európska komisia EUR-Lex. ICO návod na ľudské preskúmanie hovorí, že organizácie by mali vytvoriť štandardizované postupy preskúmania, jasné kontrolné zoznamy, a protokoly pre ľudských recenzentov ICO.

Silné dôkazy dohľadu môžu zahŕňať:

návrh dohľadu a vystupňovanie politiky

pomenované zodpovedné tímy alebo roly

fronty alebo záznamy pracovných postupov na preskúmanie

prepísať a odvolať záznamy

komentáre recenzenta

záverečné záznamy rozhodnutí

záznamy o výcviku recenzentov

dôkaz, že preskúmanie bolo zmysluplné a nie len formálne

V prípade rozhodnutí podporovaných UI, ktoré majú právne alebo podobné významné účinky, sú usmernenia GDPR a EDPB mimoriadne dôležité pre ľudské zásahy. EDPB EDPB.

6Incident, sťažnosť, výnimka, a prepísať záznamy

Obranné dodržiavanie podmienok zahŕňa dôkazy o zvládnutí zlyhania, nielen bežnú prevádzku.

Komisia uvádza, že poskytovatelia vysokorizikových systémov UI by mali mať systém monitorovania po uvedení na trh a závažné incidenty a nesprávne fungovanie môžu viesť k povinnostiam podávať správy v závislosti od úlohy a kontextu. Európska komisia EUR-Lex.

Vedenie záznamov, ako sú:

hlásenia o incidentoch

sťažnosti a odvolania užívateľov

výnimky z politiky

takmer minie

prepísať aktivitu

analýza koreňových príčin

nápravné opatrenia

post-incidenčné recenzie

zmeny verzie spojené so sanáciou

NIST NIST.

7Kontrola prístupu a záznamy o presadzovaní politiky

Spoločná audítorská otázka nie je len to, akú politiku máte, ale aj to, kde bola politika presadzovaná a kto ju mohol obísť.

V usmerneniach pre audit ICO sa odporúča komplexný audit trails pre prístup k súborom údajov vrátane tých, ktorí majú prístup k informáciám, kedy a na aký účel, spolu s kontrolou prístupu založenou na úlohe ICO.

Dôkazy tu môžu zahŕňať:

RBAC alebo ABAC definície politík

povolenia privilegovaného prístupu

výsledky hodnotenia politiky

zablokované alebo zamietnuté konanie

dočasné povolenia na bypass

záznamy o rozdelení nákladov

história opätovnej certifikácie prístupu

Táto kategória sa často stáva kritickou, keď systém AI môže spustiť následné opatrenia, ako je vyhľadávanie údajov, externé volania API, schvaľovanie pracovných postupov alebo zmeny vo výrobných systémoch.

8Model, predajca a dokumentácia o nasadení

Mnohé tímy sa spoliehajú na modely tretích strán, cloud AI služby, vektorové obchody, systémy vyhľadávania, pluginy, alebo nástroje agenta. To mení dôkazné bremeno. Neodstraňuje ho.

NIST odporúča zachovať transparentnosť do funkcií, predpokladov, obmedzení a závislostí systému tretích strán NIST Učebnica NISTEurópska komisia tiež zdôrazňuje povinnosti v oblasti transparentnosti a dokumentácie pre niektoré všeobecné modelové scenáre AI podľa zákona o AI . Európska komisia.

Užitočné záznamy zahŕňajú:

predajca due diligence

podmienky spracovania údajov a zabezpečenia

modelové karty alebo ekvivalentná dokumentácia

systémové rýchle verzie alebo verzie balíka politík

inventár modulov

inventár závislosti

história zmien a vydania

zdokumentované obmedzenia a obmedzené použitie

V praxi sa väčšina hodnotení zbližuje so spoločným súborom otázok:

1Čo je tento systém AI a aký je jeho účel?

2Prečo ste to takto klasifikovať?

3Aké údaje, modely, predajcovia, pluginy a systémy po prúde sú zapojené?

4Aké kontroly existujú a kde sa presadzujú?

5Aké záznamy ukazujú, čo systém skutočne urobil?

6Kto mal právomoc zasiahnuť, schváliť alebo prepísať výstupy?

7Čo sa zmenilo medzi verziami?

8Aké incidenty, sťažnosti alebo výnimky sa vyskytli?

9Dokážete rýchlo získať relevantné dôkazy a vysvetliť ich koherentne?

Preto sú najsilnejšie súbory z auditu rekonštruktívne. Nechávajú tretiu stranu sledovať reťazec od politiky k implementácii až po beh času až po výnimku z manipulácie NIST ICO.

Použite kontrolný zoznam nižšie ako základný. Presné povinnosti závisia od prípadu použitia, organizácia Európska komisia.

Rozsah pôsobnosti a vlastníctvo

V prípade každej výroby alebo materiálne testovaného systému existuje inventarizácia AI

Plánovaný účel, používatelia v rozsahu a použitie mimo rozsahu sú zdokumentované

Vlastník systému a zodpovedná funkcia sú pridelené

Spôsob schvaľovania a riadiaci orgán sú definované

Riziko a hodnotenie

Odôvodnenie klasifikácie rizika je zdokumentované

DPIA alebo v relevantných prípadoch rovnocenné posúdenie vplyvu

Scenáre nesprávneho použitia, škody, zmiernenie, a reziduálne riziko sú zaznamenané

Prehodnotenie spúšťacie a dátumy preskúmania sú zdokumentované

Technická dokumentácia

Systémový opis zahŕňa účel, architektúru, modely, dáta, rozhrania a obmedzenia

Návrh ľudského dohľadu je zdokumentovaný

Plán monitorovania a preskúmania po presune existuje

Verzia histórie a vydanie poznámky sú zachované

Vysledovateľnosti času prevádzky

Logy zachytávajú materiálne akcie, identity, časové pečiatky, verzie a výsledky

Výsledky kontrol a presadzovania sú zaznamenané

Vonkajšie akcie a nástroje môžu byť rekonštruované

Pravidlá uchovávania záznamov sú definované a uplatňované

Ľudský dohľad

Recenzenti a schválení sú priradení podľa úlohy

[] Prejazdy, odvolania, a eskalácie cesty sú zaznamenané

Recenzent vedenie a záznamy o tréningu existujú

Významné ľudské preskúmanie možno preukázať pre významné rozhodnutia

Incidenty a výnimky

Incident a príjem sťažností existuje

Politické výnimky a dočasné obchádzky sú zaznamenané

Nápravné opatrenia a analýza koreňovej príčiny sú zdokumentované

Zmeny po zmene sú spojené s verziou a vydaním histórie

Dôkazy tretích strán a dodávateľov

Zoznam predajcov, zoznam modelov a zoznam modulov sú aktuálne

Predpoklady, obmedzenia a schválené použitia tretích strán sú zdokumentované

Bezpečnosť, súkromie a zmluvné recenzie sú zachované

Riadenie zmien zahŕňa aktualizácie a zlyhania tretích strán

Riadenie dôkazov

Dôkazy sú uložené v organizovanom, zabezpečenom úložisku

Vlastníctvo na údržbu dôkazov je priradené

Čas uchovávania je definovaný

Retrieval bol testovaný pred skutočným auditom

Chyba 1: Zaobchádzanie s politikou wiki ako s dôkazom

Knižnica politík je užitočná, ale nestačí to sama. Audity hľadajú účinné kontroly a podporné postupy, nielen písomné vyhlásenia ICO.

Chyba 2: hlásanie príliš málo

Ak nemôžete rekonštruovať, aká verzia bežala, aká akcia sa stala, kto ju inicioval, alebo či sa vystrelilo, vaše dôkazy budú krehké. ai-act-service-desk.ec.europa.eu NIST.

Chyba 3: Zaznamenávanie príliš veľa bez minimalizácie

Zachovanie nepotrebných osobných údajov alebo neobmedzených surových artefaktov môže vytvoriť nové riziko pre súkromie a bezpečnosť. ICO usmernenie výslovne páruje audit trails s minimalizáciou dát a starostlivé uchovávanie ICO.

Chyba 4: Tvrdenie, že človek má dohľad bez jeho zaznamenania

Ak neexistuje záznam o kontrole, ovládnutí, eskalácii alebo kontrole, môže byť ľudský dohľad skôr nominálny ako zmysluplný ICO.

Chyba 5: Ignorovanie modelu tretej strany a dôkazov plugin

Použitie externého modelu nevylučuje povinnosti riadenia. Zamestnávatelia stále potrebujú vlastné dôkazy o plánovanom používaní, kontrolách, monitorovaní a incidentoch v ich prostredí Európska komisia NIST.

Chyba 6: Zabúdanie na zmenu histórie

Dobrý audit trail je časový. Ak nemôžete ukázať, čo sa zmenilo, kedy a prečo, budete sa snažiť vysvetliť incidenty, výkon drift, alebo kontrolné zlyhania NIST.

Na prvom mieste by malo byť nezávislé riadenie. Akonáhle viete, aké dôkazy potrebujete, vzniká operačná otázka: ako ich budeme zhromažďovať dôsledne bez toho, aby sme každý technický tím premenili na svoj vlastný projekt na nástroje na zabezpečenie súladu?

AgentID je dôležitý, ak tímy potrebujú operačné dôkazy o agentských akciách, presadzovaní politiky, sledovateľnosti, povoľovacích pracovných postupoch a auditoch. AgentID AgentID AgentID.

Praktický spôsob, ako opísať vhodnosť, je:

Potrebuješ dôkaz o behaviorálnom správaní?

AgentID y audit trail a akcie protokolovanie sú relevantné.

Potrebuješ dôkaz, že kontrola naozaj bežala?

Dôležité sú presadzovanie politiky a protokolovanie zábradlia.

Potrebujete dôkaz o ľudskom súhlase s citlivými činmi?

Dôležité sú pracovné postupy v oblasti ľudského dohľadu a schvaľovania.

Potrebujete jasnejšiu sledovateľnosť pre audity, kupujúcich alebo vnútorné riadenie?

Dôležité sú centralizované záznamy o zhromažďovaní dôkazov a činnosti agentov.

Žiadny produkt rieši súlad sám o sebe. Nástroje môžu pomôcť generovať, zachovať, a organizovať dôkazy. Nemajú nahradiť právne rozlíšenie, hodnotenie rizík, alebo zodpovedné riadenie.

Aké dôkazy by mala spoločnosť uchovávať pre dodržiavanie súladu s AI?

Minimálne si vedú záznamy, ktoré ukazujú účel systému, vlastníctvo, hodnotenie rizika, technický návrh, správanie v čase bežania, dohľad nad ľuďmi, incidenty, história zmien a kontroly prístupu. Ak sa osobné údaje týkajú, uchovávajú sa aj dôkazy o ochrane údajov, ako sú DPIA, bezpečnostné preskúmania a dokumentácia o toku údajov Európska komisia ICO.

Aké záznamy sú dôležité v audite AI?

Najužitočnejšie záznamy sú tie, ktoré vám umožňujú rekonštruovať materiálne udalosti: kto inicioval akciu, keď sa to stalo, aká verzia bežal, aké nástroje boli nazývané, aké politické kontroly prešli alebo zlyhali, či už človek schválený alebo prehnal akcia a aká chyba alebo incident nasledovaliai-act-service-desk.ec.europa.eu Učebnica NIST.

Ako dokážete, že máte na človeka dohľad nad systémom AI?

Dokážete to so záznamami, nie slogany: zdokumentované postupy dohľadu, priradení recenzenti, výcvik recenzií, fronty schvaľovania, prepísať záznamy, eskalačné cesty a záverečné rozhodnutia logy ICO EDPB.

Potrebujú všetky systémy AI rovnaké dôkazy?

Nie. Dôkazy závisia od prípadu použitia, úrovne rizika, odvetvia, úlohy organizácie v hodnotovom reťazci a či ide o osobné údaje alebo o rozhodovanie s vysokým dosahom Európska komisia.

Môžeme sa spoliehať na dokumentáciu dodávateľa len sami?

Doklady od predajcov sú dôležité najmä pre modely tretích strán a všeobecné modely, ale nasaditelia stále potrebujú vlastné dôkazy o plánovanom používaní, miestnych kontrolách, monitorovaní a manipulácii s incidentmi. NIST Európska komisia.

Ako dlho by sa mali viesť záznamy o AI?

Pre každý systém UI neexistuje jediné pravidlo zachovania. Podľa zákona EÚ o umelom ukazovateli (ANI) sa nasadzovatelia vysokorizikových systémov AI vzťahujú povinnosti uchovávania logov viazané na generované protokoly, zatiaľ čo iné právne, sektorové, súkromné a zmluvné požiadavky môžu mať vplyv aj na lehoty uchovávania. EUR-Lex ai-act-service-desk.ec.europa.eu.

Prehľad aktu o AI Európskej komisie Európska komisia

FAQ Európskej komisie o navigácii na základe zákona o umelej inteligencii Európska komisia

Úradný zákon EÚ o AI text o EUR-Lexe EUR-Lex

AI Act Service Desk zhrnutie článku 12 vedenie záznamov ai-act-service-desk.ec.europa.eu

Oficiálny text GDPR o EUR-Lexe EUR-Lex

NIST AI Ryža riadenia rizík 1.0 NIST

Učebnica NIST AI RMF Učebnica NIST

NIST generative AI profil NIST

ICO Guidance on AI and data protection ICO

ICO Riadenie a zodpovednosť v AI ICO

ICO Human Review ICO

ICO bezpečnosť a minimalizácia údajov v AI ICO

EDPB usmernenie o automatizovanom rozhodovaní a profilovaní EDPB

EDPB SME Guide on individuals EDPB

Stanovisko EDPB 28/2024 na tému AI modely EDPB

Agent ID AgentID AgentID AgentID