Ochrana pred prompt injection
Kontrolujte vstupy na pokusy o obídenie pokynov alebo presmerovanie aplikácie. Pred pokračovaním požiadavky uplatnite nastavené ochranné pravidlá.
Platform / Bezpečnosť AI aplikácií
Chráňte AI, ktorú vytvárate. Aj údaje, s ktorými pracuje.
Bezpečnostné kontroly počas prevádzky interných asistentov, vlastných aplikácií a AI pre zákazníkov. Overujte nedôveryhodné vstupy skôr, než sa dostanú k ďalším systémom.
Výzva
Každé rozhranie AI vytvára novú bezpečnostnú hranicu.
Asistent podpory môže mať prístup k údajom zákazníkov. Interný asistent môže vyhľadávať dôverné dokumenty. Škodlivý pokyn sa môže objaviť v prompte používateľa aj vo vyhľadanom obsahu. Ochrana preto musí fungovať aj vo vnútri aplikácie.
Prediskutovať vaše prostredieVaše kontrolné mechanizmy
Od pravidiel ku každodennej praxi.
Kontrola zdieľania údajov
Kontrolujte citlivé informácie v pripojených AI postupoch. Určite, čo možno odoslať modelu a čo sa môže vrátiť používateľovi.
Ochrana interných aj zákazníckych systémov
Používajte spoločné pravidlá pre aplikácie zamestnancov aj asistentov pre zákazníkov. Kontroly prispôsobte jednotlivým pracovným postupom.
Vyšetrovanie bezpečnostných udalostí
Preverujte rozhodnutia podľa pravidiel spolu s aktivitou aplikácie. Sledujte, ako bola požiadavka spracovaná a kde sa zastavila.
Príklad z praxe
Asistent podpory dostane škodlivý prompt.
Ilustračný postup. Konkrétne kontroly závisia od vášho nastavenia.
- 01
Request
Zákazník požiada asistenta, aby ignoroval svoje pokyny a prezradil údaje o účte iného zákazníka.
- 02
Kontrola podľa pravidiel
Pripojená bezpečnostná vrstva porovná požiadavku s pravidlami aplikácie pre vstupy a údaje.
- 03
Outcome
Zistené porušenie sa zablokuje a zaznamená na preverenie.
Nasadenie
Začnite s jasne určeným rozsahom.
Zmapujte aplikáciu, volania modelu, prístup k údajom a dostupné rozhrania.
Pripojte bezpečnostnú vrstvu a otestujte pravidlá na skutočných pracovných postupoch.
Vyhodnoťte zistenia a rozšírte ochranu na ďalšie produkčné aplikácie.
Ochrana platí pre pripojené cesty požiadaviek. Rozsah integrácie a fungovanie pravidiel overíme s vaším tímom; žiadny detektor nezachytí každý útok.
Porozprávajme sa o bezpečnosti AI
Získajte kontrolu nad AI vo firme.
Začnite nástrojmi AI, ktoré používajú vaši ľudia. Potom pripravte plán pre systémy, ktoré prevádzkujete.