Tlačítko Potvrdit není pojistka

Každý tým, který staví prvního agenta, dojde ke stejné pojistce, a dojde k ní zhruba za deset minut: zeptej se nejdřív člověka. Před cokoli podstatného dej potvrzovací dialog. Bez kliknutí se nestane nic.

Zní to samozřejmě správně. Anthropic změřil, co s těmi dialogy lidé napříč jejich produkty doopravdy dělají, a číslo zveřejnil v textu o tom, jak Clauda ohraničují: uživatelé odklikají zhruba 93 % potvrzovacích dotazů a jejich pozornost přitom v čase klesá.

Pojistka, které je v 93 % případů učiněno zadost reflexem, není pojistka. Je to záznam do logu s tlačítkem.

Jak vypadá reálný provoz

Než začneme cokoli předepisovat, hodí se vědět, co už venku běží. Výzkum Anthropicu o měření autonomie agentů v praxi vzal vzorek 998 481 náhodných volání nástrojů přes jejich veřejné API a každé z nich zařadil.

Dvě čísla stojí za zapamatování. 80 % volání mělo aspoň jednu pojistku — omezená oprávnění, nutnost schválení — a u 73 % byl nějak přítomen člověk. Agenti venku neběží bez dozoru.

Třetí číslo je to, které by mělo přerovnat celý pohled na problém. Z těch 998 481 volání se jako nevratných jevilo — e-mail, který už odešel, záznam, který už není — 0,8 %.

Necelé procento toho, co agenti dělají, nejde vzít zpět. Skoro všechno ostatní je koncept, dotaz, čtení, soubor, který lze přepsat. Riziko je natlačené do tenkého plátku — odeslat, převést, smazat, zveřejnit — a právě tam za pozornost člověka něco dostanete.

Schvalování utrácejte tam. Nikde jinde. Každý dialog, který postavíte před vratnou akci, je malý výběr z účtu, který budete potřebovat, až přijde ta nevratná.

A okno, ve kterém kliknutí ještě něco znamená, se prodlužuje. Tentýž výzkum sledoval, jak dlouho agent běží na jedno zadání, a horní konec rozsahu se za čtyři měsíce téměř zdvojnásobil.

Medián zůstal kolem 45 sekund, takže nejde o to, že by se všechno zpomalilo — prodloužil se dlouhý chvost. Souhlas udělený na začátku dnes kryje úsek práce bez dozoru, který může běžet přes čtyřicet minut. To, co vás chrání ve třicáté minutě, není to kliknutí.

Rozlišení, které odvádí práci

Inženýrské doporučení Anthropicu vede čáru, kterou většina týmů nikdy neudělá, a skoro všechno ostatní z ní plyne:

hlídat, co agent dělá, přes člověka ve smyčce — versus — hlídat, co agent může

První je dialog. Druhé je hranice. Jejich preference je jednoznačná a u ohraničení uvádějí, že tam inženýři Anthropicu odvedli nejvíc práce.

Praktický rozdíl: potvrzovací dialog chce po člověku, aby se trefil pokaždé. Hranice se musí správně nastavit jednou. Jen jedno z toho vydrží u systému, který běží měsíce.

Není to argument pro odstranění lidí. Je to argument pro rámec, který používá Anthropic — účinný dohled nevyžaduje schválit každou akci, ale být v pozici, kdy můžete zasáhnout, když na tom záleží.

Tři vrstvy, a záleží na pořadí

Doporučení pojmenovává tři místa, kde může mantinel bydlet, a to pořadí je ta rada.

Prostředí. Kde agent běží — sandbox, virtuální stroj, kontrola odchozích spojení. Tuhle vrstvu navrhujte první, protože je jediná, která drží i ve chvíli, kdy je model zmatený nebo jsou instrukce nepřátelské.

Model. Systémový prompt, klasifikátory, trénink. Reálné, užitečné — a druhé v pořadí. Chování laďte až potom, co jste zdola omezili schopnosti.

Externí obsah. Všechno, co agent přečte nebo zavolá: nástroje, pluginy, připojené servery. Na tuhle vrstvu se zapomíná úplně nejčastěji a bydlí v ní ty zajímavé útoky.

Princip, kterého je dobré se držet: nejdřív navrhni ohraničení na úrovni prostředí, teprve pak veď chování na úrovni modelu. Obrany se mají překrývat.

Dva způsoby selhání, které stojí za pojmenování

Anthropic zveřejnil i vlastní selhání, což je neobvyklé a stojí za přečtení v originále. Dvě z nich platí i mimo jejich produkty.

Agent přečte něco nepřátelského

Živý útok na agenty není někdo, kdo vám do chatu napíše zákeřnou instrukci. Jsou to instrukce schované v obsahu, který agent čte — dokument, webová stránka, e-mail, ticket, odpověď z API.

Ve vlastním protivnickém testování tohohle scénáře proti Claude Cowork uspěl přímý phishingový pokus o vytažení dat ve 24 z 25 případů. Trénink modelu to nezastavil. Prompty to nezastavily. Zastavila to kontrola odchozích spojení — hranice, která rozhoduje, kam data smí, bez ohledu na to, co se agent rozhodl udělat.

Všimněte si, co to znamená pro tlačítko Potvrdit: agent dělal něco, o čem byl přesvědčen, že je to legitimní. Člověk, který tu akci schvaluje, by ji schválil taky.

Každý připojený nástroj je udělená schopnost

Druhé ponaučení je tvrdší a je to to, které si vezměte s sebou na jednání s dodavatelem. Zjištění Anthropicu zní, že seznamy povolených nástrojů fungují jako udělení schopností — útočitelnou se stává každá dosažitelná funkce, ne jen cílová doména.

Jejich vlastní případ: útočníci vytáhli data přes legitimní schválené API endpointy. Doména byla na seznamu povolených. Endpoint byl skutečný. Provoz vypadal správně.

Takže „pouštíme ho jen na schválené služby" je slabší tvrzení, než jak zní. Povolili jste všechny funkce, které ty služby vystavují.

Přizpůsobte hranici člověku

Ještě jeden princip, a je to ten, díky kterému se z tohohle nestane kázání o zamykání všeho: sílu izolace přizpůsobte tomu, kolik dohledu je daný člověk schopen odvést.

Měření to podkládají. Zkušení uživatelé — kolem 750 sezení — jedou v režimu plného automatického schvalování ve víc než 40 % případů, proti zhruba 20 % u nováčků. Titíž zkušení uživatelé ale častěji přerušují, asi v 9 % běhů proti 5 %.

To není nedbalost. Je to jiný model dohledu: nekontrolují každý krok, sledují tvar té práce a zastaví ji, když se zvrtne. Takový model ale předpokládá, že víte, jak vypadá „zvrtnuto".

Poctivé čtení tedy je, že autonomie se má zasloužit pro konkrétního člověka a konkrétní úlohu, ne nastavit globálně v konfiguraci. Tentýž agent, který má u jednoho člověka běžet bez dozoru, má být u jiného pod dohledem — a žádná výchozí hodnota od dodavatele to netrefí.

Na co se ptát, když vám to někdo staví

„Co ten agent zvládne, pokud je všechno, co přečte, nepřátelské?" Tohle je jediná verze bezpečnostní otázky, na které záleží, a odpovídá se na ni na úrovni prostředí, nebo vůbec.

„Které akce jsou nevratné a co konkrétně hlídá právě je?" Když je odpověď, že se hlídá všechno, nehlídá se nic — postavili jste únavu ze schvalování a pojmenovali ji bezpečnost.

„Kudy se data dostanou ven a co to vynucuje?" Kontrola odchozích spojení byla v tom jediném zveřejněném testu jediná věc, která zabrala, když selhalo všechno ostatní.

„Postavili jste tu izolaci sami?" Prověřené hypervizory, filtry systémových volání a kontejnerová prostředí porážejí vlastní řešení. Slovy Anthropicu: nejslabší vrstva je ta, kterou jste si postavili sami.

Poctivé shrnutí

Potvrzovací dialog je mantinel, který postaví každý jako první, a je to ten, co selže potichu — ne poplachem, ale tím, že člověk počtvrtésté odklikne Potvrdit a myslí přitom na něco jiného.

Co drží místo toho, je nudné a strukturální: rozhodnout, co agent může, vynutit to v prostředí místo v instrukci, vyhradit vyrušení pro těch 0,8 % akcí, které nejdou vzít zpět, a nechat člověka sledovat tvar té práce místo razítkování každého kroku.

Což je tentýž závěr jako jinde na tomhle webu, jen dorazil od rizika: o výsledku nerozhoduje model. Rozhoduje aparát kolem něj.

Často kladené dotazy