Context engineering je odečítání

Zeptejte se většiny týmů, jak vylepšit AI systém, který dává slabé odpovědi, a uslyšíte tentýž instinkt: dát mu víc informací. Přidat dokumenty. Nahrát víc historie. Nacpat do promptu celou příručku.

Publikovaný výzkum říká, že je to obráceně. Návod Anthropicu k efektivnímu context engineeringu formuluje cíl jako nalezení

„nejmenší možné množiny tokenů s vysokou výpovědní hodnotou, která maximalizuje pravděpodobnost žádoucího výsledku."

Nejmenší. Ne největší. V tom jediném slově je celá ta disciplína — a je to opak toho, co skoro každý udělá jako první.

Rozdíl, na který se lidé pořád ptají

Ty dva pojmy se zaměňují a přitom nejsou totéž. Anthropic vede hranici přesně:

Prompt engineering jsou „metody psaní a uspořádání instrukcí pro LLM tak, aby vedly k optimálním výsledkům".

Context engineering je „soubor postupů, jak během inference kurátorovat a udržovat optimální množinu tokenů (informací)".

Rozdíl je v rozsahu a v čase. Prompt engineering je o tom trefit jednu instrukci pro jednu úlohu. Context engineering je o tom, co je v okně v každém kroku smyčky, která pořád běží — model jedná, dostane zpátky výstup nástroje, jedná znovu, a okno se plní materiálem, který nikdo vědomě nevybral.

Proto se ten pojem změnil. Není to přejmenování. Agenti udělali ten starý rámec příliš těsným.

Proč víc kontextu aktivně škodí

Tohle stojí za zvnitřnění, protože to vysvětluje chování, které jinak vypadá, jako by byl model líný nebo zapomnětlivý.

Anthropic popisuje rozpočet pozornosti: „LLM mají ‚rozpočet pozornosti', ze kterého čerpají při zpracování velkých objemů kontextu." Každý token vtažený do okna z něj něco utratí. Naměřený důsledek je bez obalu:

„S rostoucím počtem tokenů v kontextovém okně klesá schopnost modelu přesně si z toho kontextu vybavit informaci."

Ten jev se publikovaně jmenuje context rot, hniloba kontextu. Mechanismus je architektonický — transformery vztahují každý token ke každému jinému, takže se tatáž konečná kapacita s rostoucím oknem rozprostírá na čím dál víc materiálu.

Dokument, který jste přidali „pro jistotu", tedy není zadarmo. Soupeří o pozornost s instrukcí, na které vám doopravdy záleží. Okno nacpané vším podstatným si vede hůř než okno, ve kterém je jen to, co potřebuje tenhle krok.

Čtyři páky

Návod Anthropicu je praktický a scvrkává se na čtyři místa, kde se to rozhoduje.

Systémový prompt ve správné výšce

Po obou stranách úzkého cíle číhá jedno selhání.

Příliš konkrétní: „inženýři natvrdo zadrátují do promptů složitou a křehkou logiku, aby vynutili přesné chování agenta". Funguje to na případy, které vás napadly, a padá na prvním, který ne — a každá oprava to udělá křehčí.

Příliš vágní: „mlhavé pokyny na vysoké úrovni, které modelu nedávají konkrétní signály o žádoucím výstupu nebo mylně předpokládají sdílený kontext". Právě ta poslední část lidi dostává — mylně předpokládají sdílený kontext je přesně to, co se stane, když píšete instrukce tak, jak byste zadávali kolegovi, který už ví, jak vaše firma funguje.

Cílem je být „dost konkrétní, aby to chování účinně vedlo, a zároveň dost pružný, aby to modelu dalo silné heuristiky".

Seznam nástrojů

Nástroje mají být „soběstačné, odolné vůči chybám a naprosto jednoznačné v tom, k čemu slouží". Pojmenovaným selháním jsou „nabobtnalé sady nástrojů, které pokrývají příliš mnoho funkcí nebo vedou k nejednoznačným rozhodovacím bodům o tom, který nástroj použít".

Každá definice nástroje navíc sedí v okně trvale a utrácí rozpočet pozornosti při každém jednom kole. Nástroj, který agent použije dvakrát měsíčně, není zadarmo — platíte za něj při každém požadavku.

Až v okamžiku potřeby, ne předem

Tohle je páka s největším praktickým dopadem a zároveň ta, kterou většina systémů dělá špatně.

Místo předběžného nahrání všeho, co by agent mohl potřebovat, si držte lehké identifikátory — „cesty k souborům, uložené dotazy, webové odkazy" — a nechte agenta obsah načíst za běhu, až si o to daný krok řekne.

Anthropic to přirovnává k tomu, jak pracují lidé: obsah kartotéky si nepamatujete, držíte si rejstřík a zásuvku otevřete, až ji potřebujete.

Dlouhé úlohy: zhuštění, poznámky, subagenti

Když úloha přeroste okno, přicházejí na řadu tři techniky. Zhuštění — shrnout a začít okno znovu, „zachovat architektonická rozhodnutí, nevyřešené chyby a implementační detaily a zahodit nadbytečné výstupy nástrojů". Strukturované poznámky — zapisovat mimo okno do paměti a číst zpátky. A subagenti, kteří zkoumají ve vlastním okně a vracejí jeden až dva tisíce tokenů závěru.

Všimněte si, co mají všechny tři společné. Každá z nich je způsob, jak kontext zahodit a podržet si z něj to, na čem záleželo.

Kde se to potkává se vším ostatním

Přečtěte si posledních pár textů za sebou a tatáž disciplína se vynořuje pod různými jmény.

Subagenti fungují proto, že každý dostane čisté okno a vrátí shrnutí — to je context engineering s procesní hranicí kolem. Dělení agentů podle rolí místo podle kontextu selhává přesně z důvodu popsaného výše: přesouvá materiál, aniž by ho kurátorovalo.

LLM wiki je context engineering s pamětí. Ten vzor poráží bezstavové vyhledávání proto, že jednou rozhodne, jaká je trvalá a hodnotná podoba nějakého faktu, místo aby ji při každé otázce skládal z útržků.

A firefoxová linka fungovala proto, že model uměl své vlastní chybné tipy automaticky zahodit — nejlacinější možná forma toho, jak držet šum mimo okno.

Na co se ptát, když vám to někdo staví

„Co je v kontextovém okně v každém kroku a kdo o tom rozhodl?" Když na to nikdo neumí odpovědět, nikdo context engineering nedělá — v okně je to, co tam zrovna dal framework.

„Mezi kolika nástroji agent vybírá?" Dlouhý seznam je varovný signál, jak kvůli ceně, tak kvůli nejednoznačnosti, kterou vytváří.

„Co se stane u dlouhé úlohy?" Když zní odpověď, že se to nakonec zamotá, neexistuje strategie zhuštění ani poznámek — a ten systém bude fungovat v demu a padne na skutečné práci.

„Není předem nahrané něco, co by šlo dotáhnout až v okamžiku potřeby?" Obvykle ano a obvykle je to nejrychlejší dostupné zlepšení.

Poctivé shrnutí

Context engineering zní jako nová specializace a je to hlavně stará disciplína s novým jménem: rozhodnout, na čem záleží, a zbytek vynechat.

Jméno dostala teď proto, že agenti tu cenu zviditelnili. V jednorázovém chatu vám prošlo nasypat tam všechno, protože bylo jedno kolo. Ve smyčce, která udělá dvacet kroků a v každém sáhne po nástroji, se okno plní materiálem, který nikdo nevybral, rozpočet pozornosti se vyčerpává a systém se tiše zhoršuje přesně ve chvíli, kdy úloha začíná být zajímavá.

Víc kontextu není víc schopností. Je to víc soupeřů o tutéž konečnou pozornost. Ta práce je v rozhodování, co si své místo zaslouží.

Často kladené dotazy