Jak vznikají verdikty
Každé kritérium na plachtě skončí jako splněno, částečně, nesplněno, nebo čeká na člověka. Rozhodují o tom tři druhy soudců v pevném pořadí: kontroly, které počítají, AI evaluátor na to, co chce úsudek, a lidé, kteří mají poslední slovo.
Nejdřív kontroly, které počítají
Co jde změřit, se zkontroluje přímo na živé stránce při zachycení kroku: je tam text, pole má popisek, adresa po kroku sedí, barva odpovídá tokenu z designu, stránka se načte v časovém limitu. Ke každému výsledku zůstane důkaz, třeba prvek, který odpovídal, nebo naměřená hodnota, takže vidíte, proč kontrola prošla nebo neprošla. Tyto kontroly běží bez AI a nikdy nespotřebují žádný dotaz na evaluátor.
Evaluátor na úsudek
Kritéria jako „chybová hláška říká, co má člověk udělat“ jdou sémantickému evaluátoru. Výchozí je JEV od TypeSafe. Čte zredukovanou osnovu stránky, ne screenshot, a vrátí skóre mezi 0 a 1. Nad prahem pro splnění (výchozí 0,85) je kritérium splněné, pod prahem pro nesplnění (0,15) nesplněné a mezi nimi čeká, až rozhodne člověk. Prahy nastavíte v kaloko.config.yml.
Kritéria označená vision: true a odpovědi v nejistém pásmu dostanou druhý pohled od evaluátoru, který vidí screenshot. Ten navíc jednou větou řekne, co rozhodlo; na plachtě ji najdete jako „Proč“.
Evaluátor běží s vaším vlastním klíčem v každém plánu, nebo přes Kaloko od plánu Team v rámci měsíčního počtu dotazů. Odpovědi se ukládají, takže nezměněnou obrazovku vyhodnotíte znovu bez nového dotazu. Bez klíče i hostované evaluace zůstanou tato kritéria „nehodnoceno“, dokud nerozhodne kontrolující. kaloko calibrate porovná evaluátor s verdikty vašich kontrolujících a navrhne prahy.
Na webu s tisíci stránek můžete omezit, kolik placených dotazů smí jedno vyhodnocení položit (evaluate.budget.calls). Nejdřív přijdou na řadu běžné kroky, pak stránky ze stacků, a to nejprve ty, které neprošly kontrolou nebo se kontrolovaly nejdéle před tím. Co se nevejde, zůstane „nehodnoceno“ a počká na další vyhodnocení. Jako první může odpovídat i váš vlastní model, třeba v Ollamě nebo v LM Studiu. Nic to nestojí a JEV dostane jen odpovědi, ve kterých si model nebyl jistý. Viz konfigurační soubor.
Třídění: o jaký problém jde (experiment)
Verdikty odpovídají na vaše kritéria. Třídění odpovídá na jinou otázku: co na obrazovce vypadá špatně, ať se na to některé kritérium ptá, nebo ne. Jakmile ho admin zapne v Nastavení → Zabezpečení → Experimenty, kaloko evaluate ukáže každou obrazovku a pár snímků z její nahrávky modelu Clef na Cloudflaru. Clef pojmenuje druh problému: překrývající se prvky, oříznutý text, překladový klíč místo textu, zástupný text, chybu, nekonečný spinner, poskakující rozvržení. Přetékání obsahu přidá sama stránka, která ho změřila.
Nálezy se ukážou na plachtě v části „Možné problémy“ a verdikt nikdy nezmění. Kontrolující jedním kliknutím převede správný nález na běžný komentář, označí ho jako správný, nebo řekne, že nejde o problém. Z těchto odpovědí poznáme, jestli vám třídění šetří čas; v Nastavení uvidíte, kolik jich zatím bylo užitečných. Každá obrazovka se počítá jako jedna otázka z měsíčního limitu.
Kondice: jen radí, stejně jako třídění
Kontroly z packů (SEO, přístupnost, výkon, použitelnost, konzole, chybové stránky) odpovídají na to, jestli je aplikace v dobrém stavu, ne jestli práce dělá, co chtělo zadání. Vyhodnocují se stejně, ale tvoří kondici běhu a nikdy nemění verdikt kroku ani běhu, frontu ke kontrole, převzatá schválení ani záznam o přijetí. Když má některá z nich rozhodovat, tým ji převezme jako kritérium; v přijetí může zůstat i celý pack. Víc v návodu Kontrola kondice aplikace.
Rozhodují lidé
Kontrolující krok schválí, vrátí s poznámkou, nebo rozhodne kritérium, kterým si evaluátor nebyl jistý. Nakonec celý běh přijme nebo vrátí. Každé rozhodnutí nese jméno.
- Povinní schvalovatelé (od plánu Team): běh je přijatý, až ho určení lidé schválí.
- Schválení zůstává. Když se nasdílí nový běh, krok, jehož screenshoty a kritéria se od posledního přijatého běhu nezměnily a jehož kontroly pořád procházejí, si ponechá schválení, které mu dal člověk, i s tím, kdo a kdy. V režimu kontroly čeká jen zbytek. Převzaté schválení může kdokoli zrušit. Převzaté schválení nikdy běh nepřijme a nepočítá se za povinné schvalovatele.
- Agenti za lidi neschvalují. Rozhodnutí agenta nebo tokenu jsou označená jako jejich a za rozhodnutí člověka se nepočítají.

Proč v tomhle pořadí
Počítání je levné a přesné, proto jde první. Úsudek je drahý a občas se mýlí, proto řeší jen to, co spočítat nejde, a řekne, když si není jistý. Lidé vidí u každého verdiktu důkaz i důvod a za přijetí se zapíše jejich rozhodnutí.
Kaloko · latest · 2026-11-21