GraphRAG v5.1 — uzavretie bodu 3, 25. 10. 2026

Finálna regresia grafového vyhľadávania má 320/320, vrátane zdrojovej kontroly všetkých vrátených typovaných faktov. DEV má 722/722. Finálne generovanie dosiahlo 317/320 — 99.06 %. Cieľ ≥92 % je splnený.

Ide o historickú regresiu, nie o nový nezávislý TEST. Žiadne nové otázky neboli potrebné pre kontrolu opráv; pôvodné otázky, gold ani výsledky v1–v4 sa nemenili. Zistenia sa nesmú vydávať za univerzálnu pravdivosť odpovedí.

Protokol a dátové rozdelenie

Používa sa pôvodný v4 benchmark: 722 DEV a 320 historických TEST otázok, v desiatich kategóriách, z toho 288 kladných a 32 záporných. Všetky otázky, osoby aj šablóny boli odhalené pred touto verziou. Zdrojom je raw Markdown repozitára jp170na/zpwiki, commit 3e892a1d49e9bce118cd03478ce15e01c2bebb4e.

DEV generovania má 39 vopred deklarovaných otázok: pôvodných 20 DEV a 19 historických zlyhaní modelu. Finálna regresia zahŕňa všetkých 320 otázok vrátane týchto 39; prekryv je uvedený v frozen_answers.json. Výber sa nemenil podľa úspechu aktuálneho finálneho behu a všetky zlyhania ostávajú v menovateli.

Opravy a história iterácií

Organizačná príprava na projekt nevytvára akademický záznam ani rok práce. wide-080 teraz vracia iba zdrojovo doložené spoločné akademické roky.
Označenie návrhu zadania bez explicitného názvu nepreukazuje názov práce. Prvý prísny DEV mal 719/722 pre tri nadbytočné názvy pri Martinovi Šarišskom; nasledovala oprava parsera bez zmeny benchmarkových očakávaní.
Prvá zmrazená v5 mala regresiu 319/320. Pri wide-275 parser považoval vetu o odporúčanom čase konzultácie za názov projektu na hranici chunku. V5.1 také organizačné vety odmieta. V5 a jej 38/39 DEV generovania ostávajú archivované; overený patch umožňuje rekonštrukciu prvej iterácie.
Evaluator kontroluje complete=false aj nezávisle od truncated, všetky vrátené typované fakty, vlastnosť–hodnotu pri správnej práci/osobe/dokumente, druh práce, metadata, URL aj jednotlivé a spoločné roky.
Prompt vysvetľuje, že tag aj akademický názov môžu pochádzať z odlišných dokumentov tej istej osoby. Požadovaná spojená väzba sa uvádza v jednej claim.
JSON sa kontroluje typovanou schémou. Jediný celý JSON blok sa môže vybrať z Markdown ohraničenia bez prepisovania hodnôt. Pri chybe formátu je povolený najviac jeden opravný požiadavok, s rovnakou otázkou a kontextom, bez gold. Vecná chyba hodnotenia nespúšťa opravný pokus.

Po finálnom zmrazení v5.1 sa kód, prompt ani gold podľa finálneho merania nemenili. Správa otvorene uvádza zostávajúce zlyhania.

Výsledky

Meranie	Správne	Strict úspešnosť
Graf DEV	722/722	100,00 %
Graf historická regresia	320/320	100,00 %
Zdrojovo podporené typované fakty, regresné výstupy	320/320	100,00 %
LLM DEV	38/39	97.44 %
LLM finálna regresia bez opravného požiadavku	317/320	99.06 %
LLM finálna regresia po deklarovanom spracovaní	317/320	99.06 %

Bez opravného požiadavku znamená po konzervatívnom parsovaní, prípadne po vybratí jediného úplného JSON bloku. Takto normalizovaných prvých výstupov: 0. Opravný požiadavok na formát sa použil pri 0 otázkach. Finálne chyby spracovania alebo transportu: 0. Pôvodné odpovede a všetky opravné pokusy sú uložené.

Kategória LLM regresie	Správne	Strict úspešnosť
Výber a počet kandidátov	32/32	100.00 %
Tag a rok pri tej istej osobe	40/40	100.00 %
Osoba, kategória a autor dokumentu	24/24	100.00 %
Nenájdené údaje/osoby	32/32	100.00 %
Názov a kľúčové slovo	30/32	93.75 %
Úplná množina kategórií	24/24	100.00 %
Názov a rok práce	23/24	95.83 %
Spoločné roky práce	40/40	100.00 %
Spoločný začiatok štúdia	32/32	100.00 %
Spoločné kľúčové slovo	40/40	100.00 %

Zostávajúce zlyhania: {'unsupported_claim': 1, 'answerability': 2}. Úplné odpovede a kontrolné príznaky sú v ../answers_v5_1_regression_2026-10-25/answers_regression.json, tabuľka v CSV a zoznam zlyhaní v failures.json. Prípadné vecne správne, ale neúplne štruktúrované odpovede strácajú strict bod; nejde o percento nepravdivých viet.

Porovnanie s historickou v4

V4 grafový strict TEST mal 320/320, ale doplnková kontrola všetkých kontextových faktov 319/320. V5.1 má 320/320 aj v prísnejšej kontrole typovaných faktov. V4 generovanie malo 281/300 (93,67 %). Na rovnakých 300 otázkach má aktuálna historická regresia 297/300 — 99.00 %. V5.1 navyše uvádza celkový 320-otázkový výsledok vyššie. Ide o opisné porovnanie: zmenili sa kritériá, prompt, spracovanie JSON aj rozdelenie DEV.

Zmrazenie, reprodukcia a nasadenie

Grafový manifest je ../../frozen_v5_1.json; označenie release je graphrag-v5.1-frozen. Zahŕňa odtlačky grafového kódu, spoločných modulov, requirements, publikačnej politiky, raw wiki, vstupných JSON a obsahu grafu. Manifest generovania viaže prompt, formátovanie, HTTP klienta, dokončený DEV a presný zoznam všetkých vyhodnotených ID. Pri meraní bol pracovný kód ešte pred release commitom; obsahové odtlačky určujú meraný kód, na checkout použite release tag, nie iba rodičovský git_head uložený v metadátach.

Aktuálny graf má 446 uzlov/877 vzťahov; vstupy majú 114 dokumentov/887 chunkov. Publikačná politika zahŕňa chýbajúce published a vylučuje explicitné false. Koordinovaná synchronizácia a oddelené readiness stavy zostávajú zachované. Automatizovaná sada: 525 passed, 4 skipped. Overenie nasadeného obrazu a opravených prípadov je v deployment_check.json; presné verzie hostiteľského a kontajnerového prostredia aj identifikátor obrazu sú v runtime_versions.json.

Reprodukcia používa vždy nové adresáre. Existujúce finálne výsledky a manifesty sa neprepisujú. Presné príkazy sú v docs/graphrag_v5_2026-10-25_worklog.md.

Obmedzenia a ďalší blok

Zdrojové overenie je nezávislé od grafového buildera, ale pravidlové; nenahrádza nezávislú ľudskú anotáciu všetkých otázok. Hodnotenie kontroluje typované tvrdenia, väzby, zdroje a povinné hodnoty v texte, nie sémantiku každej možnej vety. Výsledky nad známym korpusom a šablónami nemerajú všeobecnú generalizáciu. Modelové váhy riadi externý poskytovateľ; reprodukcia nemusí vrátiť rovnaké texty.

Tento release uzatvára dohodnuté podbody 3.1–3.6 pre uvedený regresný protokol. Nasledujú samostatne dohodnuté prierezové úpravy vrátane odovzdania všetkých spoločných polí kontraktu do LLM kontextu. Natívny výber a inštalácia nástrojov OpenWebUI hlavným agentom patrí do bodu 4 a tento experiment ho nehodnotí.

6.9 KiB Raw Blame History Unescape Escape