1.3 KiB
1.3 KiB
GraphRAG v2 — zmrazené meranie 25. 10. 2026
- DEV: 509/509 (100 %), TEST: 67/80 (83,75 %), runtime chyby: 0.
- Celá testovacia sada: 426 passed, 4 skipped; vrátane 10 skutočných Neo4j rollback testov.
- Pôvodných 500 otázok je odteraz iba DEV/regresia. 128 chybných predpokladov o tagoch má overenú no-answer anotáciu a 9 otázok má opravené úplné kategórie.
- Nový TEST má 80 prípadov z 24 profilov bez prekryvu s DEV. Tagy, autori, korpus a rodiny šablón sú spoločné; nejde o dôkaz všeobecnej presnosti.
- Všetky zdroje boli anotované nezávislým parserom pôvodného Markdownu. Fakty sa hodnotia ako prepojené typované dôkazy vrátane správneho významu roku a platných alternatív zdrojov.
- 13 TEST zlyhaní je zachovaných v
holdout_failures.json: formulácia tagu pred osobami a meno s číslicou. Verzia v2 sa po meraní neupravuje. Ak sa podľa zistení ďalej vyvíja, tieto otázky prechádzajú do DEV a nová verzia potrebuje nový holdout. - Latencia je iba čas grafového vyhľadávania, bez LLM/OpenWebUI. Podrobné metriky a odtlačky obsahujú JSON/CSV a
../../frozen_v2.json.
Historické v1 (152/214) a v2 (67/80) majú rozdielne datasety/evaluatory; samotný rozdiel percent nemožno vydávať za kontrolovaný experiment zlepšenia.