jp170na/dp-zp-agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
427bbc3222
dp-zp-agent/tools/graphrag/evaluation/results/final_v5_2026-10-25/REPORT.md

1.5 KiB
Raw Blame History

Prvá iterácia v5 — zachovaná diagnostická regresia

Tento adresár zachováva prvý zmrazený beh sprísneného hodnotenia. Finálnou verziou je nasledujúca v5.1, nie tento diagnostický výsledok. Všetky otázky boli historicky odhalené; nejde o nový nezávislý TEST.

  • DEV: 722/722; všetky vrátené typované fakty prešli zdrojovou kontrolou.
  • Regresia pôvodného TESTu: 319/320; požadované fakty boli nájdené vo všetkých otázkach, ale wide-275 navyše obsahoval nepravdivý názov projektu.
  • Konkrétny chybný názov bol „Odporúčaný čas konzultácie je piatok.“ Parser ho prevzal z organizačnej vety na hranici chunku. Nasledujúca verzia ho odmieta podľa všeobecného pravidla pre organizačné poznámky.
  • DEV generovania: 38/39, bez neplatných JSON odpovedí; wide-145 mal správne fakty rozdelené do dvoch claims namiesto požadovanej spojenej väzby.

Výsledky sa neprepisujú. V5.1 je ďalšia vývojová iterácia nad rovnakou historickou regresiou. Po finálnom zmrazení v5.1 sa podľa jej výsledkov neladí.

Odtlačky prvej iterácie sú v ../../frozen_v5.json. Na rekonštrukciu jej kódu z finálneho release checkoutu slúži candidate1_from_final.patch. Rekonštruované súbory boli porovnané so SHA v pôvodnom manifeste; osobitne sa overil aj odtlačok pôvodného promptu pre LLM. Patch používajte v izolovanom checkoute; na reprodukciu grafu treba jeho zodpovedajúcu obnovu.