2.1 KiB
Generovanie odpovedí nad zmrazeným grafom
Tento experiment meria OpenWebUI chat API po dodaní skutočného grafového kontextu lokálnym skriptom. Neoveruje prehliadač ani automatický výber nainštalovaných nástrojov hlavným agentom. Klasický RAG sa nemení.
Pôvodná diagnostika použila 20 otázok. Všetkých 20 sa stalo DEV; zostávajúcich 300 otázok zo zmrazeného grafového benchmarku tvorí nový TEST generovania. Predchádzajúce interné grafové meranie neposkytlo výstupy jazykového modelu. Žiadne očakávania, zdrojový oracle ani výsledky evaluatora sa modelu neposielajú.
graph_answer_prompt.txt určuje výstup. Kontext obsahuje iba skutočné relevantné
fakty a zdroje, bez mien profilov vydávaných za názov akademickej práce či typu
osoby zamieňaného za taxonomickú kategóriu. Štruktúrované tvrdenia musia spájať
správne fakty pri tej istej osobe/práci/dokumente. Kontrolujú sa aj zdrojové
odkazy, množiny, počty a povinné hodnoty v prirodzenom texte. Nepovinné null
znamená neprítomnosť tvrdenia. Označenie diplomovej práce za dizertačnú sa odmieta.
Ide o prísne, ale stále pravidlové hodnotenie. Nejde o úplnú sémantickú kontrolu každej možnej vety. Zdrojový oracle je nezávislý od grafového buildera, nie od človeka, ktorý by nezávisle anotoval celý test. Osoby, korpus a šablóny sú známe.
Každý nový výstupný adresár obsahuje deklaráciu pred meraním, SHA kódu/promptu, presné DEV/TEST ID a výsledky všetkých otázok. Odpovede sa ukladajú priebežne; chyba ani prerušený beh sa nesmie zatajiť či premenovať na nezávislý nový TEST. Po odhalení TEST výsledkov patria tieto otázky pri ladení do DEV.
set -a
source .env
set +a
# Reprodukcia používa vždy nový adresár; nejde o nový nezávislý TEST.
python -m tools.answer_evaluation.evaluate_graph_answers \
--split test --output-dir /tmp/graphrag-answers-reproduction
Model je model120-fast; presný názov modelu vrátený serverom, tokeny a pôvodné
odpovede sú uložené vo výsledkoch. Prístupový kľúč zostáva iba v prostredí.