DiplomovaPraca/evaluation

Vyhodnotenie agenta ADC

Sada obsahuje 30 otázok, po šesť v piatich kategóriách. Odpovede prvých štyroch kategórií sú presnými úryvkami existujúceho korpusu ADC. Nie sú nezávisle klinicky overené. Negatívne otázky testujú nedostatočne určený vstup, nie dokázanú neprítomnosť interakcie.

Spustenie

Z koreňa projektu, po spustení serverov:

python -m unittest discover -s tests -v
python scripts/evaluation/audit_data.py --root .
python scripts/evaluation/run_evaluation.py --out outputs/evaluation_new --limit 10
python scripts/evaluation/judge_answers.py --run outputs/evaluation_new

Bez --limit sa spracuje všetkých 30 otázok. --resume obnoví experiment iba pri rovnakej sade, indexe a konfigurácii. Chyby požiadaviek sa uchovávajú oddelene od skóre. Pre server s autentifikáciou nastavte LIGHTRAG_API_KEY v prostredí; kľúč sa neukladá do výsledkov.

Interpretácia

• source_hit meria iba prítomnosť referenčného produktu medzi zdrojmi, nie správnosť odpovede. Pre bypass a negatívne otázky sa nepočíta.
• judgments.jsonl obsahuje vlastnú rubriku LLM-as-a-judge, nie RAGAS. Grounding porovnáva odpoveď s textami vrátenými priamo s odpoveďou. Coverage porovnáva relevantné fakty s referenciou. Hodnotiteľ je tá istá modelová služba ako generátor; výsledky vyžadujú nezávislú kontrolu.
• Časy môžu obsahovať zásahy cache a ovplyvňuje ich zaťaženie školského servera. Nie sú benchmarkom studeného štartu ani kauzálnym meraním.
• Audit rozdielnych textov v deduplikačných skupinách nedokazuje klinickú významnosť rozdielov.

Výstupy evaluation_pilot dokumentujú diagnostický beh s nedostatočne obmedzeným grafovým kontextom. evaluation_pilot_fixed používa spoločné parametre agenta, ktoré rezervujú priestor pre pôvodné texty ADC. Starý graf ani pôvodné údaje sa pri týchto behoch neprestavujú.

Pred záverom o klinickej správnosti je potrebné overiť referencie a odpovede odborníkom, rozšíriť otázky na viac produktov a oddeliť vývojovú a testovaciu sadu. Pilot nepreukazuje všeobecnú prevahu GraphRAG nad klasickým RAG.

Skutočné hodnotenie RAGAS 0.4.3

Skript scripts/evaluation/run_ragas.py používa priamo metriky knižnice RAGAS: Faithfulness, AnswerRelevancy, ContextRecall a AnswerCorrectness. Výsledky sú uložené oddelene od vlastnej rubriky v outputs/ragas_pilot/.

Pre uložený pilot ide o osem zodpovedateľných otázok a päť režimov, teda 40 odpovedí. Negatívne scenáre sa týmto súborom metrík nehodnotia. Bypass nemá vyhľadávanie, preto sa pri ňom Faithfulness a ContextRecall nepočítajú. Maximálny počet definovaných číselných skóre je 144. Chyby a NaN sa evidujú oddelene a nenahrádzajú sa nulou.

Kontextmi sú výhradne úryvky vrátené spolu s uloženou odpoveďou. Úplný prompt vrátane grafových opisov nebol v pôvodnom pilote uložený. Faithfulness preto vyjadruje podporu v týchto úryvkoch, nie vernosť celému promptu. Referenčný text sa nikdy nevkladá do vyhľadaného kontextu.

Nové oddelené prostredie možno pripraviť z koreňa projektu:

python -m venv .venv-ragas
.\.venv-ragas\Scripts\python.exe -m pip install -r evaluation/requirements-ragas.txt

Spustite iba embeddingový server (python embedding_server.py), potom:

.\.venv-ragas\Scripts\python.exe scripts/evaluation/run_ragas.py --out outputs/ragas_new

LLM sa volá priamo cez existujúcu konfiguráciu lightrag/.env; LightRAG server ani webové demo nie sú na túto hodnotiacu fázu potrebné. Kľúče sa nezapisujú do výsledkov ani trace súboru. Prerušený beh možno obnoviť cez --resume. Celý použitý balíkový stav zaznamenáva requirements-ragas.lock.txt.

manifest.json zachytáva verzie, kontrolné súčty vstupov, konfiguráciu a rozsah. samples.json obsahuje presné vstupy, scores.jsonl individuálne skóre a stav, api_trace.jsonl otázky a odpovede hodnotiteľa bez autorizačných hlavičiek. summary.json a scores.csv slúžia na kontrolu výsledkov. Hodnotiteľ používa rovnakú školskú modelovú službu ako generátor a predvolené anglické prompty nad slovenskými vstupmi; výsledok nie je nezávislou klinickou validáciou.

Dokumentácia: https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/faithfulness/

Uložená konfigurácia MiniLM má maximálnu dĺžku vstupu 128 tokenov. Pri dlhých odpovediach a referenciách to obmedzuje sémantickú zložku AnswerCorrectness. Konfigurácia je zachytená v embedding_config.json. Pri opakovaní neúspešných buniek možno po dokončenom prvom behu použiť --resume --retry-max-tokens 8192; zvýšený limit a história zostávajú zaznamenané.