75 lines
4.4 KiB
Diff
75 lines
4.4 KiB
Diff
--- a/tools/graphrag/evaluation/source_oracle.py
|
|
+++ b/tools/graphrag/evaluation/source_oracle.py
|
|
@@ -91,7 +91,6 @@
|
|
'pozriet si', 'prejst si', 'konzultacie', 'projekt odlozeny',
|
|
'napady na', 'virtualne stretnutie', 'chceme vytvorit',
|
|
'praca suvisi', 'pisomna praca', 'spolupraca', 'suvisiaca praca',
|
|
- 'odporucany cas konzult', 'odporucany termin konzult', 'cas konzult', 'termin konzult',
|
|
])
|
|
|
|
|
|
--- a/tools/graphrag/evaluation/source_validation.py
|
|
+++ b/tools/graphrag/evaluation/source_validation.py
|
|
@@ -78,10 +78,6 @@
|
|
else:
|
|
years={oracle['people'][n].get('start_year') for n in people}
|
|
same=len(years)==1 and None not in years
|
|
- expected={norm(n):oracle['people'][n].get('start_year') for n in people}
|
|
- actual={norm(n):year for n,year in row.get('start_years',{}).items()}
|
|
- if actual != expected:
|
|
- issues.append('incorrect_individual_start_years')
|
|
if row.get('same_start_year') != same or row.get('shared_start_year') != (next(iter(years)) if same else None):
|
|
issues.append('incorrect_shared_start_year')
|
|
else:
|
|
--- a/tools/graphrag/graphrag.py
|
|
+++ b/tools/graphrag/graphrag.py
|
|
@@ -90,10 +90,6 @@
|
|
)
|
|
|
|
NON_TITLE_PREFIXES = (
|
|
- "odporucany cas konzult",
|
|
- "odporucany termin konzult",
|
|
- "cas konzult",
|
|
- "termin konzult",
|
|
"pozriet si",
|
|
"prejst si",
|
|
"konzultacie",
|
|
--- a/tools/graphrag/tests/test_evaluation_v5.py
|
|
+++ b/tools/graphrag/tests/test_evaluation_v5.py
|
|
@@ -19,10 +19,6 @@
|
|
def test_assignment_proposal_does_not_establish_an_explicit_title():
|
|
assert extract_work_title(['Návrh na zadanie BP:\n\nDialógový systém pre otázky\n\n1. Vypracujte prehľad.']) is None
|
|
assert extract_work_title(['Názov práce:\n\nDialógový systém pre otázky']) == 'Dialógový systém pre otázky'
|
|
-
|
|
-
|
|
-def test_consultation_sentence_at_chunk_boundary_is_not_a_project_title():
|
|
- assert extract_work_title(['Odporúčaný čas konzultácie je piatok.\n\nMožné backendy:\n\n- OpenNMT']) is None
|
|
|
|
|
|
@pytest.fixture
|
|
@@ -88,15 +84,6 @@
|
|
assert not validate_returned_facts({'facts':[row]},oracle)['all_facts_supported']
|
|
|
|
|
|
-def test_comparison_checks_individual_years_as_well_as_shared_year(evidence):
|
|
- oracle,_,_=evidence
|
|
- row={'fact_type':'start_year_comparison','people':['Alena Nová'],'shared_start_year':2020,
|
|
- 'same_start_year':True,'start_years':{'Alena Nová':1999}}
|
|
- assert not validate_returned_facts({'facts':[row]},oracle)['all_facts_supported']
|
|
- row['start_years']['Alena Nová']=2020
|
|
- assert validate_returned_facts({'facts':[row]},oracle)['all_facts_supported']
|
|
-
|
|
-
|
|
def test_freeze_includes_shared_modules_and_effective_publication_policy():
|
|
questions=Path('tools/graphrag/evaluation/graphrag_questions_v4.json')
|
|
fp=content_fingerprints(questions)
|
|
--- a/tools/answer_evaluation/graph_answer_prompt.txt
|
|
+++ b/tools/answer_evaluation/graph_answer_prompt.txt
|
|
@@ -8,6 +8,5 @@
|
|
Source_urls musí obsahovať konkrétne relevantné URL zo zdrojov; neodhaduj ich a neupravuj. Cituj ich aj v answer. Uveď všetky zdroje potrebné na doloženie uvedených faktov.
|
|
Ak status kontextu je no_answer, oznám, že požadované údaje sa nenašli, status no_answer, claims prázdne. Nevymýšľaj žiadny názov ani pozitívny fakt.
|
|
Kľúčové slovo sa v tomto nástroji viaže na osobu cez jej vlastné aj dcérske dokumenty. Pri otázke na názov a kľúčové slovo spoj title, year a keyword do jednej claim pre tú istú person, aj keď majú odlišné document_path. Nevyžaduj rovnaký dokument pre tag a názov. Rovnaký dokument je povinný pri spoločnej kategórii a autorovi dokumentu.
|
|
-Pred odoslaním pri otázke na názov a tag over, že claim s názvom obsahuje súčasne person, title, year aj keyword. Nerozdeľ túto požadovanú väzbu na samostatnú claim s názvom a samostatnú claim s tagom.
|
|
Pri rokoch porovnaj len akademické záznamy dodané v kontexte, nie poznámky o príprave. Pri počte nemiešaj nevyhovujúcich kandidátov do claims.
|
|
Vráť iba jediný platný JSON objekt bez úvodu, vysvetlení mimo JSON a bez Markdown ohraničenia. Reťazce ohraničuj ASCII dvojitými úvodzovkami. Vo vnútri answer názvy neobaľuj ďalšími ASCII dvojitými úvodzovkami; ak ich použiješ, musia byť escapované. Roky a count sú celé čísla. Nevypisuj čiarku za poslednou položkou.
|