--- a/tools/graphrag/evaluation/source_oracle.py +++ b/tools/graphrag/evaluation/source_oracle.py @@ -91,7 +91,6 @@ 'pozriet si', 'prejst si', 'konzultacie', 'projekt odlozeny', 'napady na', 'virtualne stretnutie', 'chceme vytvorit', 'praca suvisi', 'pisomna praca', 'spolupraca', 'suvisiaca praca', - 'odporucany cas konzult', 'odporucany termin konzult', 'cas konzult', 'termin konzult', ]) --- a/tools/graphrag/evaluation/source_validation.py +++ b/tools/graphrag/evaluation/source_validation.py @@ -78,10 +78,6 @@ else: years={oracle['people'][n].get('start_year') for n in people} same=len(years)==1 and None not in years - expected={norm(n):oracle['people'][n].get('start_year') for n in people} - actual={norm(n):year for n,year in row.get('start_years',{}).items()} - if actual != expected: - issues.append('incorrect_individual_start_years') if row.get('same_start_year') != same or row.get('shared_start_year') != (next(iter(years)) if same else None): issues.append('incorrect_shared_start_year') else: --- a/tools/graphrag/graphrag.py +++ b/tools/graphrag/graphrag.py @@ -90,10 +90,6 @@ ) NON_TITLE_PREFIXES = ( - "odporucany cas konzult", - "odporucany termin konzult", - "cas konzult", - "termin konzult", "pozriet si", "prejst si", "konzultacie", --- a/tools/graphrag/tests/test_evaluation_v5.py +++ b/tools/graphrag/tests/test_evaluation_v5.py @@ -19,10 +19,6 @@ def test_assignment_proposal_does_not_establish_an_explicit_title(): assert extract_work_title(['Návrh na zadanie BP:\n\nDialógový systém pre otázky\n\n1. Vypracujte prehľad.']) is None assert extract_work_title(['Názov práce:\n\nDialógový systém pre otázky']) == 'Dialógový systém pre otázky' - - -def test_consultation_sentence_at_chunk_boundary_is_not_a_project_title(): - assert extract_work_title(['Odporúčaný čas konzultácie je piatok.\n\nMožné backendy:\n\n- OpenNMT']) is None @pytest.fixture @@ -88,15 +84,6 @@ assert not validate_returned_facts({'facts':[row]},oracle)['all_facts_supported'] -def test_comparison_checks_individual_years_as_well_as_shared_year(evidence): - oracle,_,_=evidence - row={'fact_type':'start_year_comparison','people':['Alena Nová'],'shared_start_year':2020, - 'same_start_year':True,'start_years':{'Alena Nová':1999}} - assert not validate_returned_facts({'facts':[row]},oracle)['all_facts_supported'] - row['start_years']['Alena Nová']=2020 - assert validate_returned_facts({'facts':[row]},oracle)['all_facts_supported'] - - def test_freeze_includes_shared_modules_and_effective_publication_policy(): questions=Path('tools/graphrag/evaluation/graphrag_questions_v4.json') fp=content_fingerprints(questions) --- a/tools/answer_evaluation/graph_answer_prompt.txt +++ b/tools/answer_evaluation/graph_answer_prompt.txt @@ -8,6 +8,5 @@ Source_urls musí obsahovať konkrétne relevantné URL zo zdrojov; neodhaduj ich a neupravuj. Cituj ich aj v answer. Uveď všetky zdroje potrebné na doloženie uvedených faktov. Ak status kontextu je no_answer, oznám, že požadované údaje sa nenašli, status no_answer, claims prázdne. Nevymýšľaj žiadny názov ani pozitívny fakt. Kľúčové slovo sa v tomto nástroji viaže na osobu cez jej vlastné aj dcérske dokumenty. Pri otázke na názov a kľúčové slovo spoj title, year a keyword do jednej claim pre tú istú person, aj keď majú odlišné document_path. Nevyžaduj rovnaký dokument pre tag a názov. Rovnaký dokument je povinný pri spoločnej kategórii a autorovi dokumentu. -Pred odoslaním pri otázke na názov a tag over, že claim s názvom obsahuje súčasne person, title, year aj keyword. Nerozdeľ túto požadovanú väzbu na samostatnú claim s názvom a samostatnú claim s tagom. Pri rokoch porovnaj len akademické záznamy dodané v kontexte, nie poznámky o príprave. Pri počte nemiešaj nevyhovujúcich kandidátov do claims. Vráť iba jediný platný JSON objekt bez úvodu, vysvetlení mimo JSON a bez Markdown ohraničenia. Reťazce ohraničuj ASCII dvojitými úvodzovkami. Vo vnútri answer názvy neobaľuj ďalšími ASCII dvojitými úvodzovkami; ak ich použiješ, musia byť escapované. Roky a count sú celé čísla. Nevypisuj čiarku za poslednou položkou.