diff --git a/pages/students/2022/yevhenii_leonov/README.md b/pages/students/2022/yevhenii_leonov/README.md index d215252b9..869b76d7d 100644 --- a/pages/students/2022/yevhenii_leonov/README.md +++ b/pages/students/2022/yevhenii_leonov/README.md @@ -30,7 +30,27 @@ Návrh na tému: Spolupráca Oleh Poiasnik -Stretnutie: +Stav: + +- Práca na úlohách z minulého stretnutia, vyskúšaný RAGAS. +- Nainštalovaný a vyskúšaný systém od p . Poiasnika. + +Úlohy: + +- Pripravte "vzorovú" množinu na testovanie. +- Pripravte testovaciu množinu. Množina by sa mala skladať z čo najväčšieho množstva príkladov. +- Vyskúšajte testovaciu množinu pomocou RAGAS a modelov ktoré používa p. Poiasnik. Vyhodnotte modely pomocou množiny. +- Kódy dávajte na GIT (napr. branch alebo adresár p Poiasnik GIT). +- Pokračujte v písomných úlohách. Hľadajte články cez scholar a píšte si poznámky. Do BP. + +Zásobník úloh: + +- Pripravte (nakódujte, odkopírovať) postup vyhľadávania podobný ako "reálny systém", ale využíval RAGAS. +- Pripravte testovacie API pre RAG systém. Bude to funkcia alebo URL cez ktorú sa bude dať systém testovať. +- Pomocou metriky a množiny vyhodnotte reálny systém. + + +Stretnutie 11.1.: Stav: @@ -39,17 +59,15 @@ Stav: Úlohy: - -- Budeme využívať systém RAGAS. Nainštalujte si ho a vyskúšajte. OPtimálne použite systém Anaconda-Linux. V anaconda využívajte virtuálne prostredia. -- Naštudujte dokumentáciu a články https://docs.ragas.io/en/stable/index.html -- Vyhľadajte vedecké články na tému "retrieval augmented generation evaluation" a prečítajte si aj článok o "ragas". Použite google scholar. Napíšte si poznámky. -- Zistite a opíšte aké metriky sa používajú. +- [x] Budeme využívať systém RAGAS. Nainštalujte si ho a vyskúšajte. Optimálne použite systém Anaconda-Linux. V anaconda využívajte virtuálne prostredia. +- [x] Naštudujte dokumentáciu a články https://docs.ragas.io/en/stable/index.html +- [ ] Vyhľadajte vedecké články na tému "retrieval augmented generation evaluation" a prečítajte si aj článok o "ragas". Použite google scholar. Napíšte si poznámky. +- [-] Zistite a opíšte aké metriky sa používajú. Ku každej metrike je potrebný odkaz na článok. Zásobník úloh: -- Zostavte množinu na vyhodnotenie RAG systému pre medicínsku oblasť. -- Množina bude vyjadrovať "testovací scenár" navštevy lekárne. V prvej fáze neriešime dialóg, ale otázky a odpovede. -- Napíšte príklady alebo použite generatívny model +- [-] Zostavte množinu na vyhodnotenie RAG systému pre medicínsku oblasť. Množina bude vyjadrovať "testovací scenár" navštevy lekárne. V prvej fáze neriešime dialóg, ale otázky a odpovede. +- [ ] Napíšte príklady alebo použite generatívny model