zpwiki/pages/students/2022/valerii_kutsenko

title	published	taxonomy
Valerii Kutsenko	true	category tag author vp2024 bp2025 rag nlp Daniel Hladek

rok začiatku štúdia: 2022

Bakalárska práca 2025

Generovanie otázok zo zadaného textu.

Cieľ je vylepšiť slovenský model pre generovanie vektrovej reprezentácie. vylepšiť proces RAG: Generovanie jazyka s pomocou vyhľadávania - Retrieval augmented generation

Nové nápady:

• Vytvorte systém pre generovanie otázok o zadanom texte.
• Vytvorte umelo generovanú množinu otázok a odpovedí o liekoch.
• Pomocou umelej množiny zlepšite existujúci systém pre otázky a odpovede o liekoch.

Ako na to:

• Natrénujte generatívny model pre generovanie otázok. Použite existujúci skript a množinu SKQUAD.
• Určite, ktorá otázka je dobre vygenerovaná a ktorá nie. Tu môžete použiť: systém pre vyhľadávanie alebo neurónovú sieť pre otázky a odpovede. Ku otázke viete nájsť odpovede pomocou neurónovej siete. Výstupom by mala byť čo najkvalitnejšia množina otázok a odpovedí ku odsekom.
• Výstupom by mala byť umelo generovaná databáza otázok a odpovedí.

Stretnutie 22.11.2024

Stav:

• Napísané o mt5 a umt5 v BP.
• Urobené dotrénovanie na generovanie otázok.
• Napísaná tabuľka s výsledkami experimentov. Metriky BLEU a ROGUE.
• Napísaný skript, skript je na gite.

Úlohy:

• Pokračujte v písaní práce. Napíšte aj o metrikách vyhodnotenia.
• Vyhľadajte a stručne opíšte vedecké články o generovaní otázok. Na vyhľadanie použite Google scholar.
• Pridajte slovak t5 base model do experimentov.
• Dotrénujte Slovak Falcon. Tam bude treba iný skript.

Zásobník úloh:

• Vymyslieť systém - natrénovať meurónku na návrh "odpovede".
• Vyskúšať generovať otázky bez zadanej odpovede. Odpoveď generujte pomocou modelu. Model pre automatické odpovede už je na HF Hube: slovakbert-skquad.
• Vyradiť také otázky, na ktoré systém nevie dopovedať.
• Skúsiť generovať otázky z medicínskeho textu.

Stretnutie 18.10.2024

Stav:

• Natrénovaný model SlovakT5 Base. Skripty sú na GITe. Trénovanie funguje.
• Naštudované články o T5 a Falcon, napísané poznámky.

Úlohy:

• Doplnte vyhodnotenie modelu pomocu BLEU Skore. Ako testovaciu množinu použite testovaciu časť SkQUAD.
• Natrénujte aj iné modely: mt5-base, SlavicT5-base, umt5-base. Opíšte testovací scenár - ako ste dotrénovali model . Vyhodnotte ich v tabuľke. Do práce napíšte o týchto modeloch.

Zásobník úloh:

• SKúste natrénovať aj modely typu GPT. Tam bude treba upraviť skript na model typu GPT - SlovakMistral 7B. Titeo modely sú veľké. Budete potrebovať prístup na školský server. Budete potrebovať použiť mnetódu: quantization (bitsandbytes) a peft (parameter efficient fine tuning).
• Ako bude model dobrý, tak ho uverejníme na repoztári Huggingface Hub.
• Ak bude práca dobrá, skúsime prepracovať a urobiť článok na konferencii.
• V spolupráci Y. Leonov urobiť vyhodnotenie aj v medicínskej doméne.
• Skúsíme poprosiť doktorov o názor.

Stretnutie 27.9.2024

Stav:

• Prezereté repozitáre a články. Napísané poznámky.
• Vytvorený prázdny git repozitár.

Úlohy:

• Zistite ako sa dotrénujú generatívne modely HuggingFace. Zistite čo je to Few Shot learning a urobte si poznámky.
• Prečítajte si článok o modele Falcon a napíšte ako funguje. Prečítajte si článok o modele T5 a napíšte ako funguje.
• Dotrénujte generatívny model na generovanie otázok podľa zadaného paragrafu. Na dotrénovanie použite databázu SK QUAD. Ako model použite Slovak T5 Base alebo Slovak Mistral 7 B.
• Oboznámte sa s Hugggingface API a OpenAI API. Na generovanie môžete použiť aj toto api.
• Skripty na dotrénovanie dávajte do GIT repozitára.

Zásobník úloh:

• Zoberte databázu liekov a generujte otázky o liekoch - od Ing. K. Sopkovič, alebo O. Poiasnik.
• Možno bude treba použiť ChatGPT API a príklady z databázy SK QUAD.
• Možno bude treba dotrénovať Slovak Mistral 7B na inštrukcie.

Staré Úlohy:

• Zistite, aké sú možné prístupy ku generovaniu otázok pomocou generatívneho modelu a aké sú možné prístupy k overeniu vygenerovanej otázky.
• Pozrite si repozitár https://github.com/patil-suraj/question_generation
• Pozrite si repozitár https://github.com/gauthierdmn/question_generation
• Pozrite si článok https://telrp.springeropen.com/articles/10.1186/s41039-021-00151-1
• Oboznámte sa s DP Ondrej Megela a článok https://aclanthology.org/2023.rocling-1.20.pdf
• Oboznámte sa s knižnicou HF transformers - vyskúšajte si nejaký tutoriál.
• Zistite, ako funguje model T5.
• Pozrite si skript generate/run_qg.py v repo a vyskúšajte ho.
• Čítajte súvisiace odborné články a robte si poznámky.
• Urobte si repozitár na git.kemt a dávajte tam Vaše skripty.
• Na experimenty použite https://colab.research.google.com/

Staré Nápady:

• Možno pomocou vytvorenia-prekladu vlastnej trénovacej databázy.
• alebo pomocou nekontrolovaného učenia, reps. augmentácie alebo generovania.
• Alebo zber trénovacích dát z webového korpusu.
• Sústrediť sa na vektrovú reprezentáciu dokumentov?

Úlohy na semester - "nepovinné, oficiálne sa to začne na zimný semester 2024"

• Zistite čo je to Retrieval Augmented Generation a napíšte o tom správu.
• Naučte sa základy jazyka Python.
• Napíšte krátky report na 2 strany kde napíšete čo ste urobili a čo ste sa dozvedeli.

Stretnutie 9.5.24

Stav:

• Naštudované Deep dive intoi Python a dl2ai, niečo o RAG.

Úlohy:

• Zistite, ako funguje Sentence Transformers. Pozrite si dokumentáciu. Vyskúšajte zopakovať príklady pre slovenské texty a so slovenským modelom.
• Urobe si poznámky.

Stretnutie 22.3.

Úlohy:

• Nainštalujte si prostredie Anaconda. Prejdite si knihu Dive Deep into Python 3.
• Prečítajte si knihu https://d2l.ai/ a napíšte si poznámky.
• Zistite ako funguje RAG. Zistite ako funguje ChatGPT. Zistite ako funguje vyhľadávanie pomocou SentenceTranformers. Napíšte o tom poznámky.
• Skúste si tento tutoriál o LangChain

Zásobník úloh:

• Nainštalujte si PrivateGPT.