--- title: Valerii Kutsenko published: true taxonomy: category: [vp2024,bp2025] tag: [rag,nlp] author: Daniel Hladek --- rok začiatku štúdia: 2022 # Bakalárska práca 2025 Generovanie otázok zo zadaného textu. Cieľ je vylepšiť slovenský model pre generovanie vektrovej reprezentácie. vylepšiť proces RAG: Generovanie jazyka s pomocou vyhľadávania - Retrieval augmented generation Nové nápady: - Vytvorte systém pre generovanie otázok o zadanom texte. - Vytvorte umelo generovanú množinu otázok a odpovedí o liekoch. - Pomocou umelej množiny zlepšite existujúci systém pre otázky a odpovede o liekoch. Ako na to: - Natrénujte generatívny model pre generovanie otázok. Použite existujúci skript a množinu SKQUAD. - Určite, ktorá otázka je dobre vygenerovaná a ktorá nie. Tu môžete použiť: systém pre vyhľadávanie alebo neurónovú sieť pre otázky a odpovede. Ku otázke viete nájsť odpovede pomocou neurónovej siete. Výstupom by mala byť čo najkvalitnejšia množina otázok a odpovedí ku odsekom. - Výstupom by mala byť umelo generovaná databáza otázok a odpovedí. Stretnutie 22.11.2024 Stav: - Napísané o mt5 a umt5 v BP. - Urobené dotrénovanie na generovanie otázok. - Napísaná tabuľka s výsledkami experimentov. Metriky BLEU a ROGUE. - Napísaný skript, skript je na gite. Úlohy: - Pokračujte v písaní práce. Napíšte aj o metrikách vyhodnotenia. - Vyhľadajte a stručne opíšte vedecké články o generovaní otázok. Na vyhľadanie použite Google scholar. - Pridajte slovak t5 base model do experimentov. - Dotrénujte Slovak Falcon. Tam bude treba iný skript. Zásobník úloh: - Vymyslieť systém - natrénovať meurónku na návrh "odpovede". - Vyskúšať generovať otázky bez zadanej odpovede. Odpoveď generujte pomocou modelu. Model pre automatické odpovede už je na HF Hube: slovakbert-skquad. - Vyradiť také otázky, na ktoré systém nevie dopovedať. - Skúsiť generovať otázky z medicínskeho textu. Stretnutie 18.10.2024 Stav: - Natrénovaný model SlovakT5 Base. Skripty sú na [GITe](https://git.kemt.fei.tuke.sk/vk202uf/bp2024). Trénovanie funguje. - Naštudované články o T5 a Falcon, napísané poznámky. Úlohy: - Doplnte vyhodnotenie modelu pomocu BLEU Skore. Ako testovaciu množinu použite testovaciu časť SkQUAD. - Natrénujte aj iné modely: mt5-base, SlavicT5-base, umt5-base. Opíšte testovací scenár - ako ste dotrénovali model . Vyhodnotte ich v tabuľke. Do práce napíšte o týchto modeloch. Zásobník úloh: - SKúste natrénovať aj modely typu GPT. Tam bude treba upraviť skript na model typu GPT - SlovakMistral 7B. Titeo modely sú veľké. Budete potrebovať prístup na školský server. Budete potrebovať použiť mnetódu: quantization (bitsandbytes) a peft (parameter efficient fine tuning). - Ako bude model dobrý, tak ho uverejníme na repoztári Huggingface Hub. - Ak bude práca dobrá, skúsime prepracovať a urobiť článok na konferencii. - V spolupráci Y. Leonov urobiť vyhodnotenie aj v medicínskej doméne. - Skúsíme poprosiť doktorov o názor. Stretnutie 27.9.2024 Stav: - Prezereté repozitáre a články. Napísané poznámky. - Vytvorený prázdny git repozitár. Úlohy: - Zistite ako sa dotrénujú generatívne modely HuggingFace. Zistite čo je to Few Shot learning a *urobte si poznámky*. - Prečítajte si článok o modele Falcon a napíšte ako funguje. Prečítajte si článok o modele T5 a napíšte ako funguje. - Dotrénujte generatívny model na generovanie otázok podľa zadaného paragrafu. Na dotrénovanie použite databázu SK QUAD. Ako model použite Slovak T5 Base alebo Slovak Mistral 7 B. - Oboznámte sa s Hugggingface API a OpenAI API. Na generovanie môžete použiť aj toto api. - Skripty na dotrénovanie dávajte do GIT repozitára. Zásobník úloh: - Zoberte databázu liekov a generujte otázky o liekoch - od Ing. K. Sopkovič, alebo O. Poiasnik. - Možno bude treba použiť ChatGPT API a príklady z databázy SK QUAD. - Možno bude treba dotrénovať Slovak Mistral 7B na inštrukcie. Staré Úlohy: - Zistite, aké sú možné prístupy ku generovaniu otázok pomocou generatívneho modelu a aké sú možné prístupy k overeniu vygenerovanej otázky. - Pozrite si repozitár https://github.com/patil-suraj/question_generation - Pozrite si repozitár https://github.com/gauthierdmn/question_generation - Pozrite si článok https://telrp.springeropen.com/articles/10.1186/s41039-021-00151-1 - Oboznámte sa s DP Ondrej Megela a článok https://aclanthology.org/2023.rocling-1.20.pdf - Oboznámte sa s knižnicou HF transformers - vyskúšajte si nejaký tutoriál. - Zistite, ako funguje model T5. - Pozrite si skript `generate/run_qg.py` v [repo](https://git.kemt.fei.tuke.sk/dano/slovakretrieval) a vyskúšajte ho. - Čítajte súvisiace odborné články a robte si poznámky. - Urobte si repozitár na git.kemt a dávajte tam Vaše skripty. - Na experimenty použite https://colab.research.google.com/ Staré Nápady: - Možno pomocou vytvorenia-prekladu vlastnej trénovacej databázy. - alebo pomocou nekontrolovaného učenia, reps. augmentácie alebo generovania. - Alebo zber trénovacích dát z webového korpusu. - Sústrediť sa na vektrovú reprezentáciu dokumentov? Úlohy na semester - "nepovinné, oficiálne sa to začne na zimný semester 2024" - Zistite čo je to Retrieval Augmented Generation a napíšte o tom správu. - Naučte sa základy jazyka Python. - Napíšte krátky report na 2 strany kde napíšete čo ste urobili a čo ste sa dozvedeli. Stretnutie 9.5.24 Stav: - Naštudované Deep dive intoi Python a dl2ai, niečo o RAG. Úlohy: - Zistite, ako funguje [Sentence Transformers](https://sbert.net/). Pozrite si dokumentáciu. Vyskúšajte zopakovať príklady pre slovenské texty a so [slovenským modelom](https://huggingface.co/TUKE-DeutscheTelekom/slovakbert-skquad-mnlr). - Urobe si poznámky. Stretnutie 22.3. Úlohy: - Nainštalujte si prostredie Anaconda. Prejdite si knihu Dive Deep into Python 3. - Prečítajte si knihu https://d2l.ai/ a napíšte si poznámky. - Zistite ako funguje RAG. Zistite ako funguje ChatGPT. Zistite ako funguje vyhľadávanie pomocou SentenceTranformers. Napíšte o tom poznámky. - Skúste si tento tutoriál o [LangChain](https://python.langchain.com/docs/get_started/quickstart) Zásobník úloh: - Nainštalujte si PrivateGPT.