From 4aa4ff8d461e2423e6c75637c5bb45f1a43d9d93 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 18 Oct 2024 07:57:44 +0000 Subject: [PATCH] Update pages/students/2022/valerii_kutsenko/README.md --- pages/students/2022/valerii_kutsenko/README.md | 17 +++++++++++++++-- 1 file changed, 15 insertions(+), 2 deletions(-) diff --git a/pages/students/2022/valerii_kutsenko/README.md b/pages/students/2022/valerii_kutsenko/README.md index 2cbe5661..ff982511 100644 --- a/pages/students/2022/valerii_kutsenko/README.md +++ b/pages/students/2022/valerii_kutsenko/README.md @@ -7,7 +7,6 @@ taxonomy: author: Daniel Hladek --- - rok začiatku štúdia: 2022 # Bakalárska práca 2025 @@ -33,9 +32,23 @@ Stretnutie 18.10.2024 Stav: -- Natrénovaný model SlovakT5 Base. Skripty sú na [GITe](https://git.kemt.fei.tuke.sk/vk202uf/bp2024). +- Natrénovaný model SlovakT5 Base. Skripty sú na [GITe](https://git.kemt.fei.tuke.sk/vk202uf/bp2024). Trénovanie funguje. - Naštudované články o T5 a Falcon, napísané poznámky. +Úlohy: + +- Doplnte vyhodnotenie modelu pomocu BLEU Skore. Ako testovaciu množinu použite testovaciu časť SkQUAD. +- Natrénujte aj iné modely: mt5-base, SlavicT5-base, umt5-base. Opíšte testovací scenár - ako ste dotrénovali model . Vyhodnotte ich v tabuľke. Do práce napíšte o týchto modeloch. + +Zásobník úloh: + +- SKúste natrénovať aj modely typu GPT. Tam bude treba upraviť skript na model typu GPT - SlovakMistral 7B. Titeo modely sú veľké. Budete potrebovať prístup na školský server. Budete potrebovať použiť mnetódu: quantization (bitsandbytes) a peft (parameter efficient fine tuning). +- Ako bude model dobrý, tak ho uverejníme na repoztári Huggingface Hub. +- Ak bude práca dobrá, skúsime prepracovať a urobiť článok na konferencii. +- V spolupráci Y. Leonov urobiť vyhodnotenie aj v medicínskej doméne. +- Skúsíme poprosiť doktorov o názor. + + Stretnutie 27.9.2024 Stav: