From d7f39c528f1675dbe3c9bab19c18f69d2bebe90c Mon Sep 17 00:00:00 2001 From: dano Date: Tue, 12 Nov 2024 08:32:58 +0000 Subject: [PATCH] Update pages/students/2022/tetiana_mohorian/README.md --- .../students/2022/tetiana_mohorian/README.md | 28 +++++++++++++++++-- 1 file changed, 25 insertions(+), 3 deletions(-) diff --git a/pages/students/2022/tetiana_mohorian/README.md b/pages/students/2022/tetiana_mohorian/README.md index bb10c9f7..a3834b5e 100644 --- a/pages/students/2022/tetiana_mohorian/README.md +++ b/pages/students/2022/tetiana_mohorian/README.md @@ -27,6 +27,29 @@ Rozpoznávanie nenávistnej reči pomocou veľkých jazykových modelov. - Na adaptáciu použite "prompting" a "LORA". - Vyhodnotte model pomocou [overovacej množiny](https://huggingface.co/datasets/TUKE-KEMT/hate_speech_slovak). +Stretnutie 12.11.2024 + +Stav: + +- Vyskúšané few shot Distillbert, BERT, GPT3, T5, najlepšie výsledky mal DistillBERT : 65F1. Problém je, že tieto modely nevedia po slovensky. +- Na vyhodnotenie použitý svoj skript a framework llm-eval-harness. +- Pokračuje písanie. + +Úlohy: + +- Pošlite mi draft BP na ďalšie stretnutie. +- Urobte si repozitár na KEMT GIT a dajte tam zdrojové kódy na spustenie experimentov. +- Pokračujte v písaní. +- Vyskúšajte vyhodnotiť modely v rôznych veľkostiach (small, base, large, 1B, 3B, 7B): mt5, slovak-t5-base, slovak-t5-small, Qwen2.5, Slovak Mistral, LLama3, SlovakBERT . +- Napíšte ChatGPT prompt na detekciu nenávistnej reči. +- Ak Vám nebude stačiť GPU Vášho počítača, vedúci Vám pridelí prístup na školský server alebo môžete vyskúšať Google Colab. + + +Zásobník úloh: + +- Zistite čo je to PEFT a kvantizácia a ako sa to používa. +- Dotrénujte jazykový model pre rozponávanie HS pomocou metódy PEFT. + Stretnutie 18.10.2024 Stav: @@ -46,9 +69,8 @@ Stav: Zásobník úloh: -- Dotrénujte vybrané modely na úlohu detekcie nenávistnej reči. Model bude vykonávať binárnu klasifikáciu. -- Pripravte skript pre overenie LLM na úlohe rozpoznávanie nenávistnej reči. -- Pripravte postup pre overenie pomocu existujúceho frameworku pre overenie. +- [ ] Dotrénujte vybrané modely na úlohu detekcie nenávistnej reči. Model bude vykonávať binárnu klasifikáciu. +- [x] Pripravte skript pre overenie LLM na úlohe rozpoznávanie nenávistnej reči. Pripravte postup pre overenie pomocu existujúceho frameworku pre overenie. Stretnutie 3.10.2024