diff --git a/pages/students/2024/sebastian_kiss/README.md b/pages/students/2024/sebastian_kiss/README.md index 15bd9b61..1a01899b 100644 --- a/pages/students/2024/sebastian_kiss/README.md +++ b/pages/students/2024/sebastian_kiss/README.md @@ -14,7 +14,7 @@ rok začiatku štúdia: 2024 Dáta pre vyhodnotenie multimodálnych jazykových modelov -Ciel: Vytvoriť a použiť novú dátovú množinu pre vyhodnotenie muliimodálnych modelov s podporou slovenského jazyka +Ciel: Vytvoriť a použiť novú dátovú množinu pre vyhodnotenie mulitimodálnych modelov s podporou slovenského jazyka Možné ciele semestrálneho projektu: @@ -22,12 +22,30 @@ Možné ciele semestrálneho projektu: - Vytvoriť benchmark na porovnanie kvality výstupov rôznych multimodálnych modelov. - Implementovať automatickú metriku na hodnotenie semantickej zhody medzi textovými a vizuálnymi reprezentáciami. + +Stretnutie 23.10.2026 + +Stav: + +- Napísaná správa. + +Úlohy: + +- Pokračujte v štúdiu vyhodnotenia multimodálnych jazykových modelov podľa pokynov nižšie. Vychádzajte z článku Huang - Survey of evaluation of multimodal models. +- Skúsime vyhodnotenie úlohy rozpoznávania rukou písaného textu. Vyberte text na jednu stranu rukou písaného textu. Prepíšte ho. Požiadajte niekoľko Vašich priateľov (min. 3 alebo viac), aby ho tiež prepísali. Texty naskenujte. Ku každej stránke vytvorte zarovnanie na riadky, a pridajte chyby ktoré sa vyskytujú v rukopise. Toto zopakujte pre viac strán. +- Text konzultujte pred použitím. Môže to byť diktát alebo to môže byť krátka klasická poviedka alebo urývok klasického románu. + +Zásobník úloh: + +- Pomocu viacerých modelov rozpoznajte text po riadkoch a vypočítajte chybu na úrovni riadkov. Chyba sa určuje ako CER (character erroro rate), WER (word error rate). +- Nájdite existujúcu množinu rukou písaného textu a upravte ju do podoby vhodnej na vyhodnotenie LLM. + Stretnutie 30.9. 2026 Úlohy: -- Naučte sa Python, nainštalujte si Anaconda +- Naučte sa Python, nainštalujte si Anaconda. - Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami - Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning) - Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. - Pozrite si záznam o práci https://zp.kemt.fei.tuke.sk/interns/dries_huybens