diff --git a/pages/students/2024/sebastian_kiss/README.md b/pages/students/2024/sebastian_kiss/README.md index 2b48bff8..15bd9b61 100644 --- a/pages/students/2024/sebastian_kiss/README.md +++ b/pages/students/2024/sebastian_kiss/README.md @@ -14,14 +14,28 @@ rok začiatku štúdia: 2024 Dáta pre vyhodnotenie multimodálnych jazykových modelov -Úlohy: - -- Naučte sa Python, nainštalujte si Anaconda -- Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami -- Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning) +Ciel: Vytvoriť a použiť novú dátovú množinu pre vyhodnotenie muliimodálnych modelov s podporou slovenského jazyka Možné ciele semestrálneho projektu: - Pripraviť nový evalučný dátový súbor pre multimodálne jazykové modely. - Vytvoriť benchmark na porovnanie kvality výstupov rôznych multimodálnych modelov. - Implementovať automatickú metriku na hodnotenie semantickej zhody medzi textovými a vizuálnymi reprezentáciami. + +Stretnutie 30.9. 2026 + + +Úlohy: + +- Naučte sa Python, nainštalujte si Anaconda +- Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami +- Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning) +- Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. - Pozrite si záznam o práci https://zp.kemt.fei.tuke.sk/interns/dries_huybens +- Pozrite si zoznam existujúcich množín, poslaný cez Teams. +- Navrhnite svoju množinu - získanie z webu, digitalizácia nových dát alebo anotácia existujúcich dát. + +Zásobník úloh: + +- Otestujme rozpoznávanie rukopisov a matematických výrazov. + +