KEMT/zpwiki
32
1
Fork 10
Code Issues Pull Requests Releases Wiki Activity

z

Browse Source
This commit is contained in:
Daniel Hládek 2026-09-30 14:51:06 +02:00
parent f5e112d3c0
commit bc6d7f86ad
1 changed files with 19 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

24
pages/students/2024/sebastian_kiss/README.md
View File

@ -14,14 +14,28 @@ rok začiatku štúdia: 2024
Dáta pre vyhodnotenie multimodálnych jazykových modelov
Úlohy:
- Naučte sa Python, nainštalujte si Anaconda
- Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami
- Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning)
Ciel: Vytvoriť a použiť novú dátovú množinu pre vyhodnotenie muliimodálnych modelov s podporou slovenského jazyka
Možné ciele semestrálneho projektu:
- Pripraviť nový evalučný dátový súbor pre multimodálne jazykové modely.
- Vytvoriť benchmark na porovnanie kvality výstupov rôznych multimodálnych modelov.
- Implementovať automatickú metriku na hodnotenie semantickej zhody medzi textovými a vizuálnymi reprezentáciami.
Stretnutie 30.9. 2026
Úlohy:
- Naučte sa Python, nainštalujte si Anaconda
- Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami
- Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning)
- Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. - Pozrite si záznam o práci https://zp.kemt.fei.tuke.sk/interns/dries_huybens
- Pozrite si zoznam existujúcich množín, poslaný cez Teams.
- Navrhnite svoju množinu - získanie z webu, digitalizácia nových dát alebo anotácia existujúcich dát.
Zásobník úloh:
- Otestujme rozpoznávanie rukopisov a matematických výrazov.