60 lines
2.6 KiB
Markdown
60 lines
2.6 KiB
Markdown
---
|
|
title: Sebastián Kišš
|
|
published: true
|
|
taxonomy:
|
|
category: [bp2027]
|
|
tag: [multimodal,dataset,evaluation]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2024
|
|
|
|
# Bakalársky projekt 2027
|
|
|
|
Dáta pre vyhodnotenie multimodálnych jazykových modelov
|
|
|
|
Ciel: Vytvoriť a použiť novú dátovú množinu pre vyhodnotenie mulitimodálnych modelov s podporou slovenského jazyka
|
|
|
|
Možné ciele semestrálneho projektu:
|
|
|
|
- Pripraviť nový evalučný dátový súbor pre multimodálne jazykové modely.
|
|
- Vytvoriť benchmark na porovnanie kvality výstupov rôznych multimodálnych modelov.
|
|
- Implementovať automatickú metriku na hodnotenie semantickej zhody medzi textovými a vizuálnymi reprezentáciami.
|
|
|
|
|
|
Stretnutie 23.10.2026
|
|
|
|
Stav:
|
|
|
|
- Napísaná správa.
|
|
|
|
Úlohy:
|
|
|
|
- Pokračujte v štúdiu vyhodnotenia multimodálnych jazykových modelov podľa pokynov nižšie. Vychádzajte z článku Huang - Survey of evaluation of multimodal models.
|
|
- Skúsime vyhodnotenie úlohy rozpoznávania rukou písaného textu. Vyberte text na jednu stranu rukou písaného textu. Prepíšte ho. Požiadajte niekoľko Vašich priateľov (min. 3 alebo viac), aby ho tiež prepísali. Texty naskenujte. Ku každej stránke vytvorte zarovnanie na riadky, a pridajte chyby ktoré sa vyskytujú v rukopise. Toto zopakujte pre viac strán.
|
|
- Text konzultujte pred použitím. Môže to byť diktát alebo to môže byť krátka klasická poviedka alebo urývok klasického románu.
|
|
|
|
Zásobník úloh:
|
|
|
|
- Pomocu viacerých modelov rozpoznajte text po riadkoch a vypočítajte chybu na úrovni riadkov. Chyba sa určuje ako CER (character erroro rate), WER (word error rate).
|
|
- Nájdite existujúcu množinu rukou písaného textu a upravte ju do podoby vhodnej na vyhodnotenie LLM.
|
|
|
|
Stretnutie 30.9. 2026
|
|
|
|
|
|
Úlohy:
|
|
|
|
- Naučte sa Python, nainštalujte si Anaconda.
|
|
- Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami
|
|
- Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning)
|
|
- Oboznámte sa s knižnicou [Hugging Face Datasets](https://huggingface.co/docs/datasets) a metódami hodnotenia multimodálnych modelov. - Pozrite si záznam o práci https://zp.kemt.fei.tuke.sk/interns/dries_huybens
|
|
- Pozrite si zoznam existujúcich množín, poslaný cez Teams.
|
|
- Navrhnite svoju množinu - získanie z webu, digitalizácia nových dát alebo anotácia existujúcich dát.
|
|
|
|
Zásobník úloh:
|
|
|
|
- Otestujme rozpoznávanie rukopisov a matematických výrazov.
|
|
|
|
|