sm892rt/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Releases Wiki Activity

Update pages/students/2023/simona_bobrovcanova/README.md

Browse Source
This commit is contained in:
dano 2025-12-05 09:58:00 +00:00
parent 188d932ff1
commit 0c78264b7d
1 changed files with 12 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

12
pages/students/2023/simona_bobrovcanova/README.md
View File

@ -32,6 +32,18 @@ Stav:
- Pripravený skript na LORA dotrénovanie. - Pripravený skript na LORA dotrénovanie.
- Vyhodnotenie pomocou ROUGE and BLEU. - Vyhodnotenie pomocou ROUGE and BLEU.
- Dotrénované a vyhodnotené modely slovak-mistral 7B., Qwen3 , Gemma, Slovak-t5-base - Dotrénované a vyhodnotené modely slovak-mistral 7B., Qwen3 , Gemma, Slovak-t5-base
- Vyzerá to tak, že problémom je dĺžka kontextu. Modely často vynechajú informácie na konci.
Úlohy:
- Možné riešenie problému s kontextom je "hierarchická sumarizácia" - model najprv sumarizuje na kratších častiach a potom spojí výsledky do jedného. Sú aj iné spôsoby riešenia? (napr. pomocou vektorových modelov) Toto je možné napísať do prehľadu.
- Vypracujte automatické vyhodnotenie sumarizácie pomocu jazykového modelu. Vedúci dodá skript .
- Vyskúšajte "zero shot prístup" pomocou "veľkého jazykového modelu". Porovnajte veľký model a dotrénované modely.
- Výsledky experimentov dajte do tabuľky.
Zásobník úloh:
- Implementujte niektorý prístup na prácu s veľkým kontextom.
Stretnutie 6.10.2025 Stretnutie 6.10.2025