This commit is contained in:
Daniel Hládek 2026-10-15 14:05:50 +02:00
parent af2cb182a9
commit 47db559147

View File

@ -18,7 +18,6 @@ Predbežné úlohy:
- Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home)
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články
- Oboznámte sa s konceptom [steering vectors](https://arxiv.org/abs/2310.05915) -- ako sa vytvárajú, ako ovplyvňujú generovanie jazykových modelov
- Pozrite sa na prácu s latentnými reprezentáciami v Transformeroch (napr. attention mechanisms, intermediate layer activations)
Možné ciele semestrálneho projektu:
@ -26,3 +25,31 @@ Možné ciele semestrálneho projektu:
- Vyvinúť metódu na vytváranie riadiacich vektorov pre konkrétne vlastnosti generovania.
- Implementovať a vyhodnotiť vplyv steering vectors na kvalitu a štýl výstupov LLM.
- Nájsť spôsob ako kombinovať viaceré steering vektory pre súčasné riadenie viacerých aspektov generovania.
Výsledkom projektu bude:
- Prezentácia v určenom čase.
- Konfigurácie a kódy na katedrovom GITe.
- Experimenty na overenie funkčnosti (alebo prínosu).
- Písomná správa (vedecký článok)
Stretnutie 15.10.2026
Stav:
- Oboznámenie sa s frameworkom https://github.com/ZJU-REAL/EasySteer . Ku nemu je článok EMNLP2025.
Úlohy:
- Výsledky dávajte na repozitár git.kemt.fei.tuke.sk . Texty môžete písať v Markdown.
- Zístite, ako funguje inferencia generatícvnych jayzkových modelov.
- Podrobne sa oboznámte, ako funguje framework vllm. Prečítajte si dokumentáciu aj paper https://arxiv.org/abs/2309.06180.
- Vyskúšajte si nainštalovať vllm pomocou Docker.
- Prečítajte si článok https://arxiv.org/abs/2509.25175 Napíšte ako pracuje táto metóda? Akým spôsobom je vyhodnotená? Aké vlastnosti jazykového modelu vieme vylepšiť.
- Napíšte si poznámky čo ste sa dozvedeli.
Zásobník úloh:
- Zistite ako funguje Docker.