diff --git a/pages/students/2024/yehor_piliavin/README.md b/pages/students/2024/yehor_piliavin/README.md index 6544368e..37b331e7 100644 --- a/pages/students/2024/yehor_piliavin/README.md +++ b/pages/students/2024/yehor_piliavin/README.md @@ -18,7 +18,6 @@ Predbežné úlohy: - Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home) - Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články -- Oboznámte sa s konceptom [steering vectors](https://arxiv.org/abs/2310.05915) -- ako sa vytvárajú, ako ovplyvňujú generovanie jazykových modelov - Pozrite sa na prácu s latentnými reprezentáciami v Transformeroch (napr. attention mechanisms, intermediate layer activations) Možné ciele semestrálneho projektu: @@ -26,3 +25,31 @@ Možné ciele semestrálneho projektu: - Vyvinúť metódu na vytváranie riadiacich vektorov pre konkrétne vlastnosti generovania. - Implementovať a vyhodnotiť vplyv steering vectors na kvalitu a štýl výstupov LLM. - Nájsť spôsob ako kombinovať viaceré steering vektory pre súčasné riadenie viacerých aspektov generovania. + +Výsledkom projektu bude: + +- Prezentácia v určenom čase. +- Konfigurácie a kódy na katedrovom GITe. +- Experimenty na overenie funkčnosti (alebo prínosu). +- Písomná správa (vedecký článok) + +Stretnutie 15.10.2026 + +Stav: + +- Oboznámenie sa s frameworkom https://github.com/ZJU-REAL/EasySteer . Ku nemu je článok EMNLP2025. + +Úlohy: + +- Výsledky dávajte na repozitár git.kemt.fei.tuke.sk . Texty môžete písať v Markdown. +- Zístite, ako funguje inferencia generatícvnych jayzkových modelov. +- Podrobne sa oboznámte, ako funguje framework vllm. Prečítajte si dokumentáciu aj paper https://arxiv.org/abs/2309.06180. +- Vyskúšajte si nainštalovať vllm pomocou Docker. +- Prečítajte si článok https://arxiv.org/abs/2509.25175 Napíšte ako pracuje táto metóda? Akým spôsobom je vyhodnotená? Aké vlastnosti jazykového modelu vieme vylepšiť. +- Napíšte si poznámky čo ste sa dozvedeli. + +Zásobník úloh: + +- Zistite ako funguje Docker. + +