1.2 KiB
1.2 KiB
| title | published | taxonomy | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Yehor Piliavin | true |
|
rok začiatku štúdia: 2024
Bakalársky projekt 2027
Úprava generovania vo veľkých jazykových modeloch pomocou riadiacich vektorov
Predbežné úlohy:
- Naučte sa Python
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články
- Oboznámte sa s konceptom steering vectors -- ako sa vytvárajú, ako ovplyvňujú generovanie jazykových modelov
- Pozrite sa na prácu s latentnými reprezentáciami v Transformeroch (napr. attention mechanisms, intermediate layer activations)
Možné ciele semestrálneho projektu:
- Vyvinúť metódu na vytváranie riadiacich vektorov pre konkrétne vlastnosti generovania.
- Implementovať a vyhodnotiť vplyv steering vectors na kvalitu a štýl výstupov LLM.
- Nájsť spôsob ako kombinovať viaceré steering vektory pre súčasné riadenie viacerých aspektov generovania.