---
title: Yehor Piliavin
published: true
taxonomy:
    category: [bp2027]
    tag: [llm,alignment,steering-vectors]
    author: Daniel Hladek
---


rok začiatku štúdia: 2024

# Bakalársky projekt 2027

Úprava generovania vo veľkých jazykových modeloch pomocou riadiacich vektorov

Predbežné úlohy:

- Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home)
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články
- Oboznámte sa s konceptom [steering vectors](https://arxiv.org/abs/2310.05915) -- ako sa vytvárajú, ako ovplyvňujú generovanie jazykových modelov
- Pozrite sa na prácu s latentnými reprezentáciami v Transformeroch (napr. attention mechanisms, intermediate layer activations)

Možné ciele semestrálneho projektu:

- Vyvinúť metódu na vytváranie riadiacich vektorov pre konkrétne vlastnosti generovania.
- Implementovať a vyhodnotiť vplyv steering vectors na kvalitu a štýl výstupov LLM.
- Nájsť spôsob ako kombinovať viaceré steering vektory pre súčasné riadenie viacerých aspektov generovania.