---
title: Kristián Sokolský
published: true
taxonomy:
    category: [bp2027]
    tag: [llm, alignment]
    author: Daniel Hladek
---


rok začiatku štúdia: 2024

# Bakalársky projekt 2027

Zarovnávanie veľkých jazykových modelov

Možné ciele semestrálneho projektu:

- Zlepšenie bezpečnosti jazykových modelov.
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.

Stretnutie 23.10.2026

Stav:

- Stiahnutie a parsovanie niekoľkých stránok z MK
- pokus o dotrénovanie ne niekoľkých otázkach a odpovediach z MK.

Úlohy:

- Pokračujte v štúdiu - Python, PEFT, RL podľa inštrukcií nižšie. Aký formát dát je potrený na doladenie LLM?
- Pozrite si ako funguje Scrapy
- Vytvorte si login na GIThub a pošlite. Použite a modifikujte kódy PubCrawl na prácu s MK. Získajte HTML kódy. Navrhnite parsery pre jednotlivé sekcie stránky. Použite git branch alebo Fork pre Vašu prácu. 
- Naučte sa pracovať s GH. Čo je git branch, čo je fork, čo je pull request?
- Vedúci Vám urobí prístup na školský server. Zopakujte si prácu s BASH, tmux

Update 5.10

Stav:

- Preštudované problematika

Úlohy:


- Získajte dáta zo servra Modrý koník. Použite wget na získanie HTML súborov. 
- Napíšte skript na tvorbu dátovej množiny vhodnej pre zarovnnie jazykového modelu pomocou frameworku trl.
- Pokračujte v štúdu Python a reinformcement learning.
- reporty vo formáte markdown, konfigurácie a kódy dávajte na kemt git.

Stretnutie 23.9.2026 

Úlohy:

- Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home)
- Nainštalujte si systém Anaconda
- Oboznámte sa s knižnicou HF Transformers
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Pozrite si záznam z [DP Artur Hyrenko](https://zp.kemt.fei.tuke.sk/students/2021/artur_hyrenko)
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Oboznámte sa s frameworkom [TRL](https://huggingface.co/docs/trl/en/index)