69 lines
2.4 KiB
Markdown
69 lines
2.4 KiB
Markdown
---
|
|
title: Kristián Sokolský
|
|
published: true
|
|
taxonomy:
|
|
category: [bp2027]
|
|
tag: [llm, alignment]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2024
|
|
|
|
# Bakalársky projekt 2027
|
|
|
|
Zarovnávanie veľkých jazykových modelov
|
|
|
|
Možné ciele semestrálneho projektu:
|
|
|
|
- Zlepšenie bezpečnosti jazykových modelov.
|
|
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
|
|
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.
|
|
|
|
Stretnutie 23.10.2026
|
|
|
|
Stav:
|
|
|
|
- Stiahnutie a parsovanie niekoľkých stránok z MK
|
|
- pokus o dotrénovanie ne niekoľkých otázkach a odpovediach z MK.
|
|
|
|
Úlohy:
|
|
|
|
- Pokračujte v štúdiu - Python, PEFT, RL podľa inštrukcií nižšie. Aký formát dát je potrený na doladenie LLM?
|
|
- Pozrite si ako funguje Scrapy
|
|
- Vytvorte si login na GIThub a pošlite. Použite a modifikujte kódy PubCrawl na prácu s MK. Získajte HTML kódy. Navrhnite parsery pre jednotlivé sekcie stránky. Použite git branch alebo Fork pre Vašu prácu.
|
|
- Naučte sa pracovať s GH. Čo je git branch, čo je fork, čo je pull request?
|
|
- Vedúci Vám urobí prístup na školský server. Zopakujte si prácu s BASH, tmux
|
|
|
|
Update 5.10
|
|
|
|
Stav:
|
|
|
|
- Preštudované problematika
|
|
|
|
Úlohy:
|
|
|
|
|
|
- Získajte dáta zo servra Modrý koník. Použite wget na získanie HTML súborov.
|
|
- Napíšte skript na tvorbu dátovej množiny vhodnej pre zarovnnie jazykového modelu pomocou frameworku trl.
|
|
- Pokračujte v štúdu Python a reinformcement learning.
|
|
- reporty vo formáte markdown, konfigurácie a kódy dávajte na kemt git.
|
|
|
|
Stretnutie 23.9.2026
|
|
|
|
Úlohy:
|
|
|
|
- Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home)
|
|
- Nainštalujte si systém Anaconda
|
|
- Oboznámte sa s knižnicou HF Transformers
|
|
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
|
|
- Pozrite si záznam z [DP Artur Hyrenko](https://zp.kemt.fei.tuke.sk/students/2021/artur_hyrenko)
|
|
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
|
|
- Oboznámte sa s frameworkom [TRL](https://huggingface.co/docs/trl/en/index)
|
|
|
|
|
|
|
|
|
|
|
|
|