2.4 KiB
2.4 KiB
| title | published | taxonomy | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Kristián Sokolský | true |
|
rok začiatku štúdia: 2024
Bakalársky projekt 2027
Zarovnávanie veľkých jazykových modelov
Možné ciele semestrálneho projektu:
- Zlepšenie bezpečnosti jazykových modelov.
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.
Stretnutie 23.10.2026
Stav:
- Stiahnutie a parsovanie niekoľkých stránok z MK
- pokus o dotrénovanie ne niekoľkých otázkach a odpovediach z MK.
Úlohy:
- Pokračujte v štúdiu - Python, PEFT, RL podľa inštrukcií nižšie. Aký formát dát je potrený na doladenie LLM?
- Pozrite si ako funguje Scrapy
- Vytvorte si login na GIThub a pošlite. Použite a modifikujte kódy PubCrawl na prácu s MK. Získajte HTML kódy. Navrhnite parsery pre jednotlivé sekcie stránky. Použite git branch alebo Fork pre Vašu prácu.
- Naučte sa pracovať s GH. Čo je git branch, čo je fork, čo je pull request?
- Vedúci Vám urobí prístup na školský server. Zopakujte si prácu s BASH, tmux
Update 5.10
Stav:
- Preštudované problematika
Úlohy:
- Získajte dáta zo servra Modrý koník. Použite wget na získanie HTML súborov.
- Napíšte skript na tvorbu dátovej množiny vhodnej pre zarovnnie jazykového modelu pomocou frameworku trl.
- Pokračujte v štúdu Python a reinformcement learning.
- reporty vo formáte markdown, konfigurácie a kódy dávajte na kemt git.
Stretnutie 23.9.2026
Úlohy:
- Naučte sa Python
- Nainštalujte si systém Anaconda
- Oboznámte sa s knižnicou HF Transformers
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Pozrite si záznam z DP Artur Hyrenko
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Oboznámte sa s frameworkom TRL