| .. | ||
| README.md | ||
| title | published | taxonomy | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Kristián Sokolský | true |
|
rok začiatku štúdia: 2024
Bakalársky projekt 2027
Zarovnávanie veľkých jazykových modelov
Stretnutie 23.9.2026
Úlohy:
- Naučte sa Python
- Nainštalujte si systém Anaconda
- Oboznámte sa s knižnicou HF Transformers
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Pozrite si záznam z DP Artur Hyrenko
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Oboznámte sa s frameworkom TRL
Možné ciele semestrálneho projektu:
- Zlepšenie bezpečnosti jazykových modelov.
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.