1.7 KiB
1.7 KiB
| title | published | taxonomy | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Kristián Sokolský | true |
|
rok začiatku štúdia: 2024
Bakalársky projekt 2027
Zarovnávanie veľkých jazykových modelov
Možné ciele semestrálneho projektu:
- Zlepšenie bezpečnosti jazykových modelov.
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.
Update 5.10
Stav:
- Preštudované problematika
Úlohy:
- Získajte dáta zo serra Modrý koník. Použite wget na získanie HTML súborov.
- Napíšte skript na tvorbu dátovej množiny vhodnej pre zarovnnie jazykového modelu pomocou frameworku trl.
- Pokračujte v štúdu Python a reinformcement learning.
- reporty vo formáte markdown, konfigurácie a kódy dávajte na kemt git.
Stretnutie 23.9.2026
Úlohy:
- Naučte sa Python
- Nainštalujte si systém Anaconda
- Oboznámte sa s knižnicou HF Transformers
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Pozrite si záznam z DP Artur Hyrenko
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
- Oboznámte sa s frameworkom TRL