55 lines
1.7 KiB
Markdown
55 lines
1.7 KiB
Markdown
---
|
|
title: Kristián Sokolský
|
|
published: true
|
|
taxonomy:
|
|
category: [bp2027]
|
|
tag: [llm, alignment]
|
|
author: Daniel Hladek
|
|
---
|
|
|
|
|
|
rok začiatku štúdia: 2024
|
|
|
|
# Bakalársky projekt 2027
|
|
|
|
Zarovnávanie veľkých jazykových modelov
|
|
|
|
Možné ciele semestrálneho projektu:
|
|
|
|
- Zlepšenie bezpečnosti jazykových modelov.
|
|
- Prípravu nových dát alebo zlepšenie existujúcich dát pre zarovnanie jazykových modelov. Napr. príprava korpusu Modrý koník alebo Modrá strecha.
|
|
- Výber najlepších metód a hyperparametrov pre zarovanie LLM.
|
|
|
|
Update 5.10
|
|
|
|
Stav:
|
|
|
|
- Preštudované problematika
|
|
|
|
Úlohy:
|
|
|
|
|
|
|
|
- Získajte dáta zo serra Modrý koník. Použite wget na získanie HTML súborov.
|
|
- Napíšte skript na tvorbu dátovej množiny vhodnej pre zarovnnie jazykového modelu pomocou frameworku trl.
|
|
- Pokračujte v štúdu Python a reinformcement learning.
|
|
- reporty vo formáte markdown, konfigurácie a kódy dávajte na kemt git.
|
|
|
|
Stretnutie 23.9.2026
|
|
|
|
Úlohy:
|
|
|
|
- Naučte sa [Python](https://student.kemt.fei.tuke.sk/python/home)
|
|
- Nainštalujte si systém Anaconda
|
|
- Oboznámte sa s knižnicou HF Transformers
|
|
- Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
|
|
- Pozrite si záznam z [DP Artur Hyrenko](https://zp.kemt.fei.tuke.sk/students/2021/artur_hyrenko)
|
|
- Zistite, čo je to kontrolované učenie a čo je to učenie odmenou a trestom (reinforcement learning). Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články.
|
|
- Oboznámte sa s frameworkom [TRL](https://huggingface.co/docs/trl/en/index)
|
|
|
|
|
|
|
|
|
|
|
|
|