44 lines
1.0 KiB
Markdown
44 lines
1.0 KiB
Markdown
|
---
|
||
|
|
title: Denis Le Thanh
|
||
|
|
published: true
|
||
|
|
taxonomy:
|
||
|
|
category: [bp2026]
|
||
|
|
tag: [lm,nlp]
|
||
|
|
author: Daniel Hladek
|
||
|
|
---
|
||
|
|
|
||
|
|
|
||
|
|
rok začiatku štúdia: 2023
|
||
|
|
|
||
|
|
# Bakalárska práca 2026
|
||
|
|
|
||
|
|
|
||
|
|
Téma:
|
||
|
|
|
||
|
|
Trénovanie jazykového modelu pre spracovanie inštrukcií v prirodzenom jazyku
|
||
|
|
|
||
|
|
|
||
|
|
Ciele:
|
||
|
|
|
||
|
|
- Skúsiť dotrénovať slovenský generatívny model (slovak-mistral-7b) pre inštrukcie.
|
||
|
|
|
||
|
|
Stretnutie 26.2.
|
||
|
|
|
||
|
|
Úlohy:
|
||
|
|
|
||
|
|
|
||
|
|
- Oboznámte sa s problematikou veľkých jazykových modelov. Towards Data Science
|
||
|
|
- Naučte sa Python lepšie. Nain3talujte si prostredie Anaconda.
|
||
|
|
- Poučte sa o strojovom účení. Dive into deep learning.
|
||
|
|
- Vyskúšajte si framework HF Transformers.
|
||
|
|
- Vyskúšajte si veľký jazykový model, napr. cez systém OLLAMA.
|
||
|
|
- Oboznámte sa s repozitárom https://github.com/allenai/open-instruct, prečítajte si články
|
||
|
|
- Oboznámte sa s repozitárom https://github.com/nlp-uoregon/Okapi, prečítajte si články
|
||
|
|
|
||
|
|
Zásobník úloh:
|
||
|
|
|
||
|
|
- Strojovo preložte vybraú množinu inštrukcií a použite ju v trénovaní.
|
||
|
|
- Vyhodnotte výsledný model a porovnajte ho.
|
||
|
|
|
||
|
|
|