2020-09-22 10:46:44 +00:00
|
|
|
# Ondrej Megela
|
2020-10-02 08:20:56 +00:00
|
|
|
|
|
|
|
|
Začiatok štúdia: 2018
|
|
|
|
|
|
|
|
|
|
## Bakalársky projekt 2020
|
|
|
|
|
|
|
|
|
|
Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
|
|
|
|
|
|
|
|
|
|
Návrh na zadanie:
|
|
|
|
|
|
|
|
|
|
1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
|
|
|
|
|
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
|
2020-10-02 08:39:55 +00:00
|
|
|
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.
|
|
|
|
|
|
2020-10-02 08:48:52 +00:00
|
|
|
Zásobník úloh:
|
|
|
|
|
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
|
|
|
|
|
|
2020-10-02 08:39:55 +00:00
|
|
|
Virtuálne stretnutie 2.10.2020
|
|
|
|
|
|
2020-10-02 08:54:05 +00:00
|
|
|
Vytvorený prístup `ssh megela@idoc.fei.tuke.sk`
|
|
|
|
|
|
2020-10-02 08:39:55 +00:00
|
|
|
Úlohy do ďalšieho stretnutia:
|
|
|
|
|
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
|
|
|
|
|
- spracovanie prirodzeného jazyka
|
|
|
|
|
- jazykové modelovanie
|
|
|
|
|
- rekurentná neurónová sieť
|
|
|
|
|
- architektúra enkóder dekóder alebo seq2seq
|
2020-10-02 08:43:06 +00:00
|
|
|
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq
|
|
|
|
|
|
|
|
|
|
Na štúdium:
|
|
|
|
|
|
|
|
|
|
https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics
|
|
|
|
|
|
|
|
|
|
- python
|
|
|
|
|
- nlp
|
|
|
|
|
- seq2seq
|
