Update 'pages/students/2018/ondrej_megela/README.md'

This commit is contained in:
dano 2020-11-13 09:37:48 +00:00
parent 222000638e
commit 20246378bc

View File

@ -17,9 +17,17 @@ Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
Návrh na zadanie:
1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.
Virtuálne stretnutie 13.11.2020
Stav:
- Vypracované poznámky aj k transformer a BERT
- Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
- Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA".
Virtuálne stretnutie 30.10.2020
@ -28,7 +36,7 @@ Stav:
- nainštalovaný Pytorch a fairseq
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0
Do ďďalšieho stretnutia:
Do ďalšieho stretnutia:
- Vyriešte technické porblémy
- prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model