KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/students/2018/ondrej_megela/README.md'

Browse Source
This commit is contained in:
dano 2020-11-13 09:37:48 +00:00
parent 222000638e
commit 20246378bc
1 changed files with 10 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

12
pages/students/2018/ondrej_megela/README.md
View File

@ -17,9 +17,17 @@ Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
Návrh na zadanie: Návrh na zadanie:
1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí 1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
2. Vytvorte jazykový model metódou BERT alebo poodobnou metódou. 2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia. 3. Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.
Virtuálne stretnutie 13.11.2020
Stav:
- Vypracované poznámky aj k transformer a BERT
- Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
- Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA".
Virtuálne stretnutie 30.10.2020 Virtuálne stretnutie 30.10.2020
@ -28,7 +36,7 @@ Stav:
- nainštalovaný Pytorch a fairseq - nainštalovaný Pytorch a fairseq
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0 - problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0
Do ďďalšieho stretnutia: Do ďalšieho stretnutia:
- Vyriešte technické porblémy - Vyriešte technické porblémy
- prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model - prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model