forked from KEMT/zpwiki
1.9 KiB
1.9 KiB
| title | published | taxonomy | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Ondrej Megela | true |
|
Ondrej Megela
Začiatok štúdia: 2018
Bakalársky projekt 2020
Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
Návrh na zadanie:
- Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
- Vytvorte jazykový model metódou BERT alebo poodobnou metódou.
- Vyhodnnotte vytvorený jazykový model a navrhnite zlepšenia.
Zásobník úloh:
Virtuálne stretnutie 30.10.2020
Stav:
- Vypracované poznámky k seq2seq
- nainštalovaný Pytorch a fairseq
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0
Do ďďalšieho stretnutia:
- Vyriešte technické porblémy
- prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
Virtuálne stretnutie 16.10.2020
Stav:
- Vypracované poznámky k uvedeným bodom.
- Problém s inštaláciou Anaconda.
Do ďalieho stretnutia:
- nainštalujte pytorch a knižnicu fairseq
- prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
- Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.
Virtuálne stretnutie 2.10.2020
Vytvorený prístup ssh megela@idoc.fei.tuke.sk
Úlohy do ďalšieho stretnutia:
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
- spracovanie prirodzeného jazyka
- jazykové modelovanie
- rekurentná neurónová sieť
- architektúra enkóder dekóder alebo seq2seq
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq
Na štúdium:
https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics
- python
- nlp
- seq2seq