zpwiki/pages/students/2016/dominik_nagy/README.md

Dominik Nagy

Tímový projekt 2019

Projektové stránky:

• Spracovanie prirodzeného jazyka

• Python

• Sequence to Sequence

• Vypracujte min. 4 stranový rešerš na tému: "Sequence to Sequence" (Encoder-Decoder, seq2seq, transformer, attention)

• citujte min. 10 najvýznamnejších bibliografických zdrojov

15.1.2020:

• Prečítajte si o konvolučných sieťach
• Prečítajte si Sequence to Sequence Convolutional Neural Network for Automatic Spelling Correction
• Skúste si nainštalovať nástroj fairseq
• prejdite si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md

Poznámka:

V prípade záujmu je možné pracovať na úlohe strojového prekladu.

Možné trénovacie dáta: https://www.clarin.eu/resource-families/parallel-corpora

Návrh na zadanie DP

• Vypracujte teoretický prehľad metód "sequence to sequence".
• Pripravte si dátovú množinu na trénovnie modelu sequence to sequence pre úlohu opravy preklepov.
• Vyberte minmálne dva rôzne modely a porovnajte ich presnosť na vhodnej dátovej množine.
• Na základe výsledkov experimentov navrhnite zlepšenia