forked from KEMT/zpwiki
98 lines
2.8 KiB
Markdown
98 lines
2.8 KiB
Markdown
---
|
|
title: Ondrej Megela
|
|
published: true
|
|
taxonomy:
|
|
category: [bp2021]
|
|
tag: [nlp,fairseq,lm]
|
|
author: Daniel Hladek
|
|
---
|
|
# Ondrej Megela
|
|
|
|
Začiatok štúdia: 2018
|
|
|
|
## Bakalársky projekt 2020
|
|
|
|
Názov: Neurónové jazykové modelovanie s pomocou nástroja Fairseq
|
|
|
|
Návrh na zadanie:
|
|
|
|
1. Vypracujte prehľad metód jazykového modelovania pomoocu neurónových sietí
|
|
2. Vytvorte jazykový model metódou BERT alebo podobnou metódou.
|
|
3. Vyhodnotte vytvorený jazykový model a navrhnite zlepšenia.
|
|
|
|
Virtuálne stretnutie 20.11.2020
|
|
|
|
Stav:
|
|
|
|
- Urobené tutoriály ale iba na CPU.
|
|
|
|
Do ďalšieho stretnutia:
|
|
|
|
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md .
|
|
- Pracovať na písomnej časti.
|
|
|
|
|
|
|
|
Virtuálne stretnutie 13.11.2020
|
|
|
|
Stav:
|
|
|
|
- Vypracované poznámky aj k transformer a BERT
|
|
- Vyskúšaná release verzia Fairseq. Stále trvá technický problém s tutoriálom.
|
|
- Vyskúšaný BERT tutoriáli. Chyba "illegal instruction" pri extrahovaní príznakov "extract features from ROBERTA". https://discuss.pytorch.org/t/illegal-instruction-core-dumped-in-first-pytorch-tutorial/62059/3 pravdepodobne problém s inštrukčnou sadou CPU.
|
|
- \vytvorený prístup na tesla pre vyriešenie.
|
|
|
|
Do ďalšieho stretnutia:
|
|
|
|
- pokračovať v otvorených úlohách.
|
|
|
|
|
|
Virtuálne stretnutie 30.10.2020
|
|
|
|
Stav:
|
|
- Vypracované poznámky k seq2seq
|
|
- nainštalovaný Pytorch a fairseq
|
|
- problémy s tutoriálom. Riešenie by mohlo byť použitie release verzie 0.9.0, pip install fairseq=0.9.0
|
|
|
|
Do ďalšieho stretnutia:
|
|
|
|
- Vyriešte technické porblémy
|
|
- prejdide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
|
|
- Prejsť si tutoriál https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.md alebo podobný.
|
|
- Preštudujte si články na tému BERT, urobte si poznámky čo ste sa dozvedeli spolu so zdrojom.
|
|
|
|
|
|
Virtuálne stretnutie 16.10.2020
|
|
|
|
Stav:
|
|
|
|
- Vypracované poznámky k uvedeným bodom.
|
|
- Problém s inštaláciou Anaconda.
|
|
|
|
Do ďalieho stretnutia:
|
|
|
|
- nainštalujte pytorch a knižnicu fairseq
|
|
- prejtide si tutoriál https://fairseq.readthedocs.io/en/latest/getting_started.html#training-a-new-model
|
|
- Napíšte ďalšie poznámky ku architektúre encoder-decoder, nájdite najdôležitejšie články a čo hovoria.
|
|
|
|
|
|
Virtuálne stretnutie 2.10.2020
|
|
|
|
Vytvorený prístup `ssh megela@idoc.fei.tuke.sk`
|
|
|
|
Úlohy do ďalšieho stretnutia:
|
|
- Naštudujte si a vyracujte poznámky s uvedením zdroja:
|
|
- spracovanie prirodzeného jazyka
|
|
- jazykové modelovanie
|
|
- rekurentná neurónová sieť
|
|
- architektúra enkóder dekóder alebo seq2seq
|
|
- Nainštalujte si prostredie Anaconda, pytorch a knižnicu fairseq
|
|
|
|
Na štúdium:
|
|
|
|
https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics
|
|
|
|
- python
|
|
- nlp
|
|
- seq2seq
|