| .. | ||
| README.md | ||
| title | published | taxonomy | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Stanislav Matsunych | true |
|
Stanislav Matsunych
Bakalárska práca 2019
Generovanie a modelovanie prirodzeného jazyka pomocou rekurentných neurónových sietí
Návrh na zadanie
- Vypracovať prehľad metód generovania prirodzeného jazyka pomocou rekurentných neurónových sietí
- Vyberte si vhodnú metódu na zostavenie modelu prirodzeného jazyka a natrénujte model na vhodných dátach.
- Vytvorte aplikáciu, ktorá bude demonštrovať generovanie prirodzeného jazyka
- Vyhodnotte vytvorený model a navrhnite jeho zlepšenia.
Stretnutia
Revízia 14.5.:
- obhajoba v septembri
19.2.2020:
- Naštudovať perpelxitu, porozmýšľať ako to implementovať, perplexita= cross entropis
- začať pracovať na teoretickej časti (vytvárať finálnu podobu).
Bakalársky projekt 2019
Pozrieť si
- https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
- https://towardsdatascience.com/character-level-language-model-1439f5dd87fe
Prejsť si tutoriál
- http://karpathy.github.io/2015/05/21/rnn-effectiveness/
- https://machinelearningmastery.com/develop-character-based-neural-language-model-keras/
Cielom je:
Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí
-
V prvom semestri bude výstup:
-
jednoduchý program na vytvorenie LM a generovanie znakov z neho
-
Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán
Možné trénovacie texty: Zlatý fond sme
Možný framework pre web demo: Flask
Tutoriál https://realpython.com/flask-by-example-part-1-project-setup/
502 mkdir flask
503 ls -l
504 cd flask/
505 ls -l
506 python -m virtualenv
507 python -m virtualenv ./venv
508 ls -l
509 source ./venv/bin/activate
510 ls -l
511 pip install flask
512 ls -l
513 ls -l ./venv/lib/python3.8/site-packages/
514 python
515 pip install ipython
516 ipython
517 ls -l
518 vim ./mojawebka.py
519 history