zpwiki/pages/students/2017/stanislav_matsunych/README.md

85 lines
2.5 KiB
Markdown
Raw Normal View History

2020-10-01 13:33:21 +00:00
---
title: Stanislav Matsunych
published: true
taxonomy:
2020-10-01 13:46:14 +00:00
category: [bp2020]
2020-10-01 13:33:21 +00:00
tag: [nn,lm,nlp]
author: Daniel Hladek
---
# Stanislav Matsunych
## Bakalárska práca 2019
Generovanie a modelovanie prirodzeného jazyka pomocou rekurentných neurónových sietí
- [Zdrojové texty BP](https://git.kemt.fei.tuke.sk/sm892rt/BC_Matsunych_2020_Final)
- [CRZP](https://opac.crzp.sk/?fn=detailBiblioForm&sid=60B4917E3BAC23F10C7DAB27651C&seo=CRZP-detail-kniha)
### Návrh na zadanie
1. Vypracovať prehľad metód generovania prirodzeného jazyka pomocou rekurentných neurónových sietí
2. Vyberte si vhodnú metódu na zostavenie modelu prirodzeného jazyka a natrénujte model na vhodných dátach.
3. Vytvorte aplikáciu, ktorá bude demonštrovať generovanie prirodzeného jazyka
4. Vyhodnotte vytvorený model a navrhnite jeho zlepšenia.
## Stretnutia
Revízia 14.5.:
- obhajoba v septembri
19.2.2020:
- Naštudovať perpelxitu, porozmýšľať ako to implementovať, perplexita= cross entropis
- začať pracovať na teoretickej časti (vytvárať finálnu podobu).
## Bakalársky projekt 2019
Pozrieť si
- https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
- https://towardsdatascience.com/character-level-language-model-1439f5dd87fe
Prejsť si tutoriál
- http://karpathy.github.io/2015/05/21/rnn-effectiveness/
- https://machinelearningmastery.com/develop-character-based-neural-language-model-keras/
Cielom je:
Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí
- V prvom semestri bude výstup:
- jednoduchý program na vytvorenie LM a generovanie znakov z neho
- Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán
Možné trénovacie texty: [Zlatý fond sme](https://zlatyfond.sme.sk/)
Možný framework pre web demo: [Flask](https://www.fullstackpython.com/flask.html)
Tutoriál https://realpython.com/flask-by-example-part-1-project-setup/
502 mkdir flask
503 ls -l
504 cd flask/
505 ls -l
506 python -m virtualenv
507 python -m virtualenv ./venv
508 ls -l
509 source ./venv/bin/activate
510 ls -l
511 pip install flask
512 ls -l
513 ls -l ./venv/lib/python3.8/site-packages/
514 python
515 pip install ipython
516 ipython
517 ls -l
518 vim ./mojawebka.py
519 history