forked from KEMT/zpwiki
initial
This commit is contained in:
parent
5e065b59ff
commit
607b4c46c7
38
pages/01.chatbot/README.md
Normal file
38
pages/01.chatbot/README.md
Normal file
@ -0,0 +1,38 @@
|
||||
---
|
||||
title: chatbot
|
||||
---
|
||||
|
||||
# Chatbot
|
||||
|
||||
Ciele: Vytvorenie demonštračnej aplikácie pre interaktívnu komunikáciu s
|
||||
automatom
|
||||
|
||||
## Zdroje
|
||||
|
||||
- <https:%%//%%chatbotslife.com/how-you-can-build-your-first-chatbot-using-rasa-in-under-15-minutes-ce557ea52f2f>
|
||||
- <https:%%//%%medium.com/analytics-vidhya/building-a-simple-chatbot-in-python-using-nltk-7c8c8215ac6e>
|
||||
|
||||
### Prostriedky
|
||||
|
||||
- [RASA toolbox](https://rasa.com/)
|
||||
- Slack(<https:%%//%%slack.com>) - ako rozhranie
|
||||
|
||||
## Riešitelia
|
||||
|
||||
- Dmytro Ushatenko (Daniel Hládek), 19/20
|
||||
- Jozef Olekšák (Stanislav Ondáš) 18/19 Riadenie dialógu na báze
|
||||
štatických metód
|
||||
|
||||
## Existujúce riešenia
|
||||
|
||||
- [KEMT Bot](https://kemt.fei.tuke.sk)
|
||||
- <https:%%//%%jobothq.slack.com/>
|
||||
|
||||
## Riešiteľ 1
|
||||
|
||||
Zadanie:
|
||||
|
||||
1. Vypracujte úvod do problematiky systémov pre riadenie dialógu
|
||||
2. Vypracujte prehľad používaných metód riadenia dialógu
|
||||
3. Navrhnite a implementujte agenta pre zisťovanie informácií o katedre
|
||||
KEM
|
55
pages/01.home/README.md
Normal file
55
pages/01.home/README.md
Normal file
@ -0,0 +1,55 @@
|
||||
# Záverečné práce na KEMT
|
||||
Wiki stánka pre prezentáciu a spoluprácu na záverečných prácach.
|
||||
|
||||
## Ako sa zúčastním
|
||||
|
||||
Všetky stánky sú napísané vo formáte Markdown. Je možné ich editovať pomocou webového rozhrania alebo
|
||||
pomocou Vášho obľúbeného textového editora a synchronizovať s Vašim počítačom.
|
||||
|
||||
## Kto to uvidí
|
||||
|
||||
Všetky stránky sú prístupné pre všetkých prihlásených používateľov.
|
||||
|
||||
## Čo tu nájdem
|
||||
|
||||
- informácie o vedúcich záverečných prác
|
||||
- zadania záverečných prác
|
||||
- návody ako vytvoriť záverečnú prácu
|
||||
- články o zaujímavých témach
|
||||
- predbežné výsledky
|
||||
- referáty
|
||||
- bakalárske práce
|
||||
- diplomové práce
|
||||
- odkazy na repozitáre so zdrojovým kódom
|
||||
|
||||
|
||||
|
||||
|
||||
---
|
||||
title: Záverečné práce a projekty
|
||||
published: true
|
||||
---
|
||||
|
||||
- Vedúci: Daniel Hládek
|
||||
- odporúčaný čas konzultácie: štvrtok o 9:00
|
||||
- Oblasť výskumu: Spracovanie prirodzeného jazyka
|
||||
|
||||
# Predmety
|
||||
|
||||
- [Bakalársky projekt 2019](./bp20)
|
||||
- [Tímový projekt 2019](./tim)
|
||||
- [Bakalárske práce 2018/2019](./bp19)
|
||||
|
||||
# Ako písať záverečnú prácu
|
||||
|
||||
- [Ako písať záverečnú prácu](http://akopisatprace.sk/wp-content/uploads/ako_pisat_zav_prace_final_skratene2_6.pdf)
|
||||
- [Odovzdanie a šablóna](https://portal.lib.tuke.sk/etd/)
|
||||
|
||||
## Zadanie záverečnej práce
|
||||
|
||||
1. Definujte PROBLÉM
|
||||
2. Vypracujte prehľad možných metód riešenia a vyberte vhodnú METÓDU
|
||||
3. Vyberte metódu OHODNOTENIA, navrhnite a vykonajte EXPERIMENTY.
|
||||
4. Vyhodnoťte experimenty a navrhnite možné zlepšenia
|
||||
|
||||
|
@ -1,42 +0,0 @@
|
||||
---
|
||||
title: Home
|
||||
body_classes: title-center title-h1h2
|
||||
---
|
||||
|
||||
# Say Hello to Grav!
|
||||
## installation successful...
|
||||
|
||||
Congratulations! You have installed the **Base Grav Package** that provides a **simple page** and the default **Quark** theme to get you started.
|
||||
|
||||
!! If you see a **404 Error** when you click `Typography` in the menu, please refer to the [troubleshooting guide](http://learn.getgrav.org/troubleshooting/page-not-found).
|
||||
|
||||
### Find out all about Grav
|
||||
|
||||
* Learn about **Grav** by checking out our dedicated [Learn Grav](http://learn.getgrav.org) site.
|
||||
* Download **plugins**, **themes**, as well as other Grav **skeleton** packages from the [Grav Downloads](http://getgrav.org/downloads) page.
|
||||
* Check out our [Grav Development Blog](http://getgrav.org/blog) to find out the latest goings on in the Grav-verse.
|
||||
|
||||
!!! If you want a more **full-featured** base install, you should check out [**Skeleton** packages available in the downloads](http://getgrav.org/downloads).
|
||||
|
||||
### Edit this Page
|
||||
|
||||
To edit this page, simply navigate to the folder you installed **Grav** into, and then browse to the `user/pages/01.home` folder and open the `default.md` file in your [editor of choice](http://learn.getgrav.org/basics/requirements). You will see the content of this page in [Markdown format](http://learn.getgrav.org/content/markdown).
|
||||
|
||||
### Create a New Page
|
||||
|
||||
Creating a new page is a simple affair in **Grav**. Simply follow these simple steps:
|
||||
|
||||
1. Navigate to your pages folder: `user/pages/` and create a new folder. In this example, we will use [explicit default ordering](http://learn.getgrav.org/content/content-pages) and call the folder `03.mypage`.
|
||||
2. Launch your text editor and paste in the following sample code:
|
||||
|
||||
---
|
||||
title: My New Page
|
||||
---
|
||||
# My New Page!
|
||||
|
||||
This is the body of **my new page** and I can easily use _Markdown_ syntax here.
|
||||
|
||||
3. Save this file in the `user/pages/03.mypage/` folder as `default.md`. This will tell **Grav** to render the page using the **default** template.
|
||||
4. That is it! Reload your browser to see your new page in the menu.
|
||||
|
||||
! NOTE: The page will automatically show up in the Menu after the "Typography" menu item. If you wish to change the name that shows up in the Menu, simple add: `menu: My Page` between the dashes in the page content. This is called the YAML front matter, and it is where you configure page-specific options.
|
@ -1,9 +0,0 @@
|
||||
---
|
||||
title: ''
|
||||
media_order: ''
|
||||
body_classes: ''
|
||||
order_by: ''
|
||||
order_manual: ''
|
||||
---
|
||||
|
||||
# sdfadsfdsf
|
44
pages/02.named-entity/README.md
Normal file
44
pages/02.named-entity/README.md
Normal file
@ -0,0 +1,44 @@
|
||||
---
|
||||
title: named-entity
|
||||
---
|
||||
|
||||
# Named Entities
|
||||
|
||||
## Goals
|
||||
|
||||
- Be able to recognize unknown named entities
|
||||
- Create a manually annotated training set from speech transcripts
|
||||
- Propose an annotation schema
|
||||
|
||||
## Plan
|
||||
|
||||
- Convert speech transcripts into a training set
|
||||
- Train and evaluate classifier
|
||||
- Establish manual annotation
|
||||
- Select unannotated data
|
||||
|
||||
### Data preparation
|
||||
|
||||
Input: Transcriber transcripts with inconsistent annotations
|
||||
|
||||
```
|
||||
* First small letter: regular word
|
||||
* Capital: named entity
|
||||
* ''^^'': faoreign word
|
||||
* ''@'': noise
|
||||
* ''_'': multi word expression
|
||||
* ''/'': pronuncation
|
||||
```
|
||||
|
||||
Output: A file that can be read by `spacy convert`
|
||||
|
||||
## People
|
||||
|
||||
Cesar Abascal Gutierrez <cesarbielva1994@gmail.com>
|
||||
|
||||
## Tools
|
||||
|
||||
```
|
||||
* Machine learning : https://spacy.io/usage/training
|
||||
* Manual Annotation : https://prodi.gy/
|
||||
```
|
@ -1,155 +0,0 @@
|
||||
---
|
||||
title: Typography
|
||||
---
|
||||
|
||||
! Details on the full capabilities of Spectre.css can be found in the [Official Spectre Documentation](https://picturepan2.github.io/spectre/elements.html)
|
||||
|
||||
The [Quark theme](https://github.com/getgrav/grav-theme-quark) is the new default theme for Grav built with [Spectre.css](https://picturepan2.github.io/spectre/) the lightweight, responsive and modern CSS framework. Spectre provides basic styles for typography, elements, and a responsive layout system that utilizes best practices and consistent language design.
|
||||
|
||||
### Headings
|
||||
|
||||
# H1 Heading `40px`
|
||||
|
||||
## H2 Heading `32px`
|
||||
|
||||
### H3 Heading `28px`
|
||||
|
||||
#### H4 Heading `24px`
|
||||
|
||||
##### H5 Heading `20px`
|
||||
|
||||
###### H6 Heading `16px`
|
||||
|
||||
```html
|
||||
# H1 Heading
|
||||
# H1 Heading `40px`</small>`
|
||||
|
||||
<span class="h1">H1 Heading</span>
|
||||
```
|
||||
|
||||
### Paragraphs
|
||||
|
||||
Lorem ipsum dolor sit amet, consectetur [adipiscing elit. Praesent risus leo, dictum in vehicula sit amet](#), feugiat tempus tellus. Duis quis sodales risus. Etiam euismod ornare consequat.
|
||||
|
||||
Climb leg rub face on everything give attitude nap all day for under the bed. Chase mice attack feet but rub face on everything hopped up on goofballs.
|
||||
|
||||
### Markdown Semantic Text Elements
|
||||
|
||||
**Bold** `**Bold**`
|
||||
|
||||
_Italic_ `_Italic_`
|
||||
|
||||
~~Deleted~~ `~~Deleted~~`
|
||||
|
||||
`Inline Code` `` `Inline Code` ``
|
||||
|
||||
### HTML Semantic Text Elements
|
||||
|
||||
<abbr>I18N</abbr> `<abbr>`
|
||||
|
||||
<cite>Citation</cite> `<cite>`
|
||||
|
||||
<kbd>Ctrl + S</kbd> `<kbd>`
|
||||
|
||||
Text<sup>Superscripted</sup> `<sup>`
|
||||
|
||||
Text<sub>Subscripted</sub> `<sub>`
|
||||
|
||||
<u>Underlined</u> `<u>`
|
||||
|
||||
<mark>Highlighted</mark> `<mark>`
|
||||
|
||||
<time>20:14</time> `<time>`
|
||||
|
||||
<var>x = y + 2</var> `<var>`
|
||||
|
||||
### Blockquote
|
||||
|
||||
> The advance of technology is based on making it fit in so that you don't really even notice it,
|
||||
> so it's part of everyday life.
|
||||
>
|
||||
> <cite>- Bill Gates</cite>
|
||||
|
||||
```markdown
|
||||
> The advance of technology is based on making it fit in so that you don't really even notice it,
|
||||
> so it's part of everyday life.
|
||||
>
|
||||
> <cite>- Bill Gates</cite>
|
||||
```
|
||||
|
||||
### Unordered List
|
||||
|
||||
* list item 1
|
||||
* list item 2
|
||||
* list item 2.1
|
||||
* list item 2.2
|
||||
* list item 2.3
|
||||
* list item 3
|
||||
|
||||
```markdown
|
||||
* list item 1
|
||||
* list item 2
|
||||
* list item 2.1
|
||||
* list item 2.2
|
||||
* list item 2.3
|
||||
* list item 3
|
||||
```
|
||||
|
||||
### Ordered List
|
||||
|
||||
1. list item 1
|
||||
1. list item 2
|
||||
1. list item 2.1
|
||||
1. list item 2.2
|
||||
1. list item 2.3
|
||||
1. list item 3
|
||||
|
||||
```markdown
|
||||
1. list item 1
|
||||
1. list item 2
|
||||
1. list item 2.1
|
||||
1. list item 2.2
|
||||
1. list item 2.3
|
||||
1. list item 3
|
||||
```
|
||||
|
||||
### Table
|
||||
|
||||
| Name | Genre | Release date |
|
||||
| :-------------------------- | :---------------------------: | -------------------: |
|
||||
| The Shawshank Redemption | Crime, Drama | 14 October 1994 |
|
||||
| The Godfather | Crime, Drama | 24 March 1972 |
|
||||
| Schindler's List | Biography, Drama, History | 4 February 1994 |
|
||||
| Se7en | Crime, Drama, Mystery | 22 September 1995 |
|
||||
|
||||
```markdown
|
||||
| Name | Genre | Release date |
|
||||
| :-------------------------- | :---------------------------: | -------------------: |
|
||||
| The Shawshank Redemption | Crime, Drama | 14 October 1994 |
|
||||
| The Godfather | Crime, Drama | 24 March 1972 |
|
||||
| Schindler's List | Biography, Drama, History | 4 February 1994 |
|
||||
| Se7en | Crime, Drama, Mystery | 22 September 1995 |
|
||||
```
|
||||
|
||||
### Notices
|
||||
|
||||
The notices styles are actually provided by the `markdown-notices` plugin but are useful enough to include here:
|
||||
|
||||
! This is a warning notification
|
||||
|
||||
!! This is a error notification
|
||||
|
||||
!!! This is a default notification
|
||||
|
||||
!!!! This is a success notification
|
||||
|
||||
```markdown
|
||||
! This is a warning notification
|
||||
|
||||
!! This is a error notification
|
||||
|
||||
!!! This is a default notification
|
||||
|
||||
!!!! This is a success notification
|
||||
```
|
||||
|
14
pages/03.seq2seq/README.md
Normal file
14
pages/03.seq2seq/README.md
Normal file
@ -0,0 +1,14 @@
|
||||
---
|
||||
title: named-entity
|
||||
---
|
||||
# Sequence to sequence
|
||||
|
||||
Niektoré zaujímavé odkazy na tému sequence to sequence:
|
||||
|
||||
https://github.com/pytorch/fairseq
|
||||
|
||||
## Transformer
|
||||
|
||||
http://jalammar.github.io/illustrated-transformer/
|
||||
|
||||
https://arxiv.org/abs/1706.03762
|
22
pages/04.nlp/README.md
Normal file
22
pages/04.nlp/README.md
Normal file
@ -0,0 +1,22 @@
|
||||
---
|
||||
title: Spracovanie prirodzeného jazyka
|
||||
published: true
|
||||
---
|
||||
|
||||
# Spracovanie prirodzeného jazyka
|
||||
|
||||
## Knihy
|
||||
|
||||
- Lane, Howard, Hopke: Natural language processing in action
|
||||
|
||||
## Knižnice Python
|
||||
|
||||
- Flair https://github.com/zalandoresearch/flair
|
||||
- Spacy https://spacy.io/
|
||||
|
||||
## Word Embedding
|
||||
|
||||
- https://nlp.stanford.edu/projects/glove/
|
||||
- https://fasttext.cc/
|
||||
- https://radimrehurek.com/gensim/ (topic modelling)
|
||||
-
|
30
pages/05.prodigy/README.md
Normal file
30
pages/05.prodigy/README.md
Normal file
@ -0,0 +1,30 @@
|
||||
---
|
||||
title: Anotácia textových dát
|
||||
published: true
|
||||
---
|
||||
|
||||
# Anotácia textových dát
|
||||
|
||||
- Natrénovanie štatistického modelu pre spracovanie prirodzeného jazyka zo slovenských dát
|
||||
- Manuálna anotácia slovenských dát pre výskyt pomenovaných entít
|
||||
|
||||
## Postup
|
||||
|
||||
- Definovanie anotačnej schémy
|
||||
- Príprava dátovej množiny vhodnej na anotáciu
|
||||
- Natrénovanie štatistického modelu Spacy
|
||||
- Príprava anotačnej úlohy Prodigy
|
||||
|
||||
## Nástroje
|
||||
|
||||
- Python (príprava dát)
|
||||
- Spacy (štatistický model) [Spacy](https://spacy.io/))
|
||||
- [Prodigy](https://prodi.gy/) (anotácie)
|
||||
|
||||
## Riešitelia
|
||||
|
||||
- Andrej Hopko (BP)
|
||||
- Lukáš Pokrývka (TP)
|
||||
- Jakub Maruniak
|
||||
- [Cesar Gutierez](../named-entity) (stáž leto 2019)
|
||||
|
51
pages/20.zp/README.md
Normal file
51
pages/20.zp/README.md
Normal file
@ -0,0 +1,51 @@
|
||||
---
|
||||
title: Záverečné práce a projekty
|
||||
published: true
|
||||
---
|
||||
|
||||
# Ako písať záverečnú prácu
|
||||
|
||||
- [Ako písať záverečnú prácu](http://akopisatprace.sk/wp-content/uploads/ako_pisat_zav_prace_final_skratene2_6.pdf)
|
||||
- [Odovzdanie a šablóna](https://portal.lib.tuke.sk/etd/)
|
||||
|
||||
Predstavte čitateľovi problém a možné spôsoby riešenia. Z možných spôsobov vyberte jeden a odôvodnite že prečo.
|
||||
V praktickej časti opíšte vykonané experimenty a výsledky uch vyhodnotenia tak aby ich bolo možné opakovať.
|
||||
V závere identifikujte slabé miesta a navrhnite zlepšenia.
|
||||
|
||||
# Využívajte indexy odbornej literatúry
|
||||
|
||||
- https://scholar.google.sk/
|
||||
- https://www.scopus.com/ (prístupné iba zo školy)
|
||||
|
||||
# Používajte softvér na manažment citácií
|
||||
|
||||
Keď prečitate článok, uchovajte si bibliografický záznam pre ľahšie citovanie
|
||||
|
||||
- [Mendeley](https://www.mendeley.com/)
|
||||
- [JabRef](https://www.jabref.org/)
|
||||
|
||||
# Ako citovať
|
||||
|
||||
- https://ippr.sk/c/204-citacie-parafrazy-bibliograficke-odkazy-iso-690
|
||||
- Pri konkrétnych tvrdeniach sa odvolajte na zdroj odbornej literatúry.
|
||||
- Preferujte aktuálne a kvalitné zdroje (nie rôzne blogy, manuály alebo tutoriály).
|
||||
- Citácie by mali byť krátke.
|
||||
- Doslovné citácie zvýraznite oddelené od ostatného textu.
|
||||
- Sú povolené aj kratšie parafrázy.
|
||||
- Počet referencia by mal byť min. 1 na každé dve strany.
|
||||
|
||||
# Používajte správne slovenské termíny
|
||||
|
||||
Ak ste si nie istí prekladom pojmu z angličtiny , pozrite si slovenskú literatúru na danú tému.
|
||||
|
||||
Konzultujte existujúce odborné slovníky napr. z:
|
||||
|
||||
- https://terminologickyportal.sk/
|
||||
|
||||
## Zadanie záverečnej práce
|
||||
|
||||
1. Definujte PROBLÉM
|
||||
2. Vypracujte prehľad možných metód riešenia a vyberte vhodnú METÓDU
|
||||
3. Vyberte metódu OHODNOTENIA, navrhnite a vykonajte EXPERIMENTY.
|
||||
4. Vyhodnoťte experimenty a navrhnite možné zlepšenia
|
||||
|
119
pages/30.tim/README.md
Normal file
119
pages/30.tim/README.md
Normal file
@ -0,0 +1,119 @@
|
||||
---
|
||||
title: Spracovanie prirodzeného jazyka a jazyk Python
|
||||
published: true
|
||||
---
|
||||
|
||||
# Tímový projekt 2019
|
||||
|
||||
Vedúci:
|
||||
|
||||
[Daniel Hládek](../) - odporúčaný čas konzultácie: štvrtok o 9:00
|
||||
|
||||
[Pokyny KEMT](http://kemt.fei.tuke.sk/studium/diplomova-praca/organizacne-pokyny-k-predmetu-timovy-projekt-v-st-programe-pocitacove-siete-2019-2020/)
|
||||
|
||||
Ciele:
|
||||
|
||||
- oboznámiť sa so základmi spracovania prirodzeného jazyka
|
||||
- oboznámiť sa s jazykom Python
|
||||
- špecifikovať zadanie diplomovej práce
|
||||
- naučiť sa pracovať s [odbornou literatúrou](../zp)
|
||||
- oboznámiť kolegov s obsahom vykonanej práce
|
||||
|
||||
Výstupy:
|
||||
|
||||
Rozsah výstupu min. 3 A4 kvalitného textu
|
||||
|
||||
- Vypracovaný tutoriál alebo rešerš vybranej metódy (8. a 13. týždeň)
|
||||
- vypracovaný prehľad literatúry vybranej metódy (min. 10 odkazov)
|
||||
- odovzdanie cez [MOOODLE](https://moodle.tuke.sk/moodle35/course/view.php?id=874) kľúč je TP2019
|
||||
|
||||
|
||||
Odporúčané nástroje:
|
||||
|
||||
- Prostredie [Anaconda](https://www.anaconda.com/distribution/)
|
||||
- Chatbot [RASA](https://rasa.com/)
|
||||
- Knižnica [Spacy](https://spacy.io/)
|
||||
- Anotácie [Prodigy](https://prodi.gy/)
|
||||
- Získavanie informácií [Elasticsearch](https://www.elastic.co/products/elasticsearch)
|
||||
- seq2seq Neurónové siete [Fairseq](https://github.com/pytorch/fairseq)
|
||||
- webové aplikácie a REST [Flask](https://www.fullstackpython.com/flask.html)
|
||||
|
||||
Odporúčané témy:
|
||||
|
||||
- [identifikácia pomenovaných entít](./named-entity) (named entity recognition)
|
||||
- [dialógové systémy](./chatbot) (chatbot)
|
||||
- strojový preklad (machine translation)
|
||||
- oprava preklepov (spelling error correction, diacritics restoration)
|
||||
- získavanie informácií (vyhľadávanie v texte)
|
||||
- identifikácia viacslovných výrazov (chunking)
|
||||
- anotácia textových dát
|
||||
|
||||
Informácie a literatúra:
|
||||
|
||||
- [Spacy Tutoriál](https://nlpforhackers.io/complete-guide-to-spacy/)
|
||||
- [Dive into Python](https://diveintopython3.problemsolving.io/) [(česky)](http://diveintopython3.py.cz/index.html)
|
||||
- [Natural Language Processing in Action](https://www.manning.com/books/natural-language-processing-in-action) [(git)](https://github.com/totalgood/nlpia)
|
||||
- [Python Data Science Handbook](https://github.com/jakevdp/PythonDataScienceHandbook)
|
||||
- [Speech and Language Processing 2rd edition](https://github.com/rain1024/slp2-pdf)
|
||||
- [Speech and Language Processing 3rd edition](https://web.stanford.edu/~jurafsky/slp3/)
|
||||
|
||||
Postup:
|
||||
|
||||
- Nainštaluj si Anacondu
|
||||
- Prečítaj si materiály
|
||||
- Vyber si zaujímavú úlohu a nástroj
|
||||
- Vyskúšaj nástroj
|
||||
- Napíš správu o riešení úlohy
|
||||
|
||||
Tím 2019:
|
||||
|
||||
- Lukáš Pokrývka (flask demo, named entity)
|
||||
- Dominik Nagy (spelling correction, fairseq)
|
||||
- Maroš Harahus (part-of-speech tagging)
|
||||
- Ján Holp (získavanie informácií)
|
||||
- Dárius Lindvai (punctuation restoration, [tutorial](https://medium.com/@praneethbedapudi/deepcorrection2-automatic-punctuation-restoration-ac4a837d92d9), pytorch, LSTM tutorial)
|
||||
- Jakub Maruniak (prodigy, vytvorenie korpusu, [named-entity](../prodigy),
|
||||
|
||||
Dátumy stretnutí:
|
||||
|
||||
- 10.10 - Harahus, Holp
|
||||
- 14.10. - Nagy, Maruniak, Pokrývka (prečítať knihu, vybrať tému)
|
||||
- 17.10 - Harahus, Lindvai (Prečítať knihu, prejsť Spacy tutoriál, nainštalovať Anaconda)
|
||||
- 24.10 - Pracovná cesta
|
||||
- 28.10 o 9:00, Holp, Harahus
|
||||
- 31.10 - Dekanské voľno
|
||||
- 4.11 - Maruniak
|
||||
- 7.11 o 13:40 - Lindvai, Nagy, Pokrývka, Harahus
|
||||
- 14.11 - Lindvai, Harahus, Holp
|
||||
|
||||
Maroš Harahus
|
||||
|
||||
- Vypracovať tutoriál pre prácu s nástrojom Spacy pre úlohu zisťovania gramatických značiek (part-of-speech). Súčasťou tutoriálu by mali byť aj odkazy na relevantné zdroje (odborné članky, min. 4).
|
||||
- Návrh na zadanie: Doplnenie podpory slovenského jazyka do nlp frameworku (spacy alebo flair)
|
||||
|
||||
Dárius Lindvai
|
||||
|
||||
- Rešerš tak na 3 strany - čo najnovšie sa píše na tému "puctuation restoration"
|
||||
- krátky program a tutoriál (program s rozsiahlym komentárom ) v Pythone na využitie LSTM, napr. podobne [ako](https://pytorch.org/tutorials/beginner/nlp/sequence_models_tutorial.html).
|
||||
- [zaujimavy blog](http://jalammar.github.io/illustrated-transformer/)
|
||||
|
||||
Ján Holp
|
||||
|
||||
- Vypracujte min. 4 stranový abstrakt z knihy "Hang Li: Learning to Rank for Information Retrieval and Natural Language Processing"
|
||||
- citujte 10 najvýznamnejších bibliografických zdrojov
|
||||
|
||||
Jakub Maruniak
|
||||
|
||||
- Vypracujte min. 4. stranový rešerš na tému "Crowdsourcing"
|
||||
- citujte min. 10 najvýznamnejších bibliografických zdrojov
|
||||
|
||||
Dominik Nagy:
|
||||
|
||||
- Vypracujte min. 4 stranový rešerš na tému: "Sequence to Sequence" (Encoder-Decoder, seq2seq, transformer, attention)
|
||||
- citujte min. 10 najvýznamnejších bibliografických zdrojov
|
||||
|
||||
Lukáš Pokrývka:
|
||||
|
||||
- min. 4 strany rešerš na tému: "Paralelné spracovanie prirodzeného jazyka" alebo "Paralelné trénovanie sémantických modelov prorodzeného jazyka" (word2vec, word embeddings, GloVe, fastText)
|
||||
- citujte min. 10 najvýznamnejších bibliografických zdrojov
|
||||
|
9
pages/39.bp19/README.md
Normal file
9
pages/39.bp19/README.md
Normal file
@ -0,0 +1,9 @@
|
||||
---
|
||||
title: Bakalárske práce 2018/2019
|
||||
published: true
|
||||
---
|
||||
|
||||
- Vyhľadávač na slovenskom internete: [Ján Holp](http://opac.crzp.sk/?fn=detailBiblioForm&sid=A4CA3C451D400D4BD034603141D1&seo=CRZP-detail-kniha)
|
||||
- Identifikácia hraníc viet a dopĺňanie interpunkčných znamienok: [Dárius Lindvai](http://opac.crzp.sk/?fn=detailBiblioForm&sid=2D0B46080A5AC858AA11B21AE978&seo=CRZP-detail-kniha)
|
||||
- Patrik Pavlišin TBD
|
||||
|
BIN
pages/40.bp20/.default.md.swp
Normal file
BIN
pages/40.bp20/.default.md.swp
Normal file
Binary file not shown.
174
pages/40.bp20/README.md
Normal file
174
pages/40.bp20/README.md
Normal file
@ -0,0 +1,174 @@
|
||||
---
|
||||
title: Bakalársky projekt 2019/2020
|
||||
published: true
|
||||
---
|
||||
|
||||
# Bakalársky projekt 2019/2020
|
||||
|
||||
- Vedúci: Daniel Hládek
|
||||
- odporúčaný čas konzultácie: štvrtok o 9:00
|
||||
- Oblasť výskumu: Spracovanie prirodzeného jazyka
|
||||
|
||||
# Ciele
|
||||
|
||||
- oboznámiť sa so základmi spracovania prirodzeného jazyka
|
||||
- naučiť sa pracovať s [odbornou literatúrou](../zp)
|
||||
|
||||
# Výstupy
|
||||
|
||||
- článok na vybranú tému
|
||||
- praktická aplikácia (demo, krátky program)
|
||||
- [Odovzdanie cez Moodle](https://moodle.tuke.sk/moodle35/course/view.php?id=872&noprocess) heslo je BP2019
|
||||
|
||||
# Témy
|
||||
|
||||
- Anotácia lingvistického korpusu : Andrej Hopko
|
||||
- Identifikácia pomenovaných entít v slovenskom jazyku: Ediz Morochovič (študent na mobilite)
|
||||
- Identifikácia pomenovaných entít v prirodzenom jazyku s pomocou neurónových sietí: Kyryl Kobzar
|
||||
- Rekurentné neurónové siete pre jazykové modelovanie a generovanie prirodzeného jazyka: Stanislav Matsunych
|
||||
- Jednoduchý chatbot v jazyku Python: Dymitro Ushatenko
|
||||
- Automatická oprava preklepov: Peter Maľar
|
||||
|
||||
# Stretnutia
|
||||
|
||||
- 10.10 - Hopko, Matsunych, Kobzar
|
||||
- 17.10 - Hopko, Pavlišin, Matsunych, Kobzar, Ushatenko (Prečítať knihu, prejsť Spacy tutoriál, nainštalovať Anaconda)
|
||||
- 21.10. - Maľar
|
||||
- 24.10 - Pracovná cesta
|
||||
- 28.10 o 9:30 -
|
||||
- 31.10 - Dekanské voľno
|
||||
- 4.11. - Hopko
|
||||
- 7.11 - Maľar, Ushatenko
|
||||
- 14.11 - Odovzdanie draftu reportu
|
||||
|
||||
# Andrej Hopko
|
||||
|
||||
- Práca pomocou "Anaconda Prompt"
|
||||
- Vyskúšať "python -m spacy" podľa tutoriálu na stránke
|
||||
- Oboznámiť sa s https://prodi.gy/ (využíva spacy) a nainštalovať (python wheel)
|
||||
|
||||
28.10
|
||||
|
||||
- Na idoc.fei.tuke.sk nainštalovať [Minoconda](https://repo.anaconda.com/miniconda/)
|
||||
- pozrite si "python virtualenv" a [prostredia conda](https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html)
|
||||
|
||||
Cieľ:
|
||||
|
||||
- Vedieť pripraviť textové dáta na anotáciu pomocou Prodigy (textové dáta sa použijú na učenie systému)
|
||||
- V prvom semestri bude výstup:
|
||||
- Oboznámiť sa "ako písať záverečnú pracu"
|
||||
- nainštalovaný systém prodigy
|
||||
- Vybratá dátová množina pripravená vo vhodnom formáte.
|
||||
- Pripravená anotačná uloha
|
||||
- Report o inštalácii Prodigy a príprave anotačnej úlohy na cca 3 strany použiteľný ako návod pre druhých - vysvetlite na čo sú potrebné anotácie a čo je crowdsourcing
|
||||
- V reporte spomente aspoň 3 odborné články na tému "crowdsourcing"
|
||||
- V druhom semestri - rešerš o príprave trénovacích dát a crowdsourcingu.
|
||||
|
||||
# Stanislav Matsunych
|
||||
|
||||
Pozrieť si
|
||||
|
||||
- https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
|
||||
- https://towardsdatascience.com/character-level-language-model-1439f5dd87fe
|
||||
|
||||
Prejsť si tutoriál http://karpathy.github.io/2015/05/21/rnn-effectiveness/
|
||||
|
||||
Cielom je:
|
||||
|
||||
Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí
|
||||
|
||||
- V prvom semestri bude výstup:
|
||||
- jednoduchý program na vytvorenie LM a generovanie znakov z neho
|
||||
|
||||
- Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán
|
||||
|
||||
V druhom semestri
|
||||
|
||||
- dopracovanie práce
|
||||
|
||||
|
||||
# Kyryl Kobzar
|
||||
|
||||
Cieľom je:
|
||||
|
||||
Vedieť použiť nástroj Spacy na natrénovanie modelu a rozpoznávanie pomenovaných entít v texte v (anglickom) jazyku
|
||||
|
||||
Zdroje dát
|
||||
|
||||
https://lindat.mff.cuni.cz/repository/xmlui/
|
||||
|
||||
https://lindat.mff.cuni.cz/repository/xmlui/discover?field=subject&filtertype=subject&filter_relational_operator=equals&filter=named+entity+recognition
|
||||
|
||||
Výstup do prvého semestra:
|
||||
|
||||
- Tutoriál na cca 3-4 strany ako natrénovať a použiť Spacy na rozpoznávanie pomenovaných entít
|
||||
- Rešerš na tému cca 10 strán : "Rozpoznávanie pomenovaných entít" - "named entity recognition", vystetlíte, čo to je, aké metódy sa používajú, ako sa to vyhodnocuje.
|
||||
|
||||
V druhom semestri:
|
||||
|
||||
- natrénovanie vlastného modelu na vlastných dátach
|
||||
- vyhodnotenie modelu
|
||||
- dokončenie práce
|
||||
|
||||
|
||||
# Dmytro Ushatenko
|
||||
|
||||
Cieľ:
|
||||
|
||||
Vytvorenie jednoduchého chatbota s použitím toolkitu RASA ktorý bude informovať o zvolenej téme,
|
||||
napr. o predmetoch štúdia prvého ročníka programu PS na KEMT:
|
||||
|
||||
Pomôcka pre začínajúcich študentov:
|
||||
|
||||
- Čo mám robiť?
|
||||
- Aké predmety budem študovať?
|
||||
- Ako skončím predmet? (potrebujem zápočet a skúšku)
|
||||
|
||||
|
||||
Úlohy na tento semester:
|
||||
|
||||
- Prejdite si tutoriál https://rasa.com/docs/rasa/user-guide/rasa-tutorial/
|
||||
- Pripravte jednoduchý dialógový systém
|
||||
- Pripravte "návod na použitie", kde zapíšete čo ste spravili v tutoriáli
|
||||
- Vylepšite Vašu rešerš, dajte dôraz na citovanie zdrojov a na jazykovú stránku.
|
||||
|
||||
|
||||
V druom semestri:
|
||||
|
||||
- pripravíte si celé demo
|
||||
- dookončíte prácu
|
||||
|
||||
# Peter Maľar
|
||||
|
||||
|
||||
Cieľ:
|
||||
|
||||
Vytvoriť jednoduchý systém na opravu preklepov na báze neurónových sietí
|
||||
|
||||
Úlohy na tento semester:
|
||||
|
||||
- Naštudovať si článok "Sequence to sequence spelling correction..."
|
||||
- Nainštalovať a vyskúšať [fairseq](https://github.com/pytorch/fairseq)
|
||||
- Prejsť si tutoriál na strojový preklad https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md
|
||||
- Vytvorte (prejdite krátky tutoriál - zapisujte čo ste urobili)
|
||||
- Skúsiť zopakovať experimenty s použitím systému
|
||||
- Vytvorte rešerš na tému "sequence to sequence systémy", "encoder-decoder" neurónové siete (5 strán, min. 5 odborných článkov)
|
||||
|
||||
# Ediz Morochovič
|
||||
|
||||
Zadanie BP:
|
||||
|
||||
1. Vypracujte prehľad štatistických metód identifikácie pomenovaných entít v texte.
|
||||
2. Podrobne opíšte zvolenú metódu identifikácie pomenovaných entít v texte
|
||||
3. Zvoľte si vhodnú metodiku vyhodnotenia a na vhodnej testovacej množine navrhnite a vykonajte sadu experimentov.
|
||||
4. Na základe výsledkov experimentov navrhnite možné zlepšenia.
|
||||
|
||||
Úlohy:
|
||||
|
||||
- Nainštalujte si prostredie Anaconda https://www.anaconda.com/
|
||||
- Oboznámiť sa so zvoleným štatistickým systémom pre rozpoznávanie pomenovaných entít (https://www.nltk.org/), https://www.nltk.org/install.html, https://stanfordnlp.github.io/CoreNLP/, https://www.nltk.org/book/
|
||||
- Zistite použitú štatistickú metódu a podrobne ju opíšte
|
||||
- Vypracujte prehľad používaných štatistických metód (maximum entropy, conditional random fields, hidden markov models), min. 5 strán s min. 10 odkazmi na odborné články
|
||||
- Navrhnite experimenty a vykonajte ich s rôznymi parametrami systému
|
||||
|
||||
|
@ -1,2 +0,0 @@
|
||||
# Záverečné práce
|
||||
|
@ -1 +0,0 @@
|
||||
zzz
|
Loading…
Reference in New Issue
Block a user