Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'

Dokonceny resers v markdown
This commit is contained in:
Dominik Nagy 2020-01-28 21:19:32 +00:00
parent f8b3230ec5
commit b99413752c

View File

@ -19,7 +19,7 @@ vypočíta postupnosť výstupov (y 1 ,...,yT) iteráciu nasledujúcich rovníc:
### <sub>𝑡</sub> = 𝑠𝑖𝑔𝑚(𝑊<sup>𝑥</sup>𝑥<sub>𝑡</sub> + 𝑊<sup></sup><sub>𝑡1</sub>)
### 푦푡= 푊푦ℎℎ푡
### 𝑦<sub>𝑡</sub> = 𝑊<sup>𝑦</sup><sub>t</sub>
RNN môže ľahko mapovať sekvencie na sekvencie vždy, keď je zarovnanie medzi vstupmi výstupmi
známe vopred. Nie je však jasné, ako aplikovať RNN na problémy, ktorých vstupné a výstupné sekvencie
@ -51,6 +51,7 @@ ktorú potrebuje model tradičného strojového prekladu. [6][7]
![Encoder-decoder](encoder_decoder.png)
1 Ilustrácia RNN Encoder-Decoder [5]
# Transformer a Attention
@ -76,25 +77,17 @@ zodpovedajúcim kľúčom.[9]
Vstup pozostáva z dopytov a kľúčov rozmeru _dk_ a hodnôt rozmerov _dv._ Vypočítajú sa „dot products“
všetkých dopytov s kľúčmi, vydelia sa s _√dk_ a použije sa funkcia „softmax” na získane váhy hodnôt. [9]
### 퐴푡푡푒푛푡푖표푛(푄,퐾,푉)=푠표푓푡푚푎푥(
### 푄퐾푇
### √푑푘
### )푉
![Attention](attention.png)
## Multi-Head Attention
Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať informáciám z rôznych
reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
```
푀푢푙푡푖퐻푒푎푑(푄,퐾,푉)=퐶표푛푐푎푡(ℎ푒푎푑 1 ,...,ℎ푒푎푑ℎ)푊푂
```
```
푤ℎ푒푟푒 ℎ푒푎푑푖=퐴푡푡푒푛푡푖표푛(푄푊푖푄,퐾푊푖퐾,푉푊푖푉)
```
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(𝑒𝑎𝑑1, … , 𝑒𝑎𝑑)𝑊<sup>O</sup>
### 𝑤𝑒𝑟𝑒 𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)
# Zoznam použitej literatúry