forked from KEMT/zpwiki
Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'
Dokonceny resers v markdown
This commit is contained in:
parent
f8b3230ec5
commit
b99413752c
@ -19,7 +19,7 @@ vypočíta postupnosť výstupov (y 1 ,...,yT) iteráciu nasledujúcich rovníc:
|
||||
### ℎ<sub>𝑡</sub> = 𝑠𝑖𝑔𝑚(𝑊<sup>ℎ𝑥</sup>𝑥<sub>𝑡</sub> + 𝑊<sup>ℎℎ</sup>ℎ<sub>𝑡−1</sub>)
|
||||
|
||||
|
||||
### 푦푡= 푊푦ℎℎ푡
|
||||
### 𝑦<sub>𝑡</sub> = 𝑊<sup>𝑦ℎ</sup>ℎ<sub>t</sub>
|
||||
|
||||
RNN môže ľahko mapovať sekvencie na sekvencie vždy, keď je zarovnanie medzi vstupmi výstupmi
|
||||
známe vopred. Nie je však jasné, ako aplikovať RNN na problémy, ktorých vstupné a výstupné sekvencie
|
||||
@ -51,6 +51,7 @@ ktorú potrebuje model tradičného strojového prekladu. [6][7]
|
||||
|
||||
|
||||
![Encoder-decoder](encoder_decoder.png)
|
||||
|
||||
1 Ilustrácia RNN Encoder-Decoder [5]
|
||||
|
||||
# Transformer a Attention
|
||||
@ -76,25 +77,17 @@ zodpovedajúcim kľúčom.[9]
|
||||
Vstup pozostáva z dopytov a kľúčov rozmeru _dk_ a hodnôt rozmerov _dv._ Vypočítajú sa „dot products“
|
||||
všetkých dopytov s kľúčmi, vydelia sa s _√dk_ a použije sa funkcia „softmax” na získane váhy hodnôt. [9]
|
||||
|
||||
### 퐴푡푡푒푛푡푖표푛(푄,퐾,푉)=푠표푓푡푚푎푥(
|
||||
|
||||
### 푄퐾푇
|
||||
|
||||
### √푑푘
|
||||
|
||||
### )푉
|
||||
![Attention](attention.png)
|
||||
|
||||
## Multi-Head Attention
|
||||
|
||||
Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať informáciám z rôznych
|
||||
reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
|
||||
|
||||
```
|
||||
푀푢푙푡푖퐻푒푎푑(푄,퐾,푉)=퐶표푛푐푎푡(ℎ푒푎푑 1 ,...,ℎ푒푎푑ℎ)푊푂
|
||||
```
|
||||
```
|
||||
푤ℎ푒푟푒 ℎ푒푎푑푖=퐴푡푡푒푛푡푖표푛(푄푊푖푄,퐾푊푖퐾,푉푊푖푉)
|
||||
```
|
||||
|
||||
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ)𝑊<sup>O</sup>
|
||||
|
||||
### 𝑤ℎ𝑒𝑟𝑒 ℎ𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)
|
||||
|
||||
# Zoznam použitej literatúry
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user