KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'

Browse Source 
Dokonceny resers v markdown
This commit is contained in:
Dominik Nagy 2020-01-28 21:19:32 +00:00
parent f8b3230ec5
commit b99413752c
1 changed files with 7 additions and 14 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

21
pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md
View File

@ -19,7 +19,7 @@ vypočíta postupnosť výstupov (y 1 ,...,yT) iteráciu nasledujúcich rovníc:
### ℎ<sub>𝑡</sub> = 𝑠𝑖𝑔𝑚(𝑊<sup>ℎ𝑥</sup>𝑥<sub>𝑡</sub> + 𝑊<sup>ℎℎ</sup>ℎ<sub>𝑡−1</sub>) ### ℎ<sub>𝑡</sub> = 𝑠𝑖𝑔𝑚(𝑊<sup>ℎ𝑥</sup>𝑥<sub>𝑡</sub> + 𝑊<sup>ℎℎ</sup>ℎ<sub>𝑡−1</sub>)
### 푦푡= 푊푦ℎℎ푡 ### 𝑦<sub>𝑡</sub> = 𝑊<sup>𝑦ℎ</sup>ℎ<sub>t</sub>
RNN môže ľahko mapovať sekvencie na sekvencie vždy, keď je zarovnanie medzi vstupmi výstupmi RNN môže ľahko mapovať sekvencie na sekvencie vždy, keď je zarovnanie medzi vstupmi výstupmi
známe vopred. Nie je však jasné, ako aplikovať RNN na problémy, ktorých vstupné a výstupné sekvencie známe vopred. Nie je však jasné, ako aplikovať RNN na problémy, ktorých vstupné a výstupné sekvencie
@ -51,6 +51,7 @@ ktorú potrebuje model tradičného strojového prekladu. [6][7]
![Encoder-decoder](encoder_decoder.png) ![Encoder-decoder](encoder_decoder.png)
1 Ilustrácia RNN Encoder-Decoder [5] 1 Ilustrácia RNN Encoder-Decoder [5]
# Transformer a Attention # Transformer a Attention
@ -76,25 +77,17 @@ zodpovedajúcim kľúčom.[9]
Vstup pozostáva z dopytov a kľúčov rozmeru _dk_ a hodnôt rozmerov _dv._ Vypočítajú sa „dot products“ Vstup pozostáva z dopytov a kľúčov rozmeru _dk_ a hodnôt rozmerov _dv._ Vypočítajú sa „dot products“
všetkých dopytov s kľúčmi, vydelia sa s _√dk_ a použije sa funkcia „softmax” na získane váhy hodnôt. [9] všetkých dopytov s kľúčmi, vydelia sa s _√dk_ a použije sa funkcia „softmax” na získane váhy hodnôt. [9]
### 퐴푡푡푒푛푡푖표푛(푄,퐾,푉)=푠표푓푡푚푎푥( ![Attention](attention.png)
### 푄퐾푇
### √푑푘
### )푉
## Multi-Head Attention ## Multi-Head Attention
Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať informáciám z rôznych Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať informáciám z rôznych
reprezentačných podpriestorov na rôznych pozíciách.[10] [9] reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
```
푀푢푙푡푖퐻푒푎푑(푄,퐾,푉)=퐶표푛푐푎푡(ℎ푒푎푑 1 ,...,ℎ푒푎푑ℎ)푊푂 ### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ)𝑊<sup>O</sup>
```
``` ### 𝑤ℎ𝑒𝑟𝑒 ℎ𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)
푤ℎ푒푟푒 ℎ푒푎푑푖=퐴푡푡푒푛푡푖표푛(푄푊푖푄,퐾푊푖퐾,푉푊푖푉)
```
# Zoznam použitej literatúry # Zoznam použitej literatúry