Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'

Dokonceny resers v markdown

pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md

@@ -19,7 +19,7 @@ vypočíta postupnosť výstupov (y 1 ,...,yT) iteráciu nasledujúcich rovníc:
 ### ℎ<sub>𝑡</sub> = 𝑠𝑖𝑔𝑚(𝑊<sup>ℎ𝑥</sup>𝑥<sub>𝑡</sub> + 𝑊<sup>ℎℎ</sup>ℎ<sub>𝑡−1</sub>)
 
 
-### 푦푡= 푊푦ℎℎ푡
+### 𝑦<sub>𝑡</sub> = 𝑊<sup>𝑦ℎ</sup>ℎ<sub>t</sub>
 
 RNN môže ľahko mapovať sekvencie na sekvencie vždy, keď je zarovnanie medzi vstupmi výstupmi
 známe vopred. Nie je však jasné, ako aplikovať RNN na problémy, ktorých vstupné a výstupné sekvencie
@@ -51,6 +51,7 @@ ktorú potrebuje model tradičného strojového prekladu. [6][7]
 
 
  ![Encoder-decoder](encoder_decoder.png)
+ 
 1 Ilustrácia RNN Encoder-Decoder [5]
 
 # Transformer a Attention
@@ -76,25 +77,17 @@ zodpovedajúcim kľúčom.[9]
 Vstup pozostáva z dopytov a kľúčov rozmeru _dk_ a hodnôt rozmerov _dv._ Vypočítajú sa „dot products“
 všetkých dopytov s kľúčmi, vydelia sa s _√dk_ a použije sa funkcia „softmax” na získane váhy hodnôt. [9]
 
-### 퐴푡푡푒푛푡푖표푛(푄,퐾,푉)=푠표푓푡푚푎푥(
-
-### 푄퐾푇
-
-### √푑푘
-
-### )푉
+![Attention](attention.png)
 
 ## Multi-Head Attention
 
 Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať informáciám z rôznych
 reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
 
-```
-푀푢푙푡푖퐻푒푎푑(푄,퐾,푉)=퐶표푛푐푎푡(ℎ푒푎푑 1 ,...,ℎ푒푎푑ℎ)푊푂
-```
-```
-푤ℎ푒푟푒 ℎ푒푎푑푖=퐴푡푡푒푛푡푖표푛(푄푊푖푄,퐾푊푖퐾,푉푊푖푉)
-```
+
+### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ)𝑊<sup>O</sup>
+
+### 𝑤ℎ𝑒𝑟𝑒 ℎ𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)
 
 # Zoznam použitej literatúry