Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'

oprava
This commit is contained in:
Dominik Nagy 2020-01-28 21:21:25 +00:00
parent 0b0331d5f7
commit 2dbb6249c9

View File

@ -85,7 +85,7 @@ Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať infor
reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(𝑒𝑎𝑑1, … , 𝑒𝑎𝑑)𝑊<sup>O</sup>
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(𝑒𝑎𝑑<sub>1</sub>, … , 𝑒𝑎𝑑<sub></sub>)𝑊<sup>O</sup>
### 𝑤𝑒𝑟𝑒 𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)