forked from KEMT/zpwiki
Update 'pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md'
oprava
This commit is contained in:
parent
0b0331d5f7
commit
2dbb6249c9
@ -85,7 +85,7 @@ Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať infor
|
||||
reprezentačných podpriestorov na rôznych pozíciách.[10] [9]
|
||||
|
||||
|
||||
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ)𝑊<sup>O</sup>
|
||||
### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑<sub>1</sub>, … , ℎ𝑒𝑎𝑑<sub>ℎ</sub>)𝑊<sup>O</sup>
|
||||
|
||||
### 𝑤ℎ𝑒𝑟𝑒 ℎ𝑒𝑎𝑑<sub>𝑖</sub> = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊<sub>𝑖</sub><sup>𝑄</sup>,𝐾𝑊<sub>𝑖</sub><sup>K</sup>,𝑉𝑊<sub>𝑖</sub><sup>V</sup>)
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user