diff --git a/pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md b/pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md index e7e8923e..84525a24 100644 --- a/pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md +++ b/pages/students/2016/dominik_nagy/timovy_projekt/REAMDE.md @@ -85,7 +85,7 @@ Silnou stránkou Multi-Head Attentionu je schopnosť spoločne sa venovať infor reprezentačných podpriestorov na rôznych pozíciách.[10] [9] -### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ)𝑊O +### 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄,𝐾, 𝑉) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑)𝑊O ### 𝑤ℎ𝑒𝑟𝑒 ℎ𝑒𝑎𝑑𝑖 = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊𝑖𝑄,𝐾𝑊𝑖K,𝑉𝑊𝑖V)