diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 336f3bfb..9586edbc 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -36,15 +36,16 @@ author: Daniel Hládek ## Poznámky -- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu "small model" asi nestačí na QA. -- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek. +- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu 128 "small model" asi nestačí na QA. +- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. - Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje. - Trénovanie base electra trvá cca 40 dní na jednej karte. - Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni. - Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080 - Dotrénovanie trvá iba niekoľko hodín. - Electric small 128 nefunguje na Quadre kvôli pamäti, -- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. +- Electra small 512/32 batch funguje na Titane. +- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? ## Budúci výskum @@ -57,3 +58,4 @@ author: Daniel Hládek - Zostaviť multilinguálny BERT model. - Natrénovať BART model. - Natrénovať model založený na znakoch. +- Adaptovať SlovakBERT na SQUAD. To znamená dorobiť úlohu SQUAD do fairseq.