diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index a1f0a1730..2e6e8a434 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -40,8 +40,11 @@ author: Daniel Hládek - Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek. - Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje. - Trénovanie base electra trvá cca 40 dní na jednej karte. -- Trénovanie electra small trvá asi 3 dni, ale model už ďalej nekonverguje po jednom dni. +- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni. +- Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080 - Dotrénovanie trvá iba niekoľko hodín. +- Electric small 128 nefunguje na Quadre kvôli pamäti, +- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. ## Budúci výskum