KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

zz

Browse Source
This commit is contained in:
Daniel Hládek 2021-10-12 15:09:09 +02:00
parent 5a3ac61cfe
commit 6a84fe0b2f
1 changed files with 4 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

5
pages/topics/bert/README.md
View File

@ -40,8 +40,11 @@ author: Daniel Hládek
- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek.
- Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje.
- Trénovanie base electra trvá cca 40 dní na jednej karte.
- Trénovanie electra small trvá asi 3 dni, ale model už ďalej nekonverguje po jednom dni.
- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni.
- Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080
- Dotrénovanie trvá iba niekoľko hodín.
- Electric small 128 nefunguje na Quadre kvôli pamäti,
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
## Budúci výskum