From 6a84fe0b2f386e2f4f8cb8ad69f38f1fe06ed07d Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 12 Oct 2021 15:09:09 +0200 Subject: [PATCH] zz --- pages/topics/bert/README.md | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index a1f0a1730..2e6e8a434 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -40,8 +40,11 @@ author: Daniel Hládek - Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní. Pri electre bolo max. 256 tokenov na odsek. - Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje. - Trénovanie base electra trvá cca 40 dní na jednej karte. -- Trénovanie electra small trvá asi 3 dni, ale model už ďalej nekonverguje po jednom dni. +- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni. +- Trénovanie electra small trvá asi 7 dní na jednej karte GTX1080 - Dotrénovanie trvá iba niekoľko hodín. +- Electric small 128 nefunguje na Quadre kvôli pamäti, +- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. ## Budúci výskum