From fdfa9ffa2ae80af5094fe5d967a66855f888b817 Mon Sep 17 00:00:00 2001 From: dano Date: Wed, 13 Oct 2021 06:38:29 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 2e998e86..d9dbde41 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -48,6 +48,7 @@ author: Daniel Hládek - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. +- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. ## Budúci výskum