From 6d0186d5627c8fc95f8427d6287dd0fd6900e775 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 15 Oct 2021 13:37:18 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index d9dbde41a8..634f34151b 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -49,6 +49,8 @@ author: Daniel Hládek - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. - electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. +- ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch. + ## Budúci výskum