diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index d9dbde41a8..634f34151b 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -49,6 +49,8 @@ author: Daniel Hládek - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. - electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. +- ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch. + ## Budúci výskum