diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 634f3415..82db4568 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -50,6 +50,7 @@ author: Daniel Hládek - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. - electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. - ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch. +- TODO: Vytvorenie slovníka ako pri BERT https://github.com/google-research/electra/issues/58 ## Budúci výskum