From e79bbd3b03cdd81cc9b5778f519f6a237457e7e8 Mon Sep 17 00:00:00 2001 From: dano Date: Fri, 15 Oct 2021 13:40:54 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 634f3415..82db4568 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -50,6 +50,7 @@ author: Daniel Hládek - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. - electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. - ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch. +- TODO: Vytvorenie slovníka ako pri BERT https://github.com/google-research/electra/issues/58 ## Budúci výskum