diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 2e998e86..d9dbde41 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -48,6 +48,7 @@ author: Daniel Hládek - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? - learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. +- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená. ## Budúci výskum