diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 9586edbc6..2e998e865 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -47,6 +47,7 @@ author: Daniel Hládek - Electra small 512/32 batch funguje na Titane. - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? +- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. ## Budúci výskum