Update 'pages/topics/bert/README.md'

2021-10-13 06:03:10 +00:00 · 2021-10-13 06:03:10 +00:00 · 1ef18587e3
commit 1ef18587e3
parent 3e3603a0cf
1 changed files with 1 additions and 0 deletions
--- a/pages/topics/bert/README.md
+++ b/pages/topics/bert/README.md
@ -47,6 +47,7 @@ author: Daniel Hládek
 - Electra small 512/32 batch funguje na Titane.
 - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
 - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
+- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.

 ## Budúci výskum