From 1ef18587e325cf7dec82f3552c32835d1a802bb1 Mon Sep 17 00:00:00 2001 From: dano Date: Wed, 13 Oct 2021 06:03:10 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 9586edbc6..2e998e865 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -47,6 +47,7 @@ author: Daniel Hládek - Electra small 512/32 batch funguje na Titane. - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? +- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate. ## Budúci výskum