Update 'pages/topics/bert/README.md'

This commit is contained in:
dano 2021-10-13 06:38:29 +00:00
parent 1ef18587e3
commit fdfa9ffa2a

View File

@ -48,6 +48,7 @@ author: Daniel Hládek
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená.
## Budúci výskum