KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/topics/bert/README.md'

Browse Source
This commit is contained in:
dano 2021-10-13 06:03:10 +00:00
parent 3e3603a0cf
commit 1ef18587e3
1 changed files with 1 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
pages/topics/bert/README.md
View File

@ -47,6 +47,7 @@ author: Daniel Hládek
- Electra small 512/32 batch funguje na Titane. - Electra small 512/32 batch funguje na Titane.
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky. - Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte? - V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
## Budúci výskum ## Budúci výskum