forked from KEMT/zpwiki
Update 'pages/topics/bert/README.md'
This commit is contained in:
parent
1ef18587e3
commit
fdfa9ffa2a
@ -48,6 +48,7 @@ author: Daniel Hládek
|
||||
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
|
||||
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
|
||||
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
|
||||
- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená.
|
||||
|
||||
## Budúci výskum
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user