KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/topics/bert/README.md'

Browse Source
This commit is contained in:
dano 2022-01-19 13:38:58 +00:00
parent 0f23f2e051
commit 90565214c3
1 changed files with 1 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
pages/topics/bert/README.md
View File

@ -60,6 +60,7 @@ Spolu 25 GB po deduplikovaní.
- natrénovaný roberta base na 17GB korpuse, 0.65 na Squad - natrénovaný roberta base na 17GB korpuse, 0.65 na Squad
- trénovanie pomocou deepspeed (zrýchľuje cca 2x). - trénovanie pomocou deepspeed (zrýchľuje cca 2x).
- pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999). - pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999).
- Tokenizátor BPE treba trénovať na celkom korpuse.
## Budúce úlohy ## Budúce úlohy