forked from KEMT/zpwiki
Update 'pages/topics/bert/README.md'
This commit is contained in:
parent
0f23f2e051
commit
90565214c3
@ -60,6 +60,7 @@ Spolu 25 GB po deduplikovaní.
|
|||||||
- natrénovaný roberta base na 17GB korpuse, 0.65 na Squad
|
- natrénovaný roberta base na 17GB korpuse, 0.65 na Squad
|
||||||
- trénovanie pomocou deepspeed (zrýchľuje cca 2x).
|
- trénovanie pomocou deepspeed (zrýchľuje cca 2x).
|
||||||
- pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999).
|
- pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999).
|
||||||
|
- Tokenizátor BPE treba trénovať na celkom korpuse.
|
||||||
|
|
||||||
## Budúce úlohy
|
## Budúce úlohy
|
||||||
|
|
||||||
|
Loading…
Reference in New Issue
Block a user