Update 'pages/topics/bert/README.md'
This commit is contained in:
parent
0f23f2e051
commit
90565214c3
@ -60,6 +60,7 @@ Spolu 25 GB po deduplikovaní.
|
||||
- natrénovaný roberta base na 17GB korpuse, 0.65 na Squad
|
||||
- trénovanie pomocou deepspeed (zrýchľuje cca 2x).
|
||||
- pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999).
|
||||
- Tokenizátor BPE treba trénovať na celkom korpuse.
|
||||
|
||||
## Budúce úlohy
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user