forked from KEMT/zpwiki
Update 'pages/topics/bert/README.md'
This commit is contained in:
parent
0f405f933b
commit
5229e6b576
@ -69,13 +69,15 @@ Spolu 25 GB po deduplikovaní.
|
|||||||
- trénovanie Large modelu
|
- trénovanie Large modelu
|
||||||
- trénovanie BART
|
- trénovanie BART
|
||||||
|
|
||||||
## Poznámky
|
## Poznámky Roberta
|
||||||
|
|
||||||
- Trénovanie roberta base s deepspeed 5 epoch, 25G korpus trvá 400 hod. BEz deepsdpeed 900 hod. na dvoch kartách.
|
- Trénovanie roberta base s deepspeed 5 epoch, 25G korpus trvá 400 hod. BEz deepsdpeed 900 hod. na dvoch kartách.
|
||||||
- Veľkosť dávky roberta base na jedno zariadenie Titan24GB je 64 pre deepspeed.
|
- Veľkosť dávky roberta base na jedno zariadenie Titan24GB je 64 pre deepspeed.
|
||||||
- Dáta z prokuratúry asi zhoršujú model kvôli anonymizácii, skratkám a právnickému jazyku.
|
- Dáta z prokuratúry asi zhoršujú model kvôli anonymizácii, skratkám a právnickému jazyku.
|
||||||
- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu 128 "small model" asi nestačí na QA.
|
- Konfigurácia deepspeed po čase nastavila lr na nula a trénovanie sa zastavilo.
|
||||||
- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní.
|
|
||||||
|
## Poznámky Electra
|
||||||
|
|
||||||
- Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje.
|
- Electra vie využiť iba jednu Titan kartu, druhú zbytočne blokuje.
|
||||||
- Trénovanie base electra trvá cca 40 dní na jednej karte.
|
- Trénovanie base electra trvá cca 40 dní na jednej karte.
|
||||||
- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni.
|
- Trénovanie electra small trvá asi 3 dni na jednej karte Titan RTX, ale model už ďalej nekonverguje po jednom dni.
|
||||||
@ -83,12 +85,18 @@ Spolu 25 GB po deduplikovaní.
|
|||||||
- Dotrénovanie trvá iba niekoľko hodín.
|
- Dotrénovanie trvá iba niekoľko hodín.
|
||||||
- Electric small 128 nefunguje na Quadre kvôli pamäti,
|
- Electric small 128 nefunguje na Quadre kvôli pamäti,
|
||||||
- Electra small 512/32 batch funguje na Titane.
|
- Electra small 512/32 batch funguje na Titane.
|
||||||
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
|
|
||||||
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
|
|
||||||
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
|
|
||||||
- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená.
|
|
||||||
- ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch.
|
- ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch.
|
||||||
- TODO: Vytvorenie slovníka ako pri BERT https://github.com/google-research/electra/issues/58
|
- TODO: Vytvorenie slovníka ako pri BERT https://github.com/google-research/electra/issues/58
|
||||||
|
- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená.
|
||||||
|
|
||||||
|
|
||||||
|
## Poznámky ku hyperparametrom
|
||||||
|
|
||||||
|
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
|
||||||
|
- Spotrebu pamäte ovplyvňujú veľkosť vstupného vektora, veľkosť trénovacej dávky.
|
||||||
|
- Nie každý model je vhodný na QA. Je potrebné aby mal veľký rozmer vstupného vektora aby aj dlhší odsek mohol byť na vstupe. Z toho dôvodu 128 "small model" asi nestačí na QA.
|
||||||
|
- Väčší vstupný rozmer je obmedzený veľkosťou RAM pri trénovaní.
|
||||||
|
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
|
||||||
|
|
||||||
## Budúci výskum
|
## Budúci výskum
|
||||||
|
|
||||||
|
Loading…
Reference in New Issue
Block a user