KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

Update 'pages/topics/bert/README.md'

Browse Source
This commit is contained in:
dano 2021-10-15 13:37:18 +00:00
parent ea8087dcc4
commit 6d0186d562
1 changed files with 2 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
pages/topics/bert/README.md
View File

@ -49,6 +49,8 @@ author: Daniel Hládek
- V SLovak Bert bola veľkosť vstupného vektora 512. Máme toľko pamäte?
- learning rate by malo byť priamo úmerné s batch_size. Malý batch size by mal mať malý learning rate.
- electra prepare skript defaultne odstraňuje diakritiku a dáva malé písmená.
- ELECTRA ingoruje pokyn na ponechanie diakritiky!!!! Ponechanie diakritiky funguje iba pre "prepare", inak sa diakritika stále odstraňuje. Ne ponechanie diakritiky sú potrebné úpravy v zdrojových kódoch.
## Budúci výskum