forked from KEMT/zpwiki
Update 'pages/topics/bert/README.md'
This commit is contained in:
parent
13faa91944
commit
98b34a632c
@ -6,11 +6,7 @@ author: Daniel Hládek
|
||||
|
||||
! Cieľ:
|
||||
!
|
||||
! - Natrénovať a slovenský jazykový model typu BERT z korpusu webových textov
|
||||
! - Vyhodnotiť jazykový model dotrénovaním na úlohách:
|
||||
! - SK-QUAD 2.0
|
||||
! - POS z Slovak Treebank
|
||||
! - kategórie zo Slovak Categorized news Corpus
|
||||
! - Natrénovať a vyhodnotiť slovenský jazykový model typu BERT z korpusu webových textov
|
||||
|
||||
## Súvisiace projekty
|
||||
|
||||
@ -20,12 +16,10 @@ author: Daniel Hládek
|
||||
- https://git.kemt.fei.tuke.sk/dano/bert-train
|
||||
|
||||
|
||||
|
||||
|
||||
## Hotové úlohy
|
||||
|
||||
- Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie.
|
||||
- Natrénovaný model Electra-small 128, slovník SNK Morpho 1M slov., 30 tisíc BPE tokenov. Squad Vyhodnotenie 0.17
|
||||
- Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece,
|
||||
|
||||
## Rozpracované úlohy
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user