do867bc/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Projects Releases Wiki Activity

zz

Browse Source
This commit is contained in:
Daniel Hládek 2021-11-09 14:46:47 +01:00
parent c64f78be4a
commit 77296a745c
1 changed files with 23 additions and 8 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

31
pages/topics/bert/README.md
View File

@ -13,25 +13,41 @@ author: Daniel Hládek
- [SlovakBERT](https://github.com/gerulata/slovakbert) od Kinit, a [článok](https://arxiv.org/abs/2109.15254) - [SlovakBERT](https://github.com/gerulata/slovakbert) od Kinit, a [článok](https://arxiv.org/abs/2109.15254)
- [SK Quad](/topics/question) - Slovak Question Answering Dataset - [SK Quad](/topics/question) - Slovak Question Answering Dataset
- bakalárska práca [Ondrej Megela](/students/2018/ondrej_megela) - bakalárska práca [Ondrej Megela](/students/2018/ondrej_megela)
- diplomová práza Jozef Olekšák (inprogress, trénovanie electra na colab).
- https://git.kemt.fei.tuke.sk/dano/bert-train - https://git.kemt.fei.tuke.sk/dano/bert-train
## Hotové úlohy ## Hotové úlohy
- Vyhodnotenie na SK SQUAD, UDP POS tagging ### Electra Model
- Trénovacie skripty
- Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript. Nefunguje exaktné vyhodnotenie. - Vyhodnotenie Electra na SK SQUAD, UDP POS tagging
- Trénovacie skripty Electra
- Konvertovanie Electra do Transformers pomocou ransformers/src/transformers/models/electra/convert_electra_original_tf_checkpoint_to_pytorch.py
- Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece, 0.83 POS, 0.51 Squad - Natrénovaný model Electra-small 128, 256 batch size, learning 2e-4, skweb2017dedup, Slovník 32K wordpiece, 0.83 POS, 0.51 Squad
### Hugging Face Models Finetuning
- Dotrénovaný model multilingual BERT base na SK QUAD, funguje demo skript.
- Dotrénovany Slovak Bert na SK QUAD
- Dotrénovaný model multilingual BERT na SQUAD anglickej, overné na slovenskej SK QUAD
- SK Quad Datasets Interface
### Hugging Face Roberta
- Natrénovaný HF Roberta Small
- Deduplikovaný webový korpus oscar plus skweb2017
- tokenizer BPE Roberta
## Budúce úlohy ## Budúce úlohy
- Konvertovať do Transformers pomocou ransformers/src/transformers/models/electra/convert_electra_original_tf_checkpoint_to_pytorch.py
- Pridať OSCAR a Wikipedia do trénovania.
- Trénovanie na TPU Google Colab - Trénovanie na TPU Google Colab
- Natrénovať Electra Base. - Natrénovať Electra Base.
- Dokončiť SK SQUAD databázu pre exaktné vyhodnotenie.
- Pripraviť aj iné množiny na vyhodnotnie: kategorizácia textu na SCNC1. - Pripraviť aj iné množiny na vyhodnotnie: kategorizácia textu na SCNC1.
- Trénovanie Roberta Base
- trénovanie XLNet Base
- Tokenizer SentencePiece pre XLNet
- Pridať Wikipedia do trénovania.
## Poznámky ## Poznámky
@ -61,7 +77,6 @@ author: Daniel Hládek
- Zostaviť multilinguálny BERT model. - Zostaviť multilinguálny BERT model.
- Natrénovať BART model. - Natrénovať BART model.
- Natrénovať model založený na znakoch. - Natrénovať model založený na znakoch.
- Adaptovať SlovakBERT na SQUAD. To znamená dorobiť úlohu SQUAD do fairseq.
## Hardvérové požiadavky ## Hardvérové požiadavky