From 68293b2f36c1551a89d23e096f95b8cf14dbc73d Mon Sep 17 00:00:00 2001 From: Daniel Hladek Date: Tue, 16 Nov 2021 14:44:39 +0100 Subject: [PATCH] zz --- pages/topics/bert/README.md | 12 +++++++----- 1 file changed, 7 insertions(+), 5 deletions(-) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index 88086809..ca5062da 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -16,6 +16,12 @@ author: Daniel Hládek - diplomová práza Jozef Olekšák (inprogress, trénovanie electra na colab). - https://git.kemt.fei.tuke.sk/dano/bert-train +## Rozpracované úlohy + +- Trénovanie na TPU Google Colab Electra Base. (Olekšák) +- trénovanie XLNet Base +- Tokenizer SentencePiece pre XLNet + ## Hotové úlohy @@ -38,15 +44,11 @@ author: Daniel Hládek - Natrénovaný HF Roberta Small - Deduplikovaný webový korpus oscar plus skweb2017 - tokenizer BPE Roberta +- Trénovanie Roberta Base ## Budúce úlohy -- Trénovanie na TPU Google Colab -- Natrénovať Electra Base. - Pripraviť aj iné množiny na vyhodnotnie: kategorizácia textu na SCNC1. -- Trénovanie Roberta Base -- trénovanie XLNet Base -- Tokenizer SentencePiece pre XLNet - Pridať Wikipedia do trénovania. ## Poznámky