From 90565214c390b1c3a82128da28a9729af6a85ee9 Mon Sep 17 00:00:00 2001 From: dano Date: Wed, 19 Jan 2022 13:38:58 +0000 Subject: [PATCH] Update 'pages/topics/bert/README.md' --- pages/topics/bert/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/pages/topics/bert/README.md b/pages/topics/bert/README.md index c04ebe244b..8ad46ae0ba 100644 --- a/pages/topics/bert/README.md +++ b/pages/topics/bert/README.md @@ -60,6 +60,7 @@ Spolu 25 GB po deduplikovaní. - natrénovaný roberta base na 17GB korpuse, 0.65 na Squad - trénovanie pomocou deepspeed (zrýchľuje cca 2x). - pri efektívnej veľkosti dávky 1000 je asi najrýchlejčia konvrergencia pri lr 1e-4. , adam (0.9-0.999). +- Tokenizátor BPE treba trénovať na celkom korpuse. ## Budúce úlohy