From aa27cc6b2aabbe574c6d5da76d56a5d517d574a1 Mon Sep 17 00:00:00 2001 From: dano Date: Wed, 17 Jun 2020 08:44:04 +0000 Subject: [PATCH] Update 'pages/students/2016/lukas_pokryvka/README.md' --- pages/students/2016/lukas_pokryvka/README.md | 14 ++++++++++++++ 1 file changed, 14 insertions(+) diff --git a/pages/students/2016/lukas_pokryvka/README.md b/pages/students/2016/lukas_pokryvka/README.md index 2cb4192be..ae6178a3c 100644 --- a/pages/students/2016/lukas_pokryvka/README.md +++ b/pages/students/2016/lukas_pokryvka/README.md @@ -5,6 +5,20 @@ ## Diplomový projekt 1 2020 +Paralelné trénovanie neurónových sietí pomocou knižnice Pytorch. + +Zásobník úloh na ďalší semester: + +- Vybrať a prejsť scenár trénovania neurónových sietí pomocou nástroja [Fairseq](https://github.com/pytorch/fairseq/tree/master/examples), napr. (https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md) +- Prejsť odborné publikácie na tému "benchmarking" a "parallel training of neural networks". +- Ten istý scenár spustiť v rôznych podmienkach a zmerať čas. + +- Trénovanie na jednej karte na jednom stroji (máme rôzne - idoc, nový xavier) +- Trénovanie na dvoch kartách na jednom stroji (idoc, nový server) +- *Trénovanie na dvoch kartách na dvoch strojoch pomocou NCCL (idoc, tesla)* +- možno trénovanie na 4 kartách na jednom stroji (quadra). +- možno trénovanie na 2 kartách na dvoch strojoch (quadra plus idoc). + Úlohy na semester: - podrobne si naštudovať vybranú metódu trénovania neurónových sietí