ds888vg/zpwiki
1
0
Fork 0
forked from KEMT/zpwiki
Code Issues Pull Requests Projects Releases Wiki Activity

Update 'pages/students/2016/lukas_pokryvka/README.md'

Browse Source
This commit is contained in:
dano 2020-06-17 08:44:04 +00:00
parent f3cea6dd5f
commit aa27cc6b2a
1 changed files with 14 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

14
pages/students/2016/lukas_pokryvka/README.md
View File

@ -5,6 +5,20 @@
## Diplomový projekt 1 2020 ## Diplomový projekt 1 2020
Paralelné trénovanie neurónových sietí pomocou knižnice Pytorch.
Zásobník úloh na ďalší semester:
- Vybrať a prejsť scenár trénovania neurónových sietí pomocou nástroja [Fairseq](https://github.com/pytorch/fairseq/tree/master/examples), napr. (https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md)
- Prejsť odborné publikácie na tému "benchmarking" a "parallel training of neural networks".
- Ten istý scenár spustiť v rôznych podmienkach a zmerať čas.
- Trénovanie na jednej karte na jednom stroji (máme rôzne - idoc, nový xavier)
- Trénovanie na dvoch kartách na jednom stroji (idoc, nový server)
- *Trénovanie na dvoch kartách na dvoch strojoch pomocou NCCL (idoc, tesla)*
- možno trénovanie na 4 kartách na jednom stroji (quadra).
- možno trénovanie na 2 kartách na dvoch strojoch (quadra plus idoc).
Úlohy na semester: Úlohy na semester:
- podrobne si naštudovať vybranú metódu trénovania neurónových sietí - podrobne si naštudovať vybranú metódu trénovania neurónových sietí