forked from KEMT/zpwiki
Update 'pages/students/2016/lukas_pokryvka/README.md'
This commit is contained in:
parent
f3cea6dd5f
commit
aa27cc6b2a
@ -5,6 +5,20 @@
|
||||
|
||||
## Diplomový projekt 1 2020
|
||||
|
||||
Paralelné trénovanie neurónových sietí pomocou knižnice Pytorch.
|
||||
|
||||
Zásobník úloh na ďalší semester:
|
||||
|
||||
- Vybrať a prejsť scenár trénovania neurónových sietí pomocou nástroja [Fairseq](https://github.com/pytorch/fairseq/tree/master/examples), napr. (https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.pretraining.md)
|
||||
- Prejsť odborné publikácie na tému "benchmarking" a "parallel training of neural networks".
|
||||
- Ten istý scenár spustiť v rôznych podmienkach a zmerať čas.
|
||||
|
||||
- Trénovanie na jednej karte na jednom stroji (máme rôzne - idoc, nový xavier)
|
||||
- Trénovanie na dvoch kartách na jednom stroji (idoc, nový server)
|
||||
- *Trénovanie na dvoch kartách na dvoch strojoch pomocou NCCL (idoc, tesla)*
|
||||
- možno trénovanie na 4 kartách na jednom stroji (quadra).
|
||||
- možno trénovanie na 2 kartách na dvoch strojoch (quadra plus idoc).
|
||||
|
||||
Úlohy na semester:
|
||||
|
||||
- podrobne si naštudovať vybranú metódu trénovania neurónových sietí
|
||||
|
Loading…
Reference in New Issue
Block a user