diff --git a/pages/students/2016/darius_lindvai/timovy_projekt/tutorial/README.md b/pages/students/2016/darius_lindvai/timovy_projekt/tutorial/README.md index b52fdaf1..62d21335 100755 --- a/pages/students/2016/darius_lindvai/timovy_projekt/tutorial/README.md +++ b/pages/students/2016/darius_lindvai/timovy_projekt/tutorial/README.md @@ -1,4 +1,5 @@ + # PYTORCH - LSTM TUTORIÁL ### Čo je to Pytorch? @@ -96,20 +97,25 @@ import torch import torch.nn as nn ``` Následne sa presunieme k vytváraniu LSTM vrstvy, ktoré funguje rovnako ako pri ostatných typoch vrstiev. LSTM vrste totiž budeme priradzovať argumenty. V tomto príklade budú použité 3 argumenty: -- vstupná dimenzia (*input dimension*): definuje veľkosť vstupu v každom časovom kroku, napr. ak má vstupná dimenzia veľkosť 5, vstup bude vyzerať podobne - `[5, 3, 8, 6, 2]` -- skrytá dimenzia (*hidden dimension*): predstavuje veľkosť "cell state" a "hidden state" v každom časovom kroku -- počet vrstiev: počet LSTM vrstiev "naskladaných" na seba +- vstupná dimenzia (*input dimension*): definuje veľkosť vstupu v každom časovom kroku, napr. ak má vstupná dimenzia veľkosť 5, vstup bude vyzerať podobne - `[5, 3, 8, 6, 2]`, +- skrytá dimenzia (*hidden dimension*): predstavuje veľkosť "cell state" a "hidden state" v každom časovom kroku, +- počet vrstiev: počet LSTM vrstiev "naskladaných" na seba. + ```python input_dim = 5 #velkost vstupnej dimenzie hidden_dim = 10 #velkosť skrytej dimenzie n_layers = 1 #pocet vrstiev ``` + Tieto parametre potom uložíme do LSTM vrstvy nasledovne: + ```python lstm_layer = nn.LSTM(input_dim, hidden_dim, n_layers) ``` + V ďalšom kroku si vytvoríme fiktívne dáta aby sme videli, ako funguje vstup na vrstve. Keďže sme veľkosť dimenzie definovali ako 5, potrebujeme vytvoriť tensor vo tvare `(1, 1, 5)`. Hodnoty v tensore reprezentujú `(veľkosť vzorky, dĺžka sekvencie, veľkosť vstupnej dimenzie)`. Taktiež potrebujeme inicializovať "cell state" a "hidden state" jednotky LSTM. Tieto 2 parametre sú uložené vo "zväzku" vo formáte `(hidden state, cell state)`. + ```python batch_size = 1 #velkost vzorky seq_len = 1 #dlzka sekvencie @@ -119,26 +125,34 @@ hidden_state = torch.randn(n_layers, batch_size, hidden_dim) cell_state = torch.randn(n_layers, batch_size, hidden_dim) hidden = (hidden_state, cell_state) ``` + > Ak máme vstupnú sekvenciu (*seq_len*) napr. 100, veľkosť vzorky (*batch_size*) udáva, v akých dávkach sa bude sekvencia spracovaná a vyhodnotená. Ak máme napr. veľkosť vzorky 20, sekvencia bude spracovaná v 5 dávkach po 20. Ak si chceme skontrolovať v akom tvare bude vyzerať tvar vstupnej vrstvy a skrytej vrstvy, môžeme to urobiť pomocou príkazov `print` a `shape`: + ```python print("Input shape:", inp.shape) print("Hidden shape:", hidden_state.shape, ",", cell_state.shape) ``` + Výstup bude vyzerať nasledovne: + ```bash (base) dl874wn@Darius-PC:~$ python test.py Input shape: torch.Size([1, 1, 5]) Hidden shape: torch.Size([1, 1, 10]) , torch.Size([1, 1, 10]) ``` + Na záver pridáme vstupy a skryté stavy (*hidden states*): + ```python out, hidden = lstm_layer(inp, hidden) print("Output shape:", out.shape) print("Hidden:", hidden) ``` + Na výstupe by sa mal objaviť tvar výstupných tensorov a taktiež samotné tensory pre "cell state" a "hidden state": + ```bash Output shape: torch.Size([1, 1, 10]) Hidden: (tensor([[[-0.3184, 0.0795, -0.2122, -0.0699, -0.1824, -0.1231, -0.1314, 0.3096, -0.0371, 0.0488]]], grad_fn=), tensor([[[-0.5415, 0.2349, -0.4794, -0.1918, -0.2433, -0.2443, -0.2989, 0.5557, -0.0896, 0.1062]]], grad_fn=))