KEMT/zpwiki
31
1
Fork 9
Code Issues Pull Requests Releases Wiki Activity

oprava preklepu

Browse Source
This commit is contained in:
Dárius Lindvai 2019-12-21 22:33:43 +01:00
parent 676f66822b
commit 6e45bf17c8
1 changed files with 17 additions and 3 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

20
pages/students/2016/darius_lindvai/timovy_projekt/tutorial/README.md
View File

@ -1,4 +1,5 @@
# PYTORCH - LSTM TUTORIÁL
### Čo je to Pytorch?
@ -96,20 +97,25 @@ import torch
import torch.nn as nn
```
Následne sa presunieme k vytváraniu LSTM vrstvy, ktoré funguje rovnako ako pri ostatných typoch vrstiev. LSTM vrste totiž budeme priradzovať argumenty. V tomto príklade budú použité 3 argumenty:
- vstupná dimenzia (*input dimension*): definuje veľkosť vstupu v každom časovom kroku, napr. ak má vstupná dimenzia veľkosť 5, vstup bude vyzerať podobne - `[5, 3, 8, 6, 2]`
- skrytá dimenzia (*hidden dimension*): predstavuje veľkosť "cell state" a "hidden state" v každom časovom kroku
- počet vrstiev: počet LSTM vrstiev "naskladaných" na seba
- vstupná dimenzia (*input dimension*): definuje veľkosť vstupu v každom časovom kroku, napr. ak má vstupná dimenzia veľkosť 5, vstup bude vyzerať podobne - `[5, 3, 8, 6, 2]`,
- skrytá dimenzia (*hidden dimension*): predstavuje veľkosť "cell state" a "hidden state" v každom časovom kroku,
- počet vrstiev: počet LSTM vrstiev "naskladaných" na seba.
```python
input_dim = 5 #velkost vstupnej dimenzie
hidden_dim = 10 #velkosť skrytej dimenzie
n_layers = 1 #pocet vrstiev
```
Tieto parametre potom uložíme do LSTM vrstvy nasledovne:
```python
lstm_layer = nn.LSTM(input_dim, hidden_dim, n_layers)
```
V ďalšom kroku si vytvoríme fiktívne dáta aby sme videli, ako funguje vstup na vrstve. Keďže sme veľkosť dimenzie definovali ako 5, potrebujeme vytvoriť tensor vo tvare `(1, 1, 5)`. Hodnoty v tensore reprezentujú `(veľkosť vzorky, dĺžka sekvencie, veľkosť vstupnej dimenzie)`.
Taktiež potrebujeme inicializovať "cell state" a "hidden state" jednotky LSTM. Tieto 2 parametre sú uložené vo "zväzku" vo formáte `(hidden state, cell state)`.
```python
batch_size = 1 #velkost vzorky
seq_len = 1 #dlzka sekvencie
@ -119,26 +125,34 @@ hidden_state = torch.randn(n_layers, batch_size, hidden_dim)
cell_state = torch.randn(n_layers, batch_size, hidden_dim)
hidden = (hidden_state, cell_state)
```
> Ak máme vstupnú sekvenciu (*seq_len*) napr. 100, veľkosť vzorky (*batch_size*) udáva, v akých dávkach sa bude sekvencia spracovaná a vyhodnotená. Ak máme napr. veľkosť vzorky 20, sekvencia bude spracovaná v 5 dávkach po 20.
Ak si chceme skontrolovať v akom tvare bude vyzerať tvar vstupnej vrstvy a skrytej vrstvy, môžeme to urobiť pomocou príkazov `print` a `shape`:
```python
print("Input shape:", inp.shape)
print("Hidden shape:", hidden_state.shape, ",", cell_state.shape)
```
Výstup bude vyzerať nasledovne:
```bash
(base) dl874wn@Darius-PC:~$ python test.py
Input shape: torch.Size([1, 1, 5])
Hidden shape: torch.Size([1, 1, 10]) , torch.Size([1, 1, 10])
```
Na záver pridáme vstupy a skryté stavy (*hidden states*):
```python
out, hidden = lstm_layer(inp, hidden)
print("Output shape:", out.shape)
print("Hidden:", hidden)
```
Na výstupe by sa mal objaviť tvar výstupných tensorov a taktiež samotné tensory pre "cell state" a "hidden state":
```bash
Output shape: torch.Size([1, 1, 10])
Hidden: (tensor([[[-0.3184, 0.0795, -0.2122, -0.0699, -0.1824, -0.1231, -0.1314, 0.3096, -0.0371, 0.0488]]], grad_fn=<StackBackward>), tensor([[[-0.5415, 0.2349, -0.4794, -0.1918, -0.2433, -0.2443, -0.2989, 0.5557, -0.0896, 0.1062]]], grad_fn=<StackBackward>))