3.1 KiB
| title | published | taxonomy | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Jazyk Python | true |
|
Práca s jazykom Python v prostredí Anaconda
Vhodný na spracovanie prirodzeného jazyka
Podobné prostredie si viete vytvoriť na Vašom počítači, na školskom servri alebo na Google Colab.
Ako začať s Pythonom
Prečítajte si
http://diveintopython3.py.cz/index.html
https://jakevdp.github.io/PythonDataScienceHandbook/
Vývojové prostredie Anaconda
Nainštalujte si prostedie anaconda.
Stiahnite si inštalátor.
Na systéme Linux si Anacondu stiahnete aj nainštalujete jedným príkazom:
curl -s https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh | bash
Vytvorenie nového virtuálneho prostredia anaconda:
conda create --name mojeprostredie
Aktiácia virtuálneho prostredia Anaconda:
conda activate mojeprostredie
Inštalácia Pytorch s podporou CUDA do prostredia Anaconda
Na inštaláciu ľubovoľnej verzie CUDA a Pytorch nepotrebujete admin práva. Verzia Python, CUDA a Pytorch musí spolu sedieť. Najnovšiu verziu všetkého potrebného stiahnete zo stránky Pytorch
Napríklad takto:
conda install python=3.10
conda install pytorch pytorch-cuda=11.8 -c pytorch -c nvidia
Inštalácia bude chvíľu trvať.
Overte si že CUDA funguje správne:
python
>>> import torch
>>> torch.cuda.is_available()
Spustenie dlhších procesov na GPU
Na servri QUADRO sú k dispozícii 4 karty NVIDIA 1080, 12 GB RAM.
Overte si, ktoré karty sú voľné:
nvidia-smi
Pri trénovaní si zvoľte na ktorej karte budete trénovať pomocou premennej prostredia CUDA_VISIBLE_DEVICES.
Napr.
CUDA_VISIBLE_DEVICES=2,3 python train.py
spustí trénovanie na 3. a na 4. karte. Prosím vždy si vyberte toľko koľko potrebujete a zbytočne nebolujte karty pre druhých.
Dlhšie procesy môžete manažovať cez príkaz tmux.
Najprv si spustíte nové sedenie:
tmux
CTRL+B C si viete urobiť nové okno.
CTRL+B B prepnete okno.
CTRL+B N prepnete okno.
CTRL+B D vypnete tmux, ale procesy budú stále bežať aj keď sa odhlásite.
tmux a -t 0
obnovíte posledné sedenie
Virtualenv
Práca s virtuálnymi prostrediami Python
Virtuálne prostredie je vhodné keď pre určitý porjket potrebujete inštalovať balíčky tak a by nevytvárali konflikty a zároveň nepotrebujete prostredie Anaconda.
Vytvorí nové virtuálne prostredie:
python -m virtualenv ./venv
Aktivuje virtuálne prostredie:
source ./venv/bin/activate
Inštaluje balíčky do virtuálneho prostredia:
pip install ...
Vypne virtuálne prostredie:
deactivate
Vymazanie virtuálneho prostredia
rm -r venv