Inštalácia fairseq
1.Inštalácia prostredia Anaconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x ./Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
2.Inštalácia pytorch do prostredia Anaconda
-Ak máme stroj na ktorom je Compute Combality(CC) > 3.7 tak stačí:
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
-prípadne zvoliť inú verziu CUDAtoolkit, potrebnú verziu Cudatoolkit vieme zvoliť pomocou: https://en.wikipedia.org/wiki/CUDA#GPUs_supported
-Ak máme stroj s CC<3.7
- Môžme nainštalovať pytorch ktorý nebude využívat grafickú kartu ale iba CPU
conda install pytorch torchvision torchaudio cpuonly -c pytorch
- Ak chceme využiť GPU je potrebné nainštalovať pytorch tzv."from source" najprv vhodnú verziu CUDA napr:
conda install -c anaconda cudatoolkit=10.2
ďalej nainštalovať NCCL
conda install -c anaconda nccl
potom nainštalovať závislosti:
conda install numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing_extensions future six requests dataclasses
(pre linux) *conda install -c pytorch magma-cuda102
(pre MACOS) *conda install pkg-config libuv
(pre Windows) *conda install -c conda-forge libuv=1.39
následne stiahnuť pytorch z gitu:
git clone --recursive https://github.com/pytorch/pytorch
A na záver skontrolovať obsah zlozky a spustit inštaláciu:
cd pytorch
git submodule sync
git submodule update --init --recursive
export CMAKE_PREFIX_PATH=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
python setup.py install
-Niekedy je potrebné nainštalovať staršiu verziu Pytorch, pretože pri nových verziach sú nové kompilátory
-Pytorch je možné nainštalovať aj pomocu whl súborov, ktoré spustíme príkazom:
pip install some-package.whl
-Whl súbory fungujú ako binárky pre Pytorch, z nich je tiež možné nainštalovať Pytorch, lenže treba dávat pozor na verzie CUDA a Pythonu aby zodpovedali WHL súboru
-Pre inštaláciu pythonu(napr. verzie 3.6) do prostedia Conda použijeme:
conda install python=3.6
3.Fairseq
Inštaláciu spustíme:
git clone https://github.com/pytorch/fairseq
pip install --editable ./
Pre nainštalovanie konkrétnej verzie (verzia 0.10) použijeme:
pip install fairseq==0.10.0