Skip to content

Commit

Permalink
Merge pull request falloutdurham#46 from MarcusFra/dependencies
Browse files Browse the repository at this point in the history
Dependency Management/ Version Control
  • Loading branch information
falloutdurham authored Oct 6, 2020
2 parents b61c1fc + e082b62 commit 681ba2f
Show file tree
Hide file tree
Showing 4 changed files with 208 additions and 0 deletions.
89 changes: 89 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,3 +9,92 @@ Repository for scripts and notebooks from the book: Programming PyTorch for Deep
* 2020/03/01: Chapter 9.5 - Text Generation With GPT-2 And (only) PyTorch, or Semi/Self-Supervision Learning Part 1 (Letters To Charlotte)

* 2020/05/03: Chapter 7.5 - Quantizing Models

________________

# Deutschsprachige Ausgabe
## PyTorch für Deep Learning: Anwendungen für Bild-, Ton- und Textdaten entwickeln und deployen

--> [https://dpunkt.de/produkt/pytorch-fuer-deep-learning/]()

## Installationshinweise

- [Python - Downloads und Dokumentation](https://www.python.org/)
- [Anaconda - Dokumentation mit Installationshinweisen](https://docs.anaconda.com/anaconda/)
- [pip - Installationshinweise](https://pypi.org/project/pip/)
- [PyTorch - Installationshinweise](https://pytorch.org/get-started/locally/)
+ falls Installation nicht mit `conda env create --file environment.yml`/`pip3 install -r requirements.txt
/requirements_cuda_available.txt` erfolgt; ansonsten siehe Abschnitt [_Versionskontrolle_](#Versionskontrolle)
- [Jupyter Notebook / JupyterLab - Installation und Dokumentation](https://jupyter.org/)
- [Google Colaboratory - Einführung und weitergehende Hinweise insb. zum Einlesen von Daten](https://colab.research.google.com/notebooks/intro.ipynb)
- [Github - Forken und Klonen eines Repositorys](https://docs.github.com/en/free-pro-team@latest/github/getting-started-with-github/fork-a-repo)

## Versionskontrolle

Nachdem Sie das Github-Repository lokal geklont (bzw. zuvor geforkt) haben!

### Conda

1.) Wechseln Sie zunächst in den Zielordner (`cd beginners-pytorch-deep-learning`), erstellen Sie dann eine (lokale) virtuelle Umgebung und installieren Sie die benötigten Bibliotheken und Pakete:

`conda env create --file environment.yml`

2.) Anschließend aktivieren Sie die virtuelle Umgebung:

`conda activate myenv`

3.) Zum Deaktivieren nutzen Sie den Befehl:

`conda deactivate`

### pip

1.) Wechseln Sie zunächst in den Zielordner (`cd beginners-pytorch-deep-learning`) und erstellen Sie anschließend eine
virtuelle Umgebung:

`python3 -m venv myenv`

2.) Aktivieren Sie die virtuelle Umgebung (https://docs.python.org/3/library/venv.html):

`source myenv/bin/activate` (Ubuntu/Mac)
`myenv\Scripts\activate.bat` (Windows)

3.) Erstellen Sie eine (lokale) virtuelle Umgebung und installieren Sie die benötigten Bibliotheken und Pakete:

`pip3 install -r requirements.txt`


4.) Zum Deaktivieren nutzen Sie den Befehl:

`deactivate`

### Bei Nutzung von Jupyter Notebook

1.) Zunächst müssen Sie Jupyter Notebook installieren:

`conda install -c conda-forge notebook` oder `pip3 install notebook`

2.) Nach Aktivierung Ihrer virtuellen Umgebung (s.o.) geben Sie den folgenden Befehl in Ihre Kommandozeile ein, um die
`ipykernel`-Bibliothek herunterzuladen:

`conda install ipykernel` oder `pip3 install ipykernel`

3.) Installieren Sie einen Kernel mit Ihrer virtuellen Umgebung:

`ipython kernel install --user --name=myenv`

4.) Starten Sie Jupyter Notebook:

`jupyter notebook`

5.) Nach Öffnen des Jupyter-Notebook-Startbildschirms wählen Sie auf der rechten Seite das Feld _New_ (bzw. in der
Notebook-Ansischt den Reiter _Kernel_/_Change Kernel_) und wählen Sie _myenv_ aus.

### Google Colaboratory

In Google Colab stehen Ihnen standardmäßig einige Pakete bereits vorinstalliert zur Verfügung. Da sich
Neuinstallationen immer nur auf ein Notebook beziehen, können Sie von einer Einrichtung einer virtuellen Umgebung
absehen und direkt die Pakete mit Hilfe der Dateien `environment.yml` oder `requirements.txt
/ requirements_cuda_available.txt` wie oben
beschrieben installieren, jedoch zusätzlich mit einem vorangestellten **!** , bspw. `!pip3 install -r requirements
.txt`.
33 changes: 33 additions & 0 deletions environment.yml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
name: myenv

channels:
- pytorch
- conda-forge
- defaults

dependencies:
- cmake=3.12.0
- cudatoolkit-dev=10.1
- Flask=1.1.2
- jupyter=1.0.0
- matplotlib=3.2.2
- numpy=1.18.5
- pandas=1.0.5
- Pillow=7.0.0
- pip=20.2
- py-spy=0.3.3
- python>=3.6.9
- pytorch=1.6.0
- requests=2.23.0
- spacy=2.2.4
- tensorboard=2.3.0
- torchaudio=0.6.0
- torchtext=0.7.0
- torchvision=0.7.0
- transformers=3.0.2
- urllib3=1.24.3
- pip:
- fast-bert==1.9.1
- googletrans==3.0.0
- docker==4.3.1
- fastai==1.0.61
43 changes: 43 additions & 0 deletions requirements.txt
Original file line number Diff line number Diff line change
@@ -0,0 +1,43 @@
cmake==3.12.0

docker==4.3.1

fastai==1.0.61

fast-bert==1.9.1

Flask==1.1.2

googletrans==3.0.0

jupyter==1.0.0

matplotlib==3.2.2

numpy==1.18.5

pandas==1.0.5

Pillow==7.0.0

py-spy==0.3.3

python == 3.6.9

requests==2.23.0

spacy==2.2.4

tensorboard==2.3.0

torch==1.6.0

torchaudio==0.6.0

torchtext==0.7.0

torchvision==0.7.0

transformers==3.0.2

urllib3==1.24.3
43 changes: 43 additions & 0 deletions requirements_cuda_available.txt
Original file line number Diff line number Diff line change
@@ -0,0 +1,43 @@
cmake==3.12.0

docker==4.3.1

fastai==1.0.61

fast-bert==1.9.1

Flask==1.1.2

googletrans==3.0.0

jupyter==1.0.0

matplotlib==3.2.2

numpy==1.18.5

pandas==1.0.5

Pillow==7.0.0

py-spy==0.3.3

python == 3.6.9

requests==2.23.0

spacy==2.2.4

tensorboard==2.3.0

torch==1.6.0+cu101

torchaudio==0.6.0

torchtext==0.7.0

torchvision==0.7.0+cu101

transformers==3.0.2

urllib3==1.24.3

0 comments on commit 681ba2f

Please sign in to comment.