GPU-Unterstützung

TensorFlow GPU-Unterstützung erfordert eine Reihe von Treibern und Bibliotheken. Um die Installation zu vereinfachen und Bibliothekskonflikte zu vermeiden, empfehlen wir die Verwendung eines TensorFlow-Docker-Images mit GPU-Unterstützung (nur Linux). Dieses Setup benötigt nur die NVIDIA® GPU-Treiber.

Diese Installationsanweisungen sind für die neueste Version von TensorFlow. Siehe die getesteten Build-Konfigurationen für CUDA®- und cuDNN-Versionen zur Verwendung mit älteren TensorFlow-Versionen.

Pip-Paket

Siehe die pip-Installationsanleitung für verfügbare Pakete, Systemanforderungen und Anweisungen. Das TensorFlow pip-Paket enthält GPU-Unterstützung fürCUDA®-fähige Karten:

pip install tensorflow

Dieser Leitfaden behandelt die GPU-Unterstützung und die Installationsschritte für die letzte stabileTensorFlow-Version.

Ältere Versionen von TensorFlow

Für die Versionen 1.15 und älter sind CPU- und GPU-Pakete getrennt:

pip install tensorflow==1.15 # CPUpip install tensorflow-gpu==1.15 # GPU

Hardwareanforderungen

Die folgenden GPU-fähigen Geräte werden unterstützt:

• NVIDIA® GPU-Karte mit CUDA® Architekturen 3.5, 5.0, 6.0, 7.0, 7.5, 8.0 und höher als 8.0. Siehe die Liste der CUDA®-fähigen GPU-Karten.
• Für GPUs mit nicht unterstützten CUDA®-Architekturen, oder um die JIT-Kompilierung von PTX zu vermeiden, oder um andere Versionen der NVIDIA®-Bibliotheken zu verwenden, siehe dieLinux-Bauanleitung aus dem Quellcode.
• Pakete enthalten keinen PTX-Code, außer für die neueste unterstützte CUDA®-Architektur; daher kann TensorFlow auf älteren GPUs nicht geladen werden, wennCUDA_FORCE_PTX_JIT=1 gesetzt ist. (SieheApplicationCompatibility für Details.)

Softwareanforderungen

Die folgende NVIDIA® Software muss auf Ihrem System installiert sein:

• NVIDIA® GPU Treiber -CUDA®11.0 erfordert 450.x oder höher.
• CUDA® Toolkit -TensorFlow unterstützt CUDA® 11 (TensorFlow >= 2.4.0)
• CUPTI wird mit dem CUDA®Toolkit ausgeliefert.
• cuDNN SDK 8.0.4 cuDNN-Versionen).
• (Optional)TensorRT 6.0 zur Verbesserung der Latenz und des Durchsatzes für die Inferenz bei einigen Modellen.

Linux setup

Die apt Anweisungen unten sind der einfachste Weg, um die benötigte NVIDIAsoftware auf Ubuntu zu installieren. Wenn Sie jedoch TensorFlow aus dem Quellcode erstellen, installieren Sie die oben aufgeführten Softwareanforderungen manuell und erwägen Sie die Verwendung eines-devel TensorFlow Docker-Images als Basis.

Installieren Sie CUPTI, das mit dem CUDA® Toolkit geliefert wird. Hängen Sie sein Installationsverzeichnis an die $LD_LIBRARY_PATHUmgebungsvariable an:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

Installieren Sie CUDA mit apt

Dieser Abschnitt zeigt, wie man CUDA® 11 (TensorFlow >= 2.4.0) auf Ubuntu16.04 und 18.04 installiert. Diese Anweisungen können auch für andere Debian-basierte Distributionen funktionieren.

Ubuntu 18.04 (CUDA 11.0)

# Add NVIDIA package repositories# Install NVIDIA driver# Reboot. Check that GPUs are visible using the command: nvidia-smi# Install development and runtime libraries (~4GB)# Install TensorRT. Requires that libcudnn8 is installed above.

Ubuntu 16.04 (CUDA 11.0)

# Add NVIDIA package repositories# Add HTTPS support for apt-key# Install NVIDIA driver# Issue with driver install requires creating /usr/lib/nvidia# Reboot. Check that GPUs are visible using the command: nvidia-smi# Install development and runtime libraries (~4GB)# Install TensorRT. Requires that libcudnn7 is installed above.

Windows-Setup

Siehe die oben aufgeführten Hardware- und Softwareanforderungen. Lesen Sie dieCUDA® Installationsanleitung für Windows.

Stellen Sie sicher, dass die installierten NVIDIA-Softwarepakete mit den oben aufgeführten Versionen übereinstimmen. Insbesondere wird TensorFlow ohne die cuDNN64_8.dll-Datei nicht geladen. Um eine andere Version zu verwenden, lesen Sie die Windows Build from Source Anleitung.

Hängen Sie die CUDA®, CUPTI und cuDNN Installationsverzeichnisse an die %PATH%Umgebungsvariable an. Wenn zum Beispiel das CUDA® Toolkit unterC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 und cuDNN unterC:\tools\cuda installiert ist, aktualisieren Sie Ihre %PATH% entsprechend:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin;%PATH%SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\CUPTI\lib64;%PATH%SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include;%PATH%SET PATH=C:\tools\cuda\bin;%PATH%