Allgemeines

Hinweise zur Nutzung

Die aktuellsten Informationen über das System können über das folgende Verzeichnis abgerufen werden. In diesem Verzeichnis liegen auch Beispielskripte für die verschiedenen Softwaremodule auf dem System. Die Informationen sind eigenständig nachzulesen und aufzuarbeiten

/help/

Für Informationen über

- Verbindungsmöglichkeiten mit dem AI-System

- Dateisystem

- Softwarenutzung

- Hardwareinformationen und Bestand

- Monitoring des Clusters

- Wichtig: Limitierungswerte für die Nutzung im Cluster. Diese sind nachzulesen unter:

/help/cluster_info

Für weitere Informationen über Slurm und Befehle

/help/cluster_introduction

Für spezifische Nutzung einer CPU oder GPU in einer Computenode den Befehl nutzen

#SBATCH --constraint={VERSION}

Dazu weitere Informationen unter 

/help/cluster_introduction/slurm_features.txt

Bitte beachten: Das Backup des Verzeichnisses "/work/{UserName}" muss eigenständig durchgeführt werden, da dafür keine automatische Sicherung existiert. Gleichzeitig dürfen auf der Loginnode keine Dateien gespeichert werden, um eine hohe Speicherauslastung zu vermeiden.

Hilfreiche Befehle:

Um in das Nutzerarbeitsverezichnis "/work/{UserName}/" zu wechseln

aiwork

Um in das Hilfs- und Informationsverzeichnis zu wechseln

aihelp

Um in das Homeverzeichnis des Nutzers zu wechseln

aihome

 

    Umgebungen / Environment

    Zentrales Environment nutzen

    Die Nutzung der Environments ist bei der Berechnung und der Konfiguration der Batchskriptdateien essenziell. Es werden zentral Environments zur Verfügung gestellt, die auch benutzt werden sollen. Auf weitere Nachfrage können auch neue Environments erstellt werden.

     

    Nutzung der zentralen Environments

    Achtung: Die Erstinitialisierung in der Kategorie "Jobs & Software" -> "Anaconda und Python" sollte vorher durchgeführt werden. Weitere Informationen befinden sich unter dem Verzeichnis "/help/.."

    Die zentralen und bei dem Nutzer lokal erstellten Umgebungen lassen sich anzeigen mit

    conda env list

    Eine Umgebung deaktivieren

    conda deactivate {UMGEBUNGSNAME}

    Eine Umgebung aktivieren

    conda activate {UMGEBUNGSNAME}

    Es erscheint links neben dem "AI {UserName}" im Terminal der Name der Umgebung

    Eigenes Environment erstellen

    Je nach Anwendungsfall kann der Nutzer ein eigenes Environment erstellen. Dazu wird am Anfang, dass "base" Environment entladen mit

    conda deactivate

    Falls das Modul Anaconda nicht eingeladen ist, muss dies noch getan werden.

    module load Anaconda3/2023.07-2

    Danach kann ein eigenes Standardenvironment erzeugt werden.

    conda create -n {UMGEBUNGSNAME} python={PYTHONVERSION}

    Dies wird dann eingeladen

    conda activate {UMGEBUNGSNAME}

    Die Standardbibliotheken von der Umgebung "base" werden auch hier eingeladen sein. Jetzt gibt es die Option zusätzliche Bibliotheken zu installieren. Dazu sucht man sich die einzelnen notwendigen Bibliotheksnamen heraus und erzeugt eine installationrequirements.txt Datei mit einem Texteditierungsprogramm von Linux (z.B. vim, vi). Dieses kann man dann mit den Paketnamen füllen. Hier sind nur Beispielpakete für Demonstrationszwecke gezeigt.

    numpy
    matplotlib
    Flask
    tensorflow
    scikit-learn
    beautifulsoup4
    sqlalchemy
    pygame

    Dann werden mit dem folgenden Befehl die fehlenden/gewünschten Bibliotheken installiert. Dazu sollte man sich dann im selben Verzeichnis befinden

    pip install -r  installationrequirements.txt

    oder mit conda

    conda install -r  installationrequirements.txt

    Eine lokal erstellte Umgebung löschen

    conda env remove -n {UMGEBUNGSNAME}

    Achtung: Eigene Umgebungen entnehmen viel Speicherplatz und können damit den für den Nutzer zur Verfügung gestellten Speicherplatz beeinträchtigen. Außerdem befinden sich die Umgebungen nur lokal bei dem Nutzer und können nicht von den anderen Nutzern eingesehen werden.

    Environment exportieren

    Umgebung mit allen Abhängigkeiten anzeigen lassen

    conda env export --name {UMGEBUNGSNAME}

    Umgebung ohne Abhängigkeiten anzeigen lassen

    Für Linux und macos

    conda env export --name {UMGEBUNGSNAME} --from-history --no-builds | grep -v prefix

    Für Windows

    conda env export --name {UMGEBUNGSNAME} --from-history --no-builds | findstr -v prefix