¡Esta es una revisión vieja del documento!
Cómputo
Procesador: Intel Xeon E5-2660v4 x 14 - 168 núcleos físicos - 336 núcleos virtuales
Memoria: 640 + 64 GB
Acceso: ssh username@clemente
Aceleradora: NVIDIA GeForce GTX 1080 Ti
Particiones SLURM: debug (2 minutos - 336 núcleos virtuales - Clemente01-06)
batch (3 días - 280 núcleos virtuales - Clemente01-05)
small (6 horas - 56 núcleos virtuales - Clemente06)
gpu (3 días - 50 núcleos virtuales - Clemente06)
Conectividad: Infiniband DDR / Ethernet 1Gbps
Cabecera:
Sistema operativo:
Operating System: CentOS Linux 7 (Core)
Kernel: Linux 3.10.0-514.el7.x86_64
Architecture: x86-64
clemente[01-05]:
Procesador: 28 Cores [56 w/HT] Intel Xeon E5-2660v4
Socket(s): 2 Core(s) per socket: 14
Thread(s) per core: 2
L1d cache: 32K L1i cache: 32K
L2 cache: 256K L3 cache: 35840K
Cpu MHz: 1200
Memoria: 128 GB DDR4
Acceso: ssh username@clemente[01-03]*
Particiones SLURM: debug - batch
clemente06:
Procesador: 28 Cores [56 w/HT] Intel Xeon E5-2680v4
Socket(s): 2
Core(s) per socket: 14 Thread(s) per core: 2
L1 cache 896 KB
L2 cache: 3584 KB L3 cache: 35840 KB
Cpu MHz: 1200
Memoria: 64 GB DDR4
Acceso: ssh username@clemente04*
Aceleradora: NVIDIA GeForce GTX 1080 Ti
Particiones SLURM: batch - debug - gpu - small
(*) A los nodos solo se puede acceder cuando hay un trabajo del usuario en ejecución
- Tarea: ejecutar programas utilizando gpu
- Ejecución: sbatch submit_gpu_job.sh
- Partición: gpu
- Tiempo máximo: 3 días
- submit_gpu_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=gpu_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=gpu
- ### Procesos a largar.
- ### Por defecto, se usa un solo proceso para tareas GPU.
- #SBATCH --ntasks-per-node=1
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- module load cuda
- ### Largar el programa
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
- Tarea: ejecutar programas utilizando mpi
- Ejecución: sbatch submit_mpi_job.sh
- Partición: batch
- Tiempo máximo: 3 días
- submit_mpi_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=mpi_job
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Numero de procesos a ser lanzados.
- #SBATCH --ntasks=112
- #SBATCH --nodes=2
- ### Nombre de partcion
- #SBATCH --partition=batch
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- module load openmpi
- ### Largar el programa con los cores detectados
- ### La cantidad de nodos y cores se detecta automáticamente
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
- Tarea: ejecutar programas utilizando OPENMP
- Ejecución: sbatch submit_openmp_job.sh
- Partición: batch
- Tiempo máximo: 3 días
- submit_openmp_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=openmp_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=batch
- ### Procesos a largar.
- ### Es OpenMP, o sea que un proceso en un nodo y muchos hilos.
- #SBATCH --ntasks=1
- ### Hilos por proceso
- ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
- #SBATCH --cpus-per-task=56
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
- export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
- export MKL_NUM_THREADS=$SLURM_CPUS_PER_TASK
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- ### Largar el programa
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
No está permitido ejecutar trabajos en la cabecera.
En caso de estar ejecutando un trabajo, se puede acceder a través de ssh a los nodos para ver la ejecución del mismo.
Pueden encontrarse ejemplos de script de lanzamiento en /usr/share/doc/clemente.
Clemente posee una partición llamada "gpu" exclusiva para ejecutar tareas de GPGPU.
Clemente posee una partición para trabajos en MPI llamada batch. Tiene un tiempo máximo de 3 días y un total de 280 núcleos con disponibilidad de conexión infiniband