Diferencias

Muestra las diferencias entre dos versiones de la página.

--- wiki:computo:tutorial_slurm [2019/01/02 14:59]
127.0.0.1 editor externo
+++ wiki:computo:tutorial_slurm [2022/01/07 20:11] (actual)
srgualpa [Ejemplos Script Slurm]
@@ Línea 1414: / Línea 1414: @@
 <HTML>
          <!--  ---------------------------------------------------------------------------------------------------------------------------------- -->
-    <button class="botonPanel">Scripts Slurm Mirta 3   </button>
-    <div class="panel"><br>
-   <button class="botonPanel"  >GPU</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando gpu </li>
-            <li class="li1">Ejecución: sbatch submit_gpu_job.sh </li>
-            <li class="li1">Partición: gpu </li>
-            <li class="li1">Tiempo máximo: 7 días </li>
-         </ul>
-         <br>
-</HTML>
-<file c submit_gpu_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,11,28,32"]>
-        #!/bin/bash
-        ### Las líneas #SBATCH configuran los recursos de la tarea
-        ### (aunque parezcan estar comentadas)
-        ### Nombre de la tarea
-        #SBATCH --job-name=gpu_job
-        ### Cola de trabajos a la cual enviar.
-        #SBATCH --partition=gpu
-        #SBATCH --gres=gpu:1
-        ### Procesos a largar.
-        ### Por defecto, se usa un solo proceso para tareas GPU.
-        #SBATCH --ntasks-per-node=1
-        ### Tiempo de ejecucion. Formato dias-horas:minutos.
-        #SBATCH --time 7-0:00
-        ### Script que se ejecuta al arrancar el trabajo
-        ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-        ### No tocar
-        . /etc/profile
-        ### Cargar los módulos para la tarea
-        # FALTA: Agregar los módulos necesarios
-        module load cuda/6.5
-        ### Largar el programa
-        # FALTA: Cambiar el nombre del programa
-        srun NOMBRE_DEL_PROGRAMA
-</file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >MPI</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando mpi </li>
-            <li class="li1">Ejecución: sbatch submit_mpi_job.sh </li>
-            <li class="li1">Partición: batch </li>
-            <li class="li1">Tiempo máximo: 2 días </li>
-         </ul>
-         <br>
-</HTML>
-<file c submit_mpi_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,26,32"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=mpi_job
-            ### Tiempo de ejecucion. Formato dias-horas:minutos.
-            #SBATCH --time 2-0:00
-            ### Numero de procesos a ser lanzados.
-            #SBATCH --ntasks=2
-            ### Nombre de partcion
-            #SBATCH --partition=batch
-            ### Script que se ejecuta al arrancar el trabajo
-            ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-            ### No tocar
-            . /etc/profile
-            ### Cargar los módulos para la tarea
-            # FALTA: Agregar los módulos necesarios
-            module load etc...
-            ### Largar el programa con los cores detectados
-            ### La cantidad de nodos y cores se detecta automáticamente
-            # FALTA: Cambiar el nombre del programa
-            srun NOMBRE_DEL_PROGRAMA
-</file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >OPENMP</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando openmp </li>
-            <li class="li1">Ejecución: sbatch submit_openmp_job.sh </li>
-            <li class="li1">Partición: batch </li>
-            <li class="li1">Tiempo máximo: 2 días </li>
-         </ul>
-         <br>
-</HTML>
-<file c submit_openmp_job.sh[enable_line_numbers="true",highlight_lines_extra="7,18,21,30,31,35,39"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=openmp_job
-            ### Cola de trabajos a la cual enviar.
-            #SBATCH --partition=batch
-            ### Procesos a largar.
-            ### Es OpenMP, o sea que un proceso en un nodo y muchos hilos.
-            #SBATCH --ntasks=1
-            ### Hilos por proceso
-            ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
-            #SBATCH --cpus-per-task=16
-            ### Tiempo de ejecucion. Formato dias-horas:minutos.
-            #SBATCH --time 2-0:00
-            ### Script que se ejecuta al arrancar el trabajo
-            ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-            ### No tocar
-            . /etc/profile
-            ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
-            export OMP_NUM_THREADS=16
-            export MKL_NUM_THREADS=16
-            ### Cargar los módulos para la tarea
-            # FALTA: Agregar los módulos necesarios
-            module load etc...
-            ### Largar el programa
-            # FALTA: Cambiar el nombre del programa
-            srun NOMBRE_DEL_PROGRAMA
-</file>
-<HTML>
-    </div>
-</div>
 <button class="botonPanel"  >Scripts Slurm Clemente</button>
@@ Línea 1620: / Línea 1457: @@
                 ### Cargar los módulos para la tarea
                 # FALTA: Agregar los módulos necesarios
-                module load gpu cuda/9.1.85
+                module load gcc
+                module load cuda
                 ### Largar el programa
                 # FALTA: Cambiar el nombre del programa
@@ Línea 1666: / Línea 1503: @@
             ### Cargar los módulos para la tarea
             # FALTA: Agregar los módulos necesarios
-            module load clemente ...
+            module load gcc
+            module load openmpi
             ### Largar el programa con los cores detectados
@@ Línea 1722: / Línea 1560: @@
             ### Cargar los módulos para la tarea
             # FALTA: Agregar los módulos necesarios
-            module load clemente etc...
+            module load gcc
             ### Largar el programa
@@ Línea 1736: / Línea 1574: @@
-<button class="botonPanel"  >Scripts Slurm Mendieta</button>
-<div class="panel">
-     <button class="botonPanel"  >GPU</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando gpu </li>
-            <li class="li1">Ejecución: sbatch submit_gpu_job.sh </li>
-            <li class="li1">Partición: gpu </li>
-            <li class="li1">Tiempo máximo: 7 días </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_gpu_job.sh[enable_line_numbers="true",highlight_lines_extra="9,12,14,17,24,28,34,39"]>
-            #!/bin/bash
-            #### NOTA: ESTE SCRIPT ES VIEJO
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=nombre
-            ### Cantidad de nodos a usar
-            #SBATCH --nodes=1
-            ### GPUs por nodo (menor o igual 2)
-            ### OJO: Todos los procesos en un nodo ven ambas GPU con gpu:2!
-            ###      Llamar al programa con /opt/mendieta/bin/split_cpu.sh para dividirlas.
-            #SBATCH --gres=gpu:1
-            ### Procesos por nodo
-            #SBATCH --ntasks-per-node=1
-            ### Cores por proceso (OpenMP/Pthreads/etc)
-            ### Recordar exportar OMP_NUM_THREADS/MKL_NUM_THREADS/etc con el mismo valor
-            #SBATCH --cpus-per-task=1
-            export OMP_NUM_THREADS=1
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 7-0:00
-            ### Environment setup
-            . /etc/profile
-            ### Environment modules
-            module load cuda/5.0
-            ### Ejecutar la tarea
-            ### NOTA: srun configura MVAPICH2 y MPICH con lo puesto arriba,
-            ###       no hay que llamar a mpirun.
-            srun algun_programa_gpu
-        </file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >MPI</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando mpi </li>
-            <li class="li1">Ejecución: sbatch submit_mpi_job.sh </li>
-            <li class="li1">Partición: batch </li>
-            <li class="li1">Tiempo máximo: 7 días  </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_mpi_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,16,26,31"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=programa_mpi
-            ### Cola a usar (capacity, capability, gpu)
-            #SBATCH --partition=capability
-            ### Cantidad de nodos a usar
-            #SBATCH --nodes=1
-            ### Cantidad de procesos a lanzar por nodo
-            ### capacity=16, capability=18, gpu=20
-            #SBATCH --ntasks-per-node=18
-            ### Cores por proceso (para MPI+OpenMP)
-            #SBATCH --cpus-per-task=1
-            export OMP_NUM_THREADS=1
-            export MKL_NUM_THREADS=1
-            ### GPUs por nodo
-            ### capacity/capability=0, gpu=1 (K20X) o 2 (M2090)
-            #SBATCH --gres=gpu:0
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 7-0:00
-            ### Script que se ejecuta al arrancar el trabajo
-            ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-            ### No tocar
-            . /etc/profile
-            ### Cargar los módulos para la tarea
-            # FALTA: Agregar los módulos necesarios
-            module load etcetera
-            ### Largar el programa con los cores detectados
-            ### La cantidad de nodos y cores se detecta automáticamente
-            # FALTA: Cambiar el nombre del programa
-            srun programa
-        </file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >OPENMP</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando OPENMP </li>
-            <li class="li1">Ejecución: sbatch openmp </li>
-            <li class="li1">Partición: batch </li>
-            <li class="li1">Tiempo máximo: 3 días </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_openmp_job.sh[enable_line_numbers="true",highlight_lines_extra="7,11,19,22,26,35,36,40,44"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=programa_openmp
-            ### Cola de trabajos a usar
-            ### Es OpenMP, no podemos usar más de un nodo, así que capacity
-            #SBATCH --partition=capacity
-            ### Procesos a largar.
-            ### Es OpenMP, o sea que un proceso en un nodo y muchos hilos.
-            #SBATCH --ntasks=1
-            ### Hilos por proceso
-            ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
-            #SBATCH --cpus-per-task=16
-            ### GPUs (0 o 1)
-            #SBATCH --gres=gpu:0
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            ### Traten de acotarlo.
-            #SBATCH --time 7-0:00
-            ### Script que se ejecuta al arrancar el trabajo
-            ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-            ### No tocar
-            . /etc/profile
-            ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
-            export OMP_NUM_THREADS=16
-            export MKL_NUM_THREADS=16
-            ### Cargar los módulos para la tarea
-            # FALTA: Agregar los módulos necesarios
-            module load etcetera
-            ### Largar el programa
-            # FALTA: Cambiar el nombre del programa
-            srun programa
-        </file>
-<HTML>
-    </div>
-        <button class="botonPanel"  >GAMESS</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando  </li>
-            <li class="li1">Ejecución: sbatch submit_gamess.sh </li>
-            <li class="li1">Partición: batch </li>
-            <li class="li1">Tiempo máximo: 1 días  </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_gamess.sh[enable_line_numbers="true",highlight_lines_extra="7,8,11,19,20,23,29,34"]>
-            #!/bin/bash
-            ### NOTA:
-            ### GAMESS requiere un directorio ~/scr en el home del usuario para correr
-            ### Cantidad de cores (menor o igual a 16)
-            #SBATCH --ntasks=16
-            CORES=16
-            ### Nombre de la tarea
-            #SBATCH --job-name=gamess
-            ### Correr en un solo nodo hasta que veamos cómo hacer para lanzar en muchos
-            #SBATCH --nodes=1
-            ### Cores por proceso (OpenMP/Pthreads/etc)
-            ### GAMESS corre uno solo
-            #SBATCH --cpus-per-task=1
-            export OMP_NUM_THREADS=1
-            export MKL_NUM_THREADS=1
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 1-0:00
-            ### Environment setup
-            . /etc/profile
-            ### Environment modules
-            module load md/gamess/20130501
-            ### Ejecutar la tarea
-            ### NOTA: srun configura MVAPICH2 y MPICH con lo puesto arriba,
-            ###       no hay que llamar a mpirun.
-            rungms $1 00 ${CORES}
-        </file>
-<HTML>
-    </div>
-        <button class="botonPanel"  >GROMACS</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando  </li>
-            <li class="li1">Ejecución: sbatch submit_gromacs.sh </li>
-            <li class="li1">Partición: gpu </li>
-            <li class="li1">Tiempo máximo: 7 días  </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_gromacs.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,22,24,23,27,33,36"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Usar cola gpu
-            #SBATCH --partition=gpu
-            ### Nombre de la tarea
-            #SBATCH --job-name=gromacs
-            ### Cantidad de nodos a usar
-            #SBATCH --nodes=2
-            ### Procesos por nodo
-            #SBATCH --ntasks-per-node=1
-            ### GPUs por nodo
-            #SBATCH --gres=gpu:1
-            ### Cores por nodo
-            #SBATCH --cpus-per-task=20
-            export OMP_NUM_THREADS=20
-            export MKL_NUM_THREADS=20
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 7-0:00
-            ### Environment setup
-            . /etc/profile
-            ### Environment modules
-            module load md/gromacs/5.0.2
-            ### Largar el progrma en cuestion
-            srun mdrun_mpi
-        </file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >LAMMPS</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando  </li>
-            <li class="li1">Ejecución: sbatch submit_lammps.sh </li>
-            <li class="li1">Partición: gpu </li>
-            <li class="li1">Tiempo máximo: 7 días  </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit_lammps.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,17,22,21,23,27,28,31,33,41,46"]>
-                #!/bin/bash
-                ### Las líneas #SBATCH configuran los recursos de la tarea
-                ### (aunque parezcan estar comentadas)
-                ### Nombre de la tarea
-                #SBATCH --job-name=lammps
-                ### Cola a usar (capacity, capability, gpu)
-                #SBATCH --partition=gpu
-                ### Cantidad de nodos a usar
-                #SBATCH --nodes=1
-                ### Cantidad de procesos a lanzar por nodo
-                ### capacity=16, capability=18, gpu=20
-                #SBATCH --ntasks-per-node=20
-                ### Cores por proceso
-                ### LAMMPS está compilado con OpenMP, probar combinaciones
-                #SBATCH --cpus-per-task=1
-                export OMP_NUM_THREADS=1
-                export MKL_NUM_THREADS=1
-                ### GPUs por nodo
-                ### capacity/capability=0, gpu=1 (K20X) o 2 (M2090)
-                #SBATCH --constraint=kepler
-                #SBATCH --gres=gpu:1
-                ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-                #SBATCH --time 7-0:00
-                ### Script que se ejecuta al arrancar el trabajo
-                ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
-                ### No tocar
-                . /etc/profile
-                ### Cargar los módulos para la tarea
-                # FALTA: Agregar los módulos necesarios
-                module load md/lammps/15may15
-                ### Largar el programa con los cores detectados
-                ### La cantidad de nodos y cores se detecta automáticamente
-                # FALTA: agregar parámetros
-                srun lmp_mendieta (...)
-        </file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >PHI MPI</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando los núcleos xeon PHI con MPI </li>
-            <li class="li1">Ejecución: sbatch submit.sh </li>
-            <li class="li1">Partición: phi </li>
-            <li class="li1">Tiempo máximo: 7 días  </li>
-         </ul>
-         <br>
-</HTML>
-        <file c submit.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,16,17,20,23"]>
-            #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=test-phi-mpi
-            ### Cola a usar
-            #SBATCH --partition=phi
-            ### No queremos compartir xeon phis, poca memoria
-            #SBATCH --exclusive
-            ### Usar un xeon phi de 57 cores
-            #SBATCH --nodes=1
-            #SBATCH --ntasks-per-node=57
-            ### Cores por proceso (para MPI+OpenMP)
-            #SBATCH --threads-per-core=4
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 7-0:00
-        </file>
-<HTML><br></HTML>
-<file make Makefile[enable_line_numbers="true",highlight_lines_extra=""]>
-             CC=mpiicc
-            CFLAGS=-Wall -Wextra -O2 -mmic -openmp -mkl=parallel
-            TARGETS=proctest
-            proctest: proctest.o
-                    $(CC) $(CFLAGS) -o $@ $<
-            .PHONY: clean
-            clean:
-                    rm -f *.o $(TARGETS)
-        </file>
-<HTML><br></HTML>
-<file c proctest.c[enable_line_numbers="true",highlight_lines_extra=""]>
-            #include <stdio.h>
-            #include <omp.h>
-            #include "mpi.h"
-            int main(int argc, char ** argv) {
-                MPI_Init(&argc, &argv);
-                int commsize, commrank;
-                MPI_Comm_size(MPI_COMM_WORLD, &commsize);
-                MPI_Comm_rank(MPI_COMM_WORLD, &commrank);
-                #pragma omp parallel
-                {
-                    int omptid = omp_get_thread_num();
-                    int ompthreads = omp_get_num_threads();
-                    #pragma omp critical
-                    printf("MPI:%d/%d   OMP:%d/%d\n", commrank, commsize, omptid, ompthreads);
-                }
-                MPI_Finalize();
-                return 0;
-            }
-        </file>
-<HTML>
-    </div>
-    <button class="botonPanel"  >PHI OPENMP</button>
-     <div class="panel">
-         <br>
-         <ul class="ul1">
-            <li class="li1">Tarea: ejecutar programas utilizando los núcleos xeon PHI con OPENMP </li>
-            <li class="li1">Ejecución: sbatch submit_omp.sh </li>
-            <li class="li1">Partición: phi </li>
-            <li class="li1">Tiempo máximo: 7 días  </li>
-         </ul>
-         <br>
-</HTML>
-<file c submit_omp.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,16,19,20,23,34,35,38"]>
-             #!/bin/bash
-            ### Las líneas #SBATCH configuran los recursos de la tarea
-            ### (aunque parezcan estar comentadas)
-            ### Nombre de la tarea
-            #SBATCH --job-name=test-phi-openmp
-            ### Cola a usar
-            #SBATCH --partition=phi
-            ### No queremos compartir xeon phis, poca memoria
-            #SBATCH --exclusive
-            ### Un solo proceso para OpenMP
-            #SBATCH --ntasks=1
-            ### Cores por proceso
-            #SBATCH --cpus-per-task=57
-            #SBATCH --threads-per-core=4
-            ### Tiempo de ejecucion. Formato dias-horas:minutos. Maximo una semana.
-            #SBATCH --time 7-0:00
-            ### Script que se ejecuta al arrancar el trabajo
-            ### Cargar el entorno del usuario
-            ### (en phi: MKL e Intel MPI)
-            ### No tocar
-            . /etc/profile
-            ### No tenemos módulos en los xeon phi
-            ### Hasta 4 hilos por core
-            export OMP_NUM_THREADS=228
-            export MKL_NUM_THREADS=228
-            ### Largar el programa
-            srun ./proctest
-        </file>
-<HTML><br></HTML>
-<file make Makefile[enable_line_numbers="true",highlight_lines_extra=""]>
-                CC=icc
-                CFLAGS=-Wall -Wextra -O2 -mmic -openmp -mkl=parallel
-                TARGETS=proctest
-                proctest: proctest.o
-                        $(CC) $(CFLAGS) -o $@ $<
-                .PHONY: clean
-                clean:
-                        rm -f *.o $(TARGETS)
-        </file>
-<HTML><br></HTML>
-<file c proctest.c[enable_line_numbers="true",highlight_lines_extra=""]>
-                #include <stdio.h>
-                #include <omp.h>
-                int main(int argc, char ** argv) {
-                    #pragma omp parallel
-                    {
-                        int omptid = omp_get_thread_num();
-                        int ompthreads = omp_get_num_threads();
-                        #pragma omp critical
-                        printf("OMP:%d/%d\n", omptid, ompthreads);
-                    }
-                    return 0;
-                }
-        </file>
-<HTML>
-    </div>
     </div>