| Ambos lados, revisión anteriorRevisión previaPróxima revisión | Revisión previaAmbos lados, revisión siguiente |
wiki:licencias [2022/08/16 13:46]
srgualpa [Script Slurm] | wiki:licencias [2022/08/17 13:41] (actual)
srgualpa [Licencias] |
|---|
| | |
| </CSS> | </CSS> |
| ======= SLURM ======= | ======= Licencias ======= |
| | |
| <HTML> | <HTML> |
| <!-- ------------------------------------------------------PARTE SLURM---------------------------------------------------------------------------- --> | |
| |
| <!-- <h1 id=""><div class="divSlurm">SLURM</div></h1> --> | |
| |
| <div class="explicacionSlurm"> | |
| |
| <p><a href="https://slurm.schedmd.com/"> Slurm (Simple Linux Utility for Resource Management)</a> es un sistema de gestión de recursos en clusters de computadoras. Nos permite asignar los recursos computacionales (núcleos, memoria, gpu, etc.) de una forma equitativa a medida de su disposición. | |
| </p> | |
| |
| </div> | |
| <div class="recuadro"> | |
| <br><h3><center>Entidades manejadas por los servicios de Slurm</center></h3> | |
| <p> | |
| <b>Nodos:</b> Sistema multiprocesador perteneciente al cluster<br><br> | |
| <b>Particiones:</b> es un mecanismo de agrupar en forma lógica los nodos. Sin importar el número de nodos que se disponen se puede crear la cantidad de particiones que uno desee. Un nodo puede pertenecer a varias particiones. Cada partición tiene sus propios parámetros: tiempo límite de trabajo, usuarios permitidos, que nodos la componen, etc. | |
| <br> <br> | |
| <b>Trabajos:</b> Un trabajo o job es la asignación de recursos a un usuario específico por una cantidad de tiempo determinada.<br><br> | |
| <b>Tareas:</b> Son el conjunto de programas (seriales o paralelas) que serán ejecutadas dentro de un trabajo.<br> | |
| </p> | |
| </div> | |
| <br> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> |
| | <p>Las licencias de software son un contrato de autorización sobre la obra entre el autor del programa y el usuario, en el cual definen con precisión los deberes de ambas partes. El autor tiene derecho intelectual exclusivo y concede a otros permisos utilizando licencias de software.</p> |
| |
| </HTML> | |
| ===== Modo uso de Slurm ===== | |
| <HTML> | |
| <!-- -----------------------------------------------------------Modo uso de Slurm ----------------------------------------------------------------------- --> | |
| |
| | |
| | |
| <div class="recuadro"> | |
| <!-- <br><h3><center>Modo uso de Slurm</center></h3>--> | |
| <br> | |
| <p> | |
| Slurm proporciona una interfaz de usuario donde se pueden ejecutar comandos slurm desde el shell del sistema operativo.<br> | |
| El usuario envía los trabajos y Slurm se encarga de ubicarlo en la cola de espera. Si hay recursos pasa a ejecutar el trabajo.<br>En caso de estar ocupado el trabajo se ejecutará cuando estén disponibles los recursos. <br><br> | |
| En general, los pasos a seguir para ejecutar un trabajo son:<br> | |
| </p> | |
| <div class="tipsVerde"> | |
| <br> | |
| <li1 value="1" class="textoVisible ">1. Analizar los recursos que dispone el cluster y las necesidades del trabajo. | |
| <span class="textoOculto">Utilizar los comandos "sinfo" y "squeue". | |
| </span> | |
| </li1> <br> <br> | |
| |
| <li1 class="textoVisible1 ">2. Enviar el trabajo : | |
| <!-- <span class="textoOculto"> Existen dos opciones de envió: | |
| <br>Interactivamente utilizar "srun" y sus parámetros | |
| <br> Utilizar Script con el comando "sbatch" y sus parámetros. | |
| </span>--> | |
| <li1 class="textoVisible ">A) Interactivamente. | |
| <span class="textoOculto2"> Se utiliza "srun" con los parámetros de configuración del trabajo. Es una forma rápida de enviar el trabajo a ejecución, pero con varias restricciones. | |
| </span> | |
| </li1> | |
| <span> </span> | |
| <li1 class="textoVisible ">B) Utilizar scripts. | |
| <span class="textoOculto2"> Se debe crear un script con la configuración del trabajo. Usar "sbatch" y sus parámetros. | |
| </span> | |
| </li1> | |
| </li1> | |
| |
| <br> | |
| <br> | |
| <li1 class="textoVisible ">3. (Opcional) Verificar la correcta configuración. | |
| <span class="textoOculto"> Utilizar el comando "scontrol show job <JOBID>". | |
| </span> | |
| </li1> <br> <br> | |
| |
| <li1 class="textoVisible ">4. (Opcional) Recuperar la información que resulta de la ejecución del trabajo. | |
| <span class="textoOculto">Interactivamente: los resultados, errores, etc. se verán en el shell.<br> | |
| Scripts: se guardan en un archivo llamado slurm-<JOBID>.out | |
| |
| </span> | |
| </li1> <br> <br> | |
| </div> | |
| |
| | <!-- <p><a href="https://slurm.schedmd.com/"> Licencias</a> e. </p>--> |
| |
| | |
| |
| </div> | |
| <br> | <br> |
| <!-- <h3 >Comandos para ejecutar un trabajo</h3> --> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> |
| |
| </HTML> | </HTML> |
| ===== Comandos para ejecutar un trabajo ===== | |
| <HTML> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | |
| |
| | =====Ejemplos de licencias de software===== |
| <button class="botonPanel"><b>SRUN:</b> envío de trabajo para ser ejecutado interactivamente</button> | <HTML> |
| <div class="panel"> | |
| <br> | |
| <p><b>Envía el trabajo para ser ejecutado a Slurm. Si no posee recursos para el trabajo el shell queda esperando a que se desocupen. Si posee recursos ejecuta el programa y nos proporciona por la consola los resultados de la ejecución</b></p> | |
| <ul class="shell-body" > | |
| <li style="color:greenyellow">[usuario@clemente ~]$ srun <NombrePrograma> </li> | |
| </ul> | |
| <p> </p> | |
| <p><b>Parámetros de srun</b></p> | |
| <p><b>-n, --ntasks:</b> especifica la cantidad de tareas para correr. Por default 1 tarea por 1 CPU.</p> | |
| <p><b>-j, --job-name:</b> especifica el nombre de la tarea</p> | |
| <p><b>-N, --nodes:</b> especifica el mínimo de nodos que deben ser reservado para el trabajo</p> | |
| <p><b>-p, --partition:</b> especifica la partición donde el trabajo se va a ejecutar.</p> | |
| <p><b>-v -vv -vvv :</b> Aumenta el nivel de verbosidad.</p> | |
| <p><b>-o <ArchivoSalida>:</b> Redirecciona la salida al archivo especificado.</p> | |
| | |
| <br><br><h4>Ejemplos srun</h4> | |
| <br> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ srun -n 2 miPrograma</li> | |
| </ul><br> | |
| <p>Ejecuta miPrograma en 2 tareas, cada una en diferentes CPUs </p> | |
| <br> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ srun -n 6 --tasks-per-node=3 --partition=debug miPrograma</li> | |
| </ul><br> | |
| <p>Ejecuta miPrograma en 6 tareas distribuida en dos nodos, en la partición debug. </p> | |
| <br><br> | |
| | |
| </div> | |
| | |
| <button class="botonPanel"><b>SBATCH:</b> envío de un script de trabajo al sistema de cola de espera slurm</button> | |
| <div class="panel"> | |
| <br> | |
| <p><b>SBATCH es la forma más adecuada de ejecutar un trabajo. Se utiliza un archivo script para la configuración de Slurm y del sistema operativo para ejecutar el trabajo. </b></p> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ srun <NombreScriptSlurm> </li> | |
| </ul> | |
| <p> </p> | |
| <p><b>Parámetros de sbatch</b></p> | |
| <p><b>-n, --ntasks:</b> especifica la cantidad de tareas (procesos) para correr</p> | |
| <p><b>-j, --job-name:</b> especifica el nombre de la tarea</p> | |
| <p><b>-N, --nodes:</b> especifica el mínimo de nodos que deben ser reservado para el trabajo</p> | |
| <p><b>-p, --partition:</b> especifica la partición donde el trabajo se va a ejecutar.</p> | |
| <p><b>--mail-user <email>--mail-type=ALL: </b>Envía un mail notificando el cambio de estado en el trabajo</p> | |
| | |
| | |
| <br><br><h4>Ejemplos sbatch</h4> | |
| <br> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ sbatch -N2 --name=<nombre> --mail-user= <email@address.com> --mail-type=ALL <NombreScriptSlurm> /li> | |
| </ul><br> | |
| <p>Ejecuta el script NombreScriptSlurm en 2 nodos y enviá mail por cambios de estados</p> | |
| <br> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ sbatch -N3 --time=60</li> | |
| </ul><br> | |
| <p>Ejecuta el script NombreScriptSlurm en 3 nodos y como limite máximo de tiempo 1 hora . </p> | |
| <br><br> | |
| <p><i>Para más información ver la sección "Script de lanzamientos y comandos SBATCH".</i> </p> | |
| | |
| | |
| </div> | |
| <br> | |
| <br> | |
| <br> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | |
| </HTML> | |
| | |
| ===== Comandos para ver información ===== | |
| <HTML> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | |
| <!-- <h3 >Comandos para ver información</h3> --> | |
| <button class="botonPanel"><b>SINFO:</b> nos muestra información de las particiones y sus nodos (Particiones, nodos, tiempo máximo, estado de la partición)</button> | |
| <div class="panel"> | |
| <br> | |
| <p><b>Ejemplo de sinfo en el cluster Clemente</b></p> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ sinfo</li> | |
| <li style="color:greenyellow"> </li> | |
| <li style="color:greenyellow">PARTIT AVAIL TIMELIMIT NODES STATE NODELIST</li> | |
| <li style="color:greenyellow">debug up 2:00 4 idle clemente[01-04]</li> | |
| <li style="color:greenyellow">batch* up 5-00:00:00 3 idle clemente[01-03]</li> | |
| <li style="color:greenyellow">small up 1:00:00 1 drain clemente04</li> | |
| <li style="color:greenyellow">gpu up 3-00:00:00 1 drain clemente04</li> | |
| | |
| </ul> | |
| <p> </p> | |
| <p><b>Información que brinda sinfo:</b></p> | |
| <p><b>PARTIT:</b> Nombre de la partición. El sufijo * indica que es la partición por defecto.</p> | |
| <p><b>AVAIL:</b> Estado de la partición: UP es disponible y DOWN no disponible. </p> | |
| <p><b>TIMELIMIT:</b> Tiempo máximo de ejecución de un trabajo, en formato días-horas:minutos:segundos.</p> | |
| <p><b>NODES:</b> Cantidad de nodos.</p> | |
| <p><b>STATE:</b> Estados de los nodos en formato:</p> | |
| <span> <span><i>ALLOCATED:</i> El nodo esta asignado a uno o más trabajos. </span></span><br><br> | |
| <span> <span><i>ALLOCATED+:</i> El nodo esta asignado a uno o más trabajos. Y uno o más trabajos estan completados. </span></span><br><br> | |
| <span> <span><i>COMPLETING:</i> Todos los trabajos asociados con este nodo están en proceso de COMPLETAR. Este estado de nodo se eliminará cuando todos los procesos del trabajo hayan finalizado y el programa epilog SLURM (si lo hubiera) haya finalizado. </span></span><br><br> | |
| <span> <span><i>DOWN:</i> El nodo no está disponible para su uso. SLURM puede colocar nodos automáticamente en este estado si ocurre alguna falla. Los administradores del sistema también pueden colocar nodos explícitamente en este estado</span></span><br><br> | |
| <span> <span><i>DRAINED:</i> El nodo no está disponible para su uso por solicitud del administrador del sistema.</span></span><br><br> | |
| <span> <span><i>DRAINING:</i> El nodo está actualmente ejecutando un trabajo, pero no se asignará a trabajos adicionales. El estado del nodo se cambiará para indicar DRAINED cuando finalice el último trabajo en él.</span></span><br><br> | |
| <span> <span><i>FAIL:</i> Se espera que el nodo falle pronto y no esté disponible para su uso por solicitud del administrador del sistema. </span></span><br><br> | |
| <span> <span><i>IDLE:</i> El nodo no está asignado a ningún trabajo y está disponible para su uso. </span><br><br> | |
| <span> <span><i>MAINT:</i> El nodo está actualmente en una reserva con un valor de bandera de "mantenimiento" o está programado para reiniciarse. </span></span> <br><br> | |
| <span> <span>UNKNOWN:</i> El controlador SLURM acaba de comenzar y el estado del nodo aún no se ha determinado. </span></span><br><br> | |
| <p><b>NODELIST:</b> Nombres de los nodos.</p> | |
| </div> | |
| | |
| <button class="botonPanel"><b>SQUEUE:</b> nos muestra información de los trabajos en la cola de planificación</button> | |
| <div class="panel"> | |
| <br> | |
| <p><b>Ejemplo de squeue en el cluster Clemente</b></p> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$ squeue</li> | |
| <li style="color:greenyellow"> </li> | |
| <li style="color:greenyellow">PARTITION JOBID PRIO NAME USER ST TIME NO CPU GRES NODELIST(REASON)</li> | |
| <li style="color:greenyellow">batch 2255 4294 flash usuario3 PD 0:00 2 112 (null) (Resources)</li> | |
| <li style="color:greenyellow">batch 2254 4294 IM3SHAPE usuario2 R 5:10:30 2 112 (null) clemente[1-2]</li> | |
| <li style="color:greenyellow">batch 2253 4294 cli usuario1 R 1:05:07 1 56 (null) clemente3</li> | |
| | |
| </ul> | |
| <br> | |
| <p><b>Información que brinda squeue:</b> | |
| <br><br> | |
| <b>PARTITION:</b> El nombre de la partición en que esta asignado el trabajo.<br><br> | |
| <b>JOBID:</b> <p1>El identificador del trabajo. Es útil tener presente este identificador porque es muy usados, tanto para los nombre por estándar y como parámetro en la ejecución de otros comandos slurm. </p1><br><br> | |
| <b>PRIO:</b> La prioridad del trabajo. Actualmente todos tienen la misma prioridad y se van asignando por orden de llegada.<br><br> | |
| <b>NAME:</b> Nombre del trabajo.<br><br> | |
| <b>USER:</b> El usuario que envío el trabajo.<br><br> | |
| <b>TIME:</b> El tiempo que lleva ejecutando en formato días-horas:minutos:segundos. Si su tiempo es 0:00:00 significa que esta esperando por recursos.<br><br> | |
| <b>NO:</b> La cantidad de nodos reservados para el trabajo.<br><br> | |
| <b>CPU:</b> La cantidad de cores totales que se reservo.<br><br> | |
| <b>GRES:</b> Los aceleradores que reservo.<br><br> | |
| <b>NODELIST(REASON):</b> Los nodos en los que está corriendo el trabajo, o la razón por la que no se está ejecutando todavía. Algunas razones comunes son:<br><br> | |
| <i> Resources: </i> No hay recursos libres en el cluster para ejecutarlo.<br><br> | |
| <i> Priority: </i> Hay trabajos con mayor prioridad esperando a ser ejecutados.<br><br> | |
| <i> AssociationJobLimit: </i> El usuario ya excede la cantidad de trabajos máxima en ejecución simultánea.<br><br> | |
| <i> JobHeldUser: </i> El usuario ha suspendido el trabajo.<br><br> | |
| <i> JobHeldAdmin: </i> Un administrador ha suspendido el trabajo.<br><br> | |
| <i> Launch failed requeued held: </i> SLURM encontró un error al iniciar el trabajo y lo ha suspendido.<br> | |
| </p> | |
| | |
| | |
| </div> | |
| | |
| <button class="botonPanel"><b>SCONTROL SHOW NODES:</b> Muestra información de los nodos, de todos o uno en particular</button> | |
| <div class="panel"> | |
| <br> | |
| <p>Para mostrar la información de todos los nodos "scontrol show nodes". | |
| <br>Para mostrar la información de un nodo en particular scontrol show nodes <NombreNodo> <br><br> | |
| <b>Ejemplo de scontrol show nodes <NombreNodo> </b></p> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$scontrol show nodes clemente01</li> | |
| <li style="color:greenyellow">NodeName=clemente01 Arch=x86_64 CoresPerSocket=14</li> | |
| <li style="color:greenyellow"> CPUAlloc=56 CPUErr=0 <consolaResaltada class="consolaResaltada" style="color: red" >CPUTot=56</consolaResaltada> CPULoad=56.02</li> | |
| <li style="color:greenyellow"> AvailableFeatures=(null) </li> | |
| <li style="color:greenyellow"> ActiveFeatures=(null)</li> | |
| <li style="color:greenyellow"> Gres=<cr style="color: red" >gpu:0 </cr></li> | |
| <li style="color:greenyellow"> NodeAddr=<cr style="color: red" >clemente01 </cr>NodeHostName=clemente01 Version=17.11</li> | |
| <li style="color:greenyellow"> OS=Linux 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016</li> | |
| <li style="color:greenyellow"> RealMemory=1 AllocMem=0 FreeMem=107711 Sockets=2 Boards=1</li> | |
| <li style="color:greenyellow"> State=ALLOCATED ThreadsPerCore=2 TmpDisk=0 Weight=1 Owner=N/A MCS_label=N/A</li> | |
| <li style="color:greenyellow"> Partitions=<cr style="color: red" >debug,batch</cr></li> | |
| <li style="color:greenyellow"> BootTime=2018-06-04T14:56:55 SlurmdStartTime=2018-06-25T11:53:33</li> | |
| <li style="color:greenyellow"> CfgTRES=cpu=56,mem=1M,billing=56</li> | |
| <li style="color:greenyellow"> AllocTRES=cpu=56</li> | |
| <li style="color:greenyellow"> CapWatts=n/a</li> | |
| <li style="color:greenyellow"> CurrentWatts=0 LowestJoules=0 ConsumedJoules=0</li> | |
| <li style="color:greenyellow"> ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/s</li> | |
| | |
| </ul> | |
| <p> </p> | |
| <p><b>Explicación de scontrol show nodes</b></p> | |
| <p> Resaltado en color rojo se puede observar los datos más importantes: la cantidad de núcleos del nodo, si posee GPU, el nombre del nodo y las particiones a la que pertenece</p> | |
| | |
| </div> | |
| <button class="botonPanel"><b>SCONTROL SHOW JOB <JOBID> :</b> Muestra información de configuración del trabajo</button> | |
| <div class="panel"> | |
| <br> | |
| <p>Por la complejidad de la configuración existen muchos casos donde el trabajo se realiza incorrectamente, para corroborar los parámetros del trabajo podemos utilizar el comando "scontrol show job <JOBID>". <br> | |
| | |
| <br><br><b>Ejemplo de scontrol show job <JOBID> </b></p> | |
| <ul class="shell-body"> | |
| <li style="color:greenyellow">[usuario@clemente ~]$scontrol show nodes</li> | |
| <li style="color:greenyellow"> <cr style="color: red" >JobId=2256 JobName=nombreTrabajo</cr></li> | |
| <li style="color:greenyellow"> UserId=usuario GroupId=usuarios MCS_label=N/A/li> | |
| <li style="color:greenyellow"> Priority=4294900462 Nice=0 Account=iate QOS=normal</li> | |
| <li style="color:greenyellow"> JobState=RUNNING Reason=None Dependency=(null)</li> | |
| <li style="color:greenyellow"> Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0</li> | |
| <li style="color:greenyellow"> <cr style="color: yellow" >RunTime=00:34:52 TimeLimit=3-00:00:00</cr> TimeMin=N/A</li> | |
| <li style="color:greenyellow"> SubmitTime=2018-07-19T14:07:48 EligibleTime=2018-07-19T14:07:48</li> | |
| <li style="color:greenyellow"> StartTime=2018-07-19T16:42:06 EndTime=2018-07-22T16:42:06 Deadline=N/A</li> | |
| <li style="color:greenyellow"> PreemptTime=None SuspendTime=None SecsPreSuspend=0</li> | |
| <li style="color:greenyellow"> LastSchedEval=2018-07-19T16:42:06</li> | |
| <li style="color:greenyellow"> <cr style="color: darkgray" >Partition=batch</cr> AllocNode:Sid=clemente:3638</li> | |
| <li style="color:greenyellow"> ReqNodeList=(null) ExcNodeList=(null)</li> | |
| <li style="color:greenyellow"> <cr style="color: darkgray" >NodeList=clemente02</cr></li> | |
| <li style="color:greenyellow"> BatchHost=clemente02</li> | |
| <li style="color:greenyellow"> <cr style="color: orange" >NumNodes=1 NumCPUs=56 NumTasks=1</cr> CPUs/Task= 56 ReqB:S:C:T=0:0:*:*</li> | |
| <li style="color:greenyellow"> TRES=cpu=56,node=1,billing=56</li> | |
| <li style="color:greenyellow"> Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*</li> | |
| <li style="color:greenyellow"> MinCPUsNode=56 MinMemoryNode=0 MinTmpDiskNode=0</li> | |
| <li style="color:greenyellow"> Features=(null) DelayBoot=00:00:00</li> | |
| <li style="color:greenyellow"> <cr style="color: skyblue" >Gres=(null)</cr> Reservation=(null)</li> | |
| <li style="color:greenyellow"> OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)</li> | |
| <li style="color:greenyellow"> <cr style="color: pink" >Command=/mnt/test/submit.sh</cr></li> | |
| <li style="color:greenyellow"> <cr style="color: pink" >WorkDir=/mnt/test</cr> </li> | |
| <li style="color:greenyellow"> <cr style="color: pink" >StdErr=/mnt/test/slurm-2256.out</cr> </li> | |
| <li style="color:greenyellow"> <cr style="color: pink" >StdIn=/dev/null</cr> </li> | |
| <li style="color:greenyellow"> <cr style="color: pink" >StdOut=/mnt/test/slurm-2256.out</cr> </li> | |
| <li style="color:greenyellow"> Power= </li> | |
| </ul> | |
| <p> </p> | |
| <p><b>Explicación de scontrol show job <JOBID> </b></p> | |
| <p>En <cr style="color: red; background:black" > rojo </cr> se puede observar el id del trabajo(JOBID) y el nombre del trabajo, los cuales son útiles para identificarlos cuando se utilizan otros comandos. | |
| <br><br> | |
| En <cr style="color: yellow; background:black " > amarillo </cr> el tiempo transcurrido y el tiempo máximo que puede ejecutarse el trabajo, en formato días-horas:minutos:segundos. | |
| <br><br> | |
| En <cr style="color: darkgray; background:black" > gris </cr> el nombre de la partición y la lista de nodos que tiene asignado el trabajo. | |
| <br><br> | |
| En <cr style="color: orange; background:black" > naranja </cr> el número de nodos, de CPU y de tareas. | |
| <br><br> | |
| En <cr style="color: skyblue; background:black" > celeste </cr> si al trabajo se le asigno una GPU. | |
| <br><br> | |
| En <cr style="color: pink; background:black" > rosa </cr> las dirección y los nombres del archivo suministrado a Slurm, el archivo donde se escribirán los errores, el archivo de entrada de parámetros y el archivo donde se guardan los logs del trabajo. | |
| | |
| </p> | |
| | |
| </div> | |
| | |
| | |
| <br> | |
| <br> | |
| <br> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> |
| |
| </HTML> | |
| | |
| |
| | <button class="botonPanel" >MIT</button> |
| =====Ejemplos Script Slurm===== | |
| <HTML> | |
| <!-- ---------------------------------------------------------------------------------------------------------------------------------- --> | |
| | |
| <button class="botonPanel" >Scripts Slurm Clemente</button> | |
| <div class="panel"> | |
| <button class="botonPanel" >GPU</button> | |
| <div class="panel"> | <div class="panel"> |
| <br> | <br> |
| <ul class="ul1"> | <ul class="ul1"> |
| <li class="li1">Tarea: ejecutar programas utilizando gpu </li> | <li class="li1"> </li> |
| <li class="li1">Ejecución: sbatch submit_gpu_job.sh </li> | <li class="li1">Wikipedia: https://es.wikipedia.org/wiki/Licencia_MIT </li> |
| <li class="li1">Partición: gpu </li> | <li class="li1">Copyleft: NO </li> |
| <li class="li1">Tiempo máximo: 3 días </li> | <li class="li1">Utilizable con otras licencias</li> |
| |
| </ul> | </ul> |
| <br> | <br> |
| </HTML> | </HTML> |
| <file c submit_gpu_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,11,14,17,28,32"]> | <file txt LICENSE[enable_line_numbers="true",highlight_lines_extra="11,12,13,14,15,16,17"]> |
| #!/bin/bash | MIT License |
| |
| ### Las líneas #SBATCH configuran los recursos de la tarea | Copyright (c) <YEAR> <COPYRIGHT HOLDER> |
| ### (aunque parezcan estar comentadas) | |
| |
| ### Nombre de la tarea | Permission is hereby granted, free of charge, to any person obtaining a copy |
| #SBATCH --job-name=gpu_job | of this software and associated documentation files (the "Software"), to deal |
| | in the Software without restriction, including without limitation the rights |
| | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell |
| | copies of the Software, and to permit persons to whom the Software is |
| | furnished to do so, subject to the following conditions: |
| |
| ### Cola de trabajos a la cual enviar. | The above copyright notice and this permission notice shall be included in all |
| #SBATCH --partition=gpu | copies or substantial portions of the Software. |
| #SBATCH --gres=gpu:1 | |
| |
| ### Procesos a largar. | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR |
| ### Por defecto, se usa un solo proceso para tareas GPU. | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, |
| #SBATCH --ntasks-per-node=1 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE |
| | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER |
| ### Tiempo de ejecucion. Formato dias-horas:minutos. | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, |
| #SBATCH --time 3-0:00 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE |
| | SOFTWARE. |
| ### Script que se ejecuta al arrancar el trabajo | |
| | |
| ### Cargar el entorno del usuario incluyendo la funcionalidad de modules | |
| ### No tocar | |
| . /etc/profile | |
| | |
| ### Cargar los módulos para la tarea | |
| # FALTA: Agregar los módulos necesarios | |
| module load gcc | |
| module load cuda | |
| ### Largar el programa | |
| # FALTA: Cambiar el nombre del programa | |
| srun NOMBRE_DEL_PROGRAMA | |
| </file> | </file> |
| <HTML> | <HTML> |
| </div> | </div> |
| | |
| <button class="botonPanel" >MPI</button> | <button class="botonPanel" >BSD 3</button> |
| <div class="panel"> | <div class="panel"> |
| <br> | <br> |
| <ul class="ul1"> | <ul class="ul1"> |
| <li class="li1">Tarea: ejecutar programas utilizando mpi </li> | <li class="li1">Wikipedia: https://es.wikipedia.org/wiki/Licencia_BSD </li> |
| <li class="li1">Ejecución: sbatch submit_mpi_job.sh </li> | <li class="li1">Copyleft: NO </li> |
| <li class="li1">Partición: batch </li> | <li class="li1">Utilizable con otras licencias</li> |
| <li class="li1">Tiempo máximo: 3 días </li> | |
| </ul> | </ul> |
| <br> | <br> |
| </HTML> | </HTML> |
| <file c submit_mpi_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,13,16,26,31"]> | <file txt LICENSE[enable_line_numbers="true",highlight_lines_extra="21,22,23,24,25"]> |
| #!/bin/bash | BSD 3-Clause License |
| |
| ### Las líneas #SBATCH configuran los recursos de la tarea | Copyright (c) <YEAR> <COPYRIGHT HOLDER> |
| ### (aunque parezcan estar comentadas) | All rights reserved. |
| |
| ### Nombre de la tarea | Redistribution and use in source and binary forms, with or without |
| #SBATCH --job-name=mpi_job | modification, are permitted provided that the following conditions are met: |
| |
| ### Tiempo de ejecucion. Formato dias-horas:minutos. | 1. Redistributions of source code must retain the above copyright notice, this |
| #SBATCH --time 3-0:00 | list of conditions and the following disclaimer. |
| |
| ### Numero de procesos a ser lanzados. | 2. Redistributions in binary form must reproduce the above copyright notice, |
| #SBATCH --ntasks=2 | this list of conditions and the following disclaimer in the documentation |
| | and/or other materials provided with the distribution. |
| |
| ### Nombre de partcion | 3. Neither the name of the copyright holder nor the names of its |
| #SBATCH --partition=batch | contributors may be used to endorse or promote products derived from |
| | this software without specific prior written permission. |
| |
| ### Script que se ejecuta al arrancar el trabajo | THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" |
| | AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE |
| ### Cargar el entorno del usuario incluyendo la funcionalidad de modules | IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE |
| ### No tocar | DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE |
| . /etc/profile | FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL |
| | DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR |
| ### Cargar los módulos para la tarea | SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER |
| # FALTA: Agregar los módulos necesarios | CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, |
| module load gcc | OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE |
| module load openmpi | OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
| | |
| ### Largar el programa con los cores detectados | |
| ### La cantidad de nodos y cores se detecta automáticamente | |
| # FALTA: Cambiar el nombre del programa | |
| srun NOMBRE_DEL_PROGRAMA | |
| </file> | </file> |
| <HTML> | <HTML> |
| </div> | </div> |
| | |
| <button class="botonPanel" >OPENMP</button> | |
| <div class="panel"> | |
| <br> | |
| <ul class="ul1"> | |
| <li class="li1">Tarea: ejecutar programas utilizando OPENMP </li> | |
| <li class="li1">Ejecución: sbatch openmp </li> | |
| <li class="li1">Partición: batch </li> | |
| <li class="li1">Tiempo máximo: 3 días </li> | |
| </ul> | |
| <br> | |
| </HTML> | |
| <file c submit_openmp_job.sh[enable_line_numbers="true",highlight_lines_extra="7,10,18,21,30,31,35,39"]> | |
| #!/bin/bash | |
| |
| ### Las líneas #SBATCH configuran los recursos de la tarea | |
| ### (aunque parezcan estar comentadas) | |
| |
| ### Nombre de la tarea | |
| #SBATCH --job-name=openmp_job | |
| |
| ### Cola de trabajos a la cual enviar. | |
| #SBATCH --partition=batch | |
| |
| ### Procesos a largar. | |
| ### Es OpenMP, o sea que un proceso en un nodo y muchos hilos. | |
| #SBATCH --ntasks=1 | |
| |
| ### Hilos por proceso | |
| ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS | |
| #SBATCH --cpus-per-task=56 | |
| |
| ### Tiempo de ejecucion. Formato dias-horas:minutos. | |
| #SBATCH --time 3-0:00 | |
| |
| ### Script que se ejecuta al arrancar el trabajo | |
| |
| ### Cargar el entorno del usuario incluyendo la funcionalidad de modules | |
| ### No tocar | |
| . /etc/profile | |
| |
| ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada. | |
| export OMP_NUM_THREADS=56 | |
| export MKL_NUM_THREADS=56 | |
| |
| ### Cargar los módulos para la tarea | |
| # FALTA: Agregar los módulos necesarios | |
| module load gcc | |
| |
| ### Largar el programa | |
| # FALTA: Cambiar el nombre del programa | |
| srun NOMBRE_DEL_PROGRAMA | |
| </file> | |
| <HTML> | |
| </div> | |
| | |
| | |
| | |
| </div> | </div> |
| | |
| | |
| | |
| | |
| | |
| |
| </div> | </div> |
| |
| | |
| | |
| | |
| | |
| | |
| | |
| | |
| | |
| | |
| | |
| |
| | |
| | |
| | |
| </div> | |
| <br> | <br> |
| <br> | <br> |
