Changes between Initial Version and Version 1 of CoriolisCluster

Timestamp:

Apr 20, 2011, 9:10:48 AM (15 years ago)

Author:

g7moreau

Comment:

Create page

CoriolisCluster

@@ +1 @@
+= CoriolisCluster =
+
+== Acces ==
+
+=== Client Terminaux ===
+
+Utiliser NXClient version 2 , telechargeable sur http://www.nomachine.com/download.php  section          NX Client Desktop Edition
+
+Configurer la connection, le nom d'hote est bigone.coriolis-legi.org; Si vous accedez depuis l'exterieur de coriolis il faut cocher la case " Enable SSL for all traffic" dans le menu 'Advanced'.
+
+ * De l'interieur, selectionner l'option 'General/LAN'.
+ * Pour un clavier francais, utiliser le menu 'Advanced/Keyboard/French(Alternative)' ET si vous avez toujours des problemes sous KDE : 
+   * tapez la commande setxkbmap fr
+   * dans le menu "Control Center" puis "Regional & Accessibility" puis Keyboard Layout choisissez Model 105 Keys et layout France,
+     vous devriez avoir un petit drapeau dans la barre de menu en bas a droite pour selectionner votre clavier francais.
+ * If the graphical response is slow,select options in the configuration  menu of NXclient:
+   * Disable !DirectDraw
+   * Disble deferred screen update
+
+=== Acces données ===
+
+L'acces aux données depuis l'exterieur necessite un client scp/ssh , par exemple filezilla
+
+Configurer le client !FileZilla (http://sourceforge.net/project/showfiles.php?group_id=21558) ainsi : 
+
+Menu Fichier : gestionnaire de site : Nouveau site
+
+Hote : bigone.coriolis-legi.org
+
+Tpe de serveur : SFTP
+
+compte : normal
+
+nom d'utilisateur etc
+
+
+
+== Espace de stockage ==
+
+Une baie de 10TB utile est connectée sous /coriolis/bigone/PROJETS
+
+Les disques partagés des autres PC sont dans /coriolis ; me demander pour ajouter un partage particulier.
+
+== Matlab ==
+
+executer matlab depuis un terminal, ou en entrant matlab dans le champ s'affichant apres avoir pressé les touches Alt+F2
+
+Par defaut, matlab est lancé avec une priorité basse de 10 afin de ne pas perdre de reactivité du système lors de l'execution de longues routines de matlab.
+
+Matlab est installé, le fichier contenant les paths n'est pas modifiable , si vous desirez ajouter vos propres repertoires il faut creer votre propre  A COMPLETER
+
+== Gestionnaire de jobs ==
+
+=== SGE Sun Grid Engine ===
+
+Il existe diferentes files d'attentes (queue) : civ.q pour les calculs civ et fast.q pour les calculs interactifs.
+
+La soumission sur civ.q par
+{{{
+ qsub -q civ.q script_sge_a_executer
+}}}
+ajoute le script en fin de liste d'attente
+
+La soumission sur fast.q par 
+{{{
+ qrsh -q fast.q commande_a_executer
+}}}
+distribue immediatement la commande , ATTENTION au retour de la commande, il est possible que la soumission echoue et dans ce cas la commande n'est pas executée.
+
+Etat des differentes files d'attente:
+{{{
+ qstat -f
+}}}
+
+verifier que le systeme tourne:
+{{{
+ echo "date > /coriolis/bigone/tmp/hostn"|qsub -q civ.q
+}}}
+
+check which nodes are working properly
+{{{
+ wwlist
+}}}
+
+Liste des jobs d'un utilisateur :
+{{{
+ qstat -u username
+}}}
+
+Nombre de jobs :
+{{{
+ qstat -u username | wc -l
+ watch qstat -u username | wc -l
+}}}
+
+Impression de l'ID des jobs :
+{{{
+qstat -u flor|grep job_| awk -F" " '{print$1}'
+}}}
+
+Changement priorité de ces jobs :
+{{{
+for i in `qstat -u flor|grep job_| awk -F" " '{print$1}'`;do qalter -p 100 $i;done
+}}}
+
+Supprimer les jobs en erreur:
+ qmod -c civ.q
+
+Supprimer tous les jobs en attente :
+{{{
+qstat | cut -f 1 -d ' '| tail  -n +3 | xargs  qdel
+}}}
+
+=== Integration de MPI ===
+
+Nous avons integrer lam-mpi dans sge , le path de lam est /usr/local/lam-7.1.2
+
+Pour lancer un job mpi il faut specifier le parallel environnement "lam"<br/>
+Par exemple :
+{{{
+qsub -q lam.q -pe lam 20 /coriolis/bigone/PROJETS/063D3C/run2/j1.job
+}}}
+va lancer le jo j1.job sur 20 slots , dans la queue lam.q en utilisant le "pe" lam.
+
+En bypassant sge il faut :
+{{{
+/usr/local/lam-7.1.2/bin/lamboot -v -ssi boot rsh /usr/local/lam-7.1.2/etc/hostList.ALL 
+mpirun -np 20 /CIVX/bin/civ3d3c -p /coriolis/bigone/PROJETS/063D3C/run2/1.xml
+}}}
+
+== Calculs ==
+
+
+Calculs CIV : utiliser la fonction/bouton BATCH pour que vos jobs soient traités sur le cluster; pour visualiser l'etat de la file d'attente, vous pouvez dans une fenetre terminal utiliser les fonctions :
+pour afficher toute la file : 
+{{{
+ qstat -q civ.q 
+}}}
+
+pour afficher vos jobs dans la file :
+{{{
+qstat -q civ.q -u username
+}}}
+
+pour compter le nombre de jobs en attente :
+{{{
+qstat -q civ.q | grep w | wc -l
+}}}
+
+pour afficher les jobs en erreur :
+{{{
+qstat -q civ.q | grep Eqw 
+}}}
+
+pour compter le nombre de jobs en erreur :
+{{{
+qstat -q civ.q | grep Eqw | wc -l
+}}}
+
+pour avoir des informations sur un job en erreur
+{{{
+qstat -j job_number
+}}}
+
+== Monitoring ==
+
+Ganglia permet de suivre l'utilisation des ressources disques, memoire et CPU : http://bigone/ganglia
+
+Froggy enregistre et trace la temperature, pression et humidité :  http://bigone/froggy
+
+La baie de disque est accessible sur http://10.0.0.252 (depuis le cluster uniquement!), toutes les operations d'administrations peuvent etre effectuées par cette interface.
+
+Deouis bigone, pour voir le statut des noeuds :
+{{{
+  wwlist
+}}}
+
+
+
+== TODO ==
+
+Cups et imprimante
+
+Nut
+
+ACL
+
+== !WareWulf ==
+
+Image des noeuds dans /vnfs/default/
+
+creation de l'image 
+{{{
+ wwvnfs --build 2.6.18-3diskless
+}}}
+
+creation de l'initrd :
+{{{
+ wwmkinitrd 2.6.18-3diskless -v
+}}}