Changeset 1043
- Timestamp:
- May 10, 2018, 2:35:36 PM (6 years ago)
- Location:
- trunk/src
- Files:
-
- 2 edited
Legend:
- Unmodified
- Added
- Removed
-
trunk/src/cluster_command_psmn.m
r1042 r1043 17 17 function cmd=cluster_command_psmn(ListProcessFile, ActionFullName, DirLog, NbProcess, NbCore, CPUTimeProcess) 18 18 SubmitScriptFile = regexprep(ListProcessFile, '\job_list.txt\>', 'submit_script.sh'); 19 19 fid_list = fopen(ListProcessFile, 'r'); 20 20 fid_submit = fopen(SubmitScriptFile, 'w'); 21 21 i=1; 22 23 22 while(true) 23 process = fgets(fid_list); 24 24 if(process == -1) 25 25 break 26 26 end 27 27 n = numel(process); … … 35 35 process char(10)]); 36 36 i=i+1; 37 38 37 end 38 fclose(fid_list); 39 39 fclose(fid_submit); 40 40 system(['chmod +x ' SubmitScriptFile]); -
trunk/src/series.xml.psmn
r1042 r1043 1 1 <?xml version="1.0"?> 2 2 <SeriesParam> 3 <DiskQuotaCmd></DiskQuotaCmd> <!-- pas de quota au psmn --> 4 <ClusterParam> 5 <ExistenceTest>qstat -help</ExistenceTest> 6 <!-- la politique au PSMN est d'envoyer de nombreux jobs, de courte durée et 7 de 1 cÅur. En effet, on n'est pas les seuls à avoir besoin de jobs non 8 parallélisé. Et il y a des nÅuds financés avec des projets spécifiques 9 auxquels on a accÚs avec le deal que les financeurs devront attendre 10 moins de 15 minutes. La queue à utiliser est "piv_debian" et c'est une 11 queue virtuelle. 12 Le staff du PSMN est trÚs favorable à ce qu'on envoie un grand nombre de 13 jobs courts sur un seul cÅur car ils les utilisent pour équilibrer la 14 charge. 15 Les tests récents ont montré qu'on peut sans problÚme avoir prÚs de 80k 16 jobs. Donc 10k jobs par utilisateur n'est pas un problÚme. 17 --> 18 <NbCoreAdvised>1</NbCoreAdvised> <!-- 1 cÅur --> 19 <NbCoreMax>1</NbCoreMax> <!--maximum 1 cÅur --> 20 <JobCPUTimeAdvised unit="minute">1</JobCPUTimeAdvised> <!--used to group 21 the iterations into jobs of sufficient CPU time. 22 Default estimate is 1 min per image pair, so 23 JobCPUTimeAdvised=1min means 1 image pair per job--> 24 <JobNumberMax>10000</JobNumberMax><!--maximum number of jobs allowed (will group the iterations to fit in)--> 25 <WallTimeMax unit="hour">23</WallTimeMax> <!--maximum allowed time for a job --> 26 <JobStatCmd>qstat |grep UVmat</JobStatCmd> <!--command to know the number of active and waiting job launches--> 27 <LaunchCmdFcn>cluster_command_psmn</LaunchCmdFcn> <!--name of the function used to create job launch commmand--> 28 </ClusterParam> 29 <SgeParam> 30 </SgeParam> 3 <DiskQuotaCmd></DiskQuotaCmd> <!-- pas de quota au PSMN --> 4 <ClusterParam> 5 <ExistenceTest>qstat -help</ExistenceTest> 6 <!-- la politique au PSMN est d'envoyer de nombreux jobs, de courte durée et 7 de 1 cÅur. En effet, on n'est pas les seuls à avoir besoin de jobs non 8 parallélisé. Et il y a des nÅuds financés avec des projets spécifiques 9 auxquels on a accÚs avec le deal que les financeurs devront attendre 10 moins de 15 minutes. La queue à utiliser est "piv_debian" et c'est une 11 queue virtuelle. 12 Le staff du PSMN est trÚs favorable à ce qu'on envoie un grand nombre de 13 jobs courts sur un seul cÅur car ils les utilisent pour équilibrer la 14 charge. 15 Les tests récents ont montré qu'on peut sans problÚme avoir prÚs de 80k 16 jobs. Donc 10k jobs par utilisateur n'est pas un problÚme. 17 --> 18 <NbCoreAdvised>1</NbCoreAdvised> <!-- 1 cÅur --> 19 <NbCoreMax>1</NbCoreMax> <!-- maximum 1 cÅur --> 20 <JobCPUTimeAdvised unit="minute">1</JobCPUTimeAdvised> <!--used to group 21 the iterations into jobs of sufficient CPU time. 22 Default estimate is 1 min per image pair, so 23 JobCPUTimeAdvised=1min means 1 image pair per job 24 --> 25 <JobNumberMax>10000</JobNumberMax> <!-- maximum number of jobs allowed (will group the iterations to fit in) --> 26 <WallTimeMax unit="hour">23</WallTimeMax> <!-- maximum allowed time for a job --> 27 <JobStatCmd>qstat |grep UVmat</JobStatCmd> <!-- command to know the number of active and waiting job launches --> 28 <LaunchCmdFcn>cluster_command_psmn</LaunchCmdFcn> <!-- name of the function used to create job launch commmand --> 29 </ClusterParam> 30 <SgeParam> 31 </SgeParam> 31 32 </SeriesParam>
Note: See TracChangeset
for help on using the changeset viewer.