Úložiště scratch
Tzv. scratch je lokální úložiště dočasných dat na výpočetních uzlech. Data by na něm měla být uložena pouze po dobu běhu úlohy, po jejím doběhnutí by měla být okamžitě smazána nebo přesunuta pryč.
Typy scratche
V MetaCentru nabízíme tři druhy scratche:
- ultra rychlý ale malý SSD disk, mapovaný do adresáře /scratch.ssd
- rychlý lokální HDD disk, mapovaný do adresáře /scratch
- síťový svazek sdílený pro všechny uzly daného clusteru, mapovaný do adresáře /scratch.shared
Při zadání úlohy musí být typ scratche specifikován, více v kapitole Průvodce pro začátečníky!
Examples:
-l select=1:ncpus=1:mem=4gb:scratch_local=10gb -l select=1:ncpus=1:mem=4gb:scratch_ssd=1gb -l select=1:ncpus=1:mem=4gb:scratch_shared=1gb
Warning: Rychlé ssd (ssd) scratche a sdílené (shared) scratche nejsou k dispozici na všech strojích MetaCentra. Explicitní požadavek některého z těchto typů scratchů tak omezí výběr nodů, které plánovač může pro počítání vaší úlohy přidělit. Viz přehled hardwarového vybavení MetaCentra na stránkách MetaCentra).
Systémové proměnné
Alokovaná lokace scratche je definovaná systémovou proměnnou $SCRATCHDIR, ukazuje do /directory/username/job_jobid, např. /scratch.ssd/username/job_2477934.meta-pbs.metacentrum.cz. Typ scratche je dán proměnnou $SCRATCH_TYPE a velikost $SCRATCH_VOLUME.
|
Do adresare /scratch*/$USER nejde zapisovat (práva 555).
Úlohy mohou zapisovat pouze do přiděleného podadresáře /scratch*/$USER/job_JOBID. Ujistěte se prosím, že Vaše skripty pracují s proměnnou $SCRATCHDIR (pokud využíváte scratche), ukazatelem na scratchový prostor, který byl Vaší úloze při startu přidělen. Pokud po sobě úloha před skončením uklidí $SCRATCHDIR, PBS adresář typu job_JOBID.meta-pbs.metacentrum.cz smaže sama. V opačném případě dojde ke smazání automaticky spouštěným scriptem nejpozději do 14 dnů (dříve, pokud hrozí zaplnění disku). |
Poznámka: Pro prohlédnutí si systémové proměnné zadejte do příkazové řádky například:
echo $SCRATCHDIR