Politika zálohování

Z MetaCentrum
Přejít na: navigace, hledání

Celková strategie zálohování

MetaCentrum poskytuje svým uživatelům několik druhů úložných prostorů, které slouží primárně k výpočetnímu zpracování dat, nikoli k jejich zálohování nebo archivaci. Prostory jsou rozděleny dle níže uvedených pravidel do zálohovacích tříd, které popisují automaticky prováděné zálohy dat. Předpokládá se, že každý uživatel MetaCentra odpovídajícím způsobem pracuje s uloženými daty s ohledem na jejich charakter, důležitost a pracovní workflow a zejména provádí vlastní zálohování/replikaci důležitých dat například s pomocí prostor poskytovaných datovými úložišti CESNET (více viz https://du.cesnet.cz/).

Zálohovací politika

Třída 0 - data nejsou zálohována

Žádná ochrana proti omylu ani poruše, data nejsou zálohována. Jedná se typicky o prostory pro dočasné velmi rychlé uložení dat na výpočetních uzlech (scratch).

Třída 1 - běžná ochrana dat

Úložný systém je chráněn vnitřní redundancí (např. RAID 6) proti poruše HW.

Třída 2 - záloha formou časových řezů

Stejně jako třída 1 s tím, že poskytuje službu pro řešení omylů ve formě časových řezů dat (snapshoty). Tyto časové řezy jsou fyzicky uložené na stejném HW jako primární data. Typicky se provádí jeden snapshot za den a uchovává se 14 dnů zpět.

Třída 3 - data se záložní kopií

Stejně jako třída 2 s tím, že data jsou pravidelně kopírována do zálohy umístěné na samostatném zálohovacím systému, čímž jsou chráněna proti zásadní HW nebo SW poruše primárního úložiště. Přístup k datům v případě takové zásadní poruchy může být významně omezen (doba obnovy). Typickým zálohovacím cyklem je 2 x (plná záloha + měsíc inkrementů), přičemž zálohování se provádí jednou za dva dny.

Třída 4 - plně redundandní datový systém

Stejně jako třída 3 s tím, že data jsou průběžně kopírována na záložní úložný systém (živá replika), který je schopen v případě poruchy převzít funkci primárního úložného systému.

Zálohovací politiky jednotlivých úložných prostorů

Úložné prostory Třída Poznámka
scratch, scratch.shared 0 všechny prostory scratch na výpočetních uzlech
Hadoop 1 souborový systém HDFS udržuje několik kopií dat, všechny v jednom systému
Ceph 1 Redundance na úrovni CEPH může být podobná RAID6 (erasure code) nebo plnou replikací. Plná replikace by se v některých případech (repliky v jiném racku) dala považovat za třídu 4.
/storage/* kromě du-cesnet 2 nebo 3 rozdělení do tříd viz tabulka NFS4_Servery
MetaCloud 3 Zálohované jsou permanentní obrazy, běžící stroje jsou ve třídě 0
Backend služeb, databáze (Elixir, ESA) 3 Individuálně může být v režimu třídy 1 (regionální repliky dat apod.)
Virtualizační platforma VMWare 4 Třída 4 pouze pro vybrané produkční virtuální stroje, jinak 3


Diskové systémy /storage/du-cesnet/

Jedná se o přístup do DU, viz pravidla na https://du.cesnet.cz/