Politika zálohování

Metacentrum wiki is deprecated after March 2023 Dear users, due to integration of Metacentrum into https://www.e-infra.cz/en (e-INFRA CZ service), the documentation for users will change format and site. The current wiki pages won't be updated after end of March 2023. They will, however, be kept for a few months for backwards reference. The new documentation resides at https://docs.metacentrum.cz.

Celková strategie zálohování

MetaCentrum poskytuje svým uživatelům několik druhů úložných prostorů, které slouží primárně k výpočetnímu zpracování dat, nikoli k jejich zálohování nebo archivaci. Prostory jsou rozděleny dle níže uvedených pravidel do zálohovacích tříd, které popisují automaticky prováděné zálohy dat. Předpokládá se, že každý uživatel MetaCentra odpovídajícím způsobem pracuje s uloženými daty s ohledem na jejich charakter, důležitost a pracovní workflow a zejména provádí vlastní zálohování/replikaci důležitých dat například s pomocí prostor poskytovaných datovými úložišti CESNET (více viz https://du.cesnet.cz/).

Zálohovací politika

Třída 0 - data nejsou zálohována

Žádná ochrana proti omylu ani poruše, data nejsou zálohována. Jedná se typicky o prostory pro dočasné velmi rychlé uložení dat na výpočetních uzlech (scratch).

Třída 1 - běžná ochrana dat

Úložný systém je chráněn vnitřní redundancí (např. RAID 6) proti poruše HW.

Třída 2 - záloha formou časových řezů

Stejně jako třída 1 s tím, že poskytuje službu pro řešení omylů ve formě časových řezů dat (snapshoty). Tyto časové řezy jsou fyzicky uložené na stejném HW jako primární data. Typicky se provádí jeden snapshot za den a uchovává se 14 dnů zpět.

Třída 3 - data se záložní kopií

Stejně jako třída 2 s tím, že data jsou pravidelně kopírována do zálohy umístěné na samostatném zálohovacím systému, čímž jsou chráněna proti zásadní HW nebo SW poruše primárního úložiště. Přístup k datům v případě takové zásadní poruchy může být významně omezen (doba obnovy). Typickým zálohovacím cyklem je 2 x (plná záloha + měsíc inkrementů), přičemž zálohování se provádí jednou za dva dny.

Třída 4 - plně redundandní datový systém

Stejně jako třída 3 s tím, že data jsou průběžně kopírována na záložní úložný systém (živá replika), který je schopen v případě poruchy převzít funkci primárního úložného systému.

Zálohovací politiky jednotlivých úložných prostorů

Úložné prostory	Třída	Poznámka
scratch, scratch.shared	0	všechny prostory scratch na výpočetních uzlech
Hadoop	1	souborový systém HDFS udržuje několik kopií dat, všechny v jednom systému
Ceph	1	Redundance na úrovni CEPH může být podobná RAID6 (erasure code) nebo plnou replikací. Plná replikace by se v některých případech (repliky v jiném racku) dala považovat za třídu 4.
/storage/* kromě du-cesnet	2 nebo 3	rozdělení do tříd viz tabulka NFS4_Servery
MetaCloud	3	Zálohované jsou permanentní obrazy, běžící stroje jsou ve třídě 0
Backend služeb, databáze (Elixir, ESA)	3	Individuálně může být v režimu třídy 1 (regionální repliky dat apod.)
Virtualizační platforma VMWare	4	Třída 4 pouze pro vybrané produkční virtuální stroje, jinak 3

Diskové systémy /storage/du-cesnet/

Jedná se o přístup do DU, viz pravidla na https://du.cesnet.cz/