Testovací Hadoop

Tato dokumentace je neaktuální, služba Hadoop byla převedena na cloud, viz Hadoop

Úvod

Tato dokumentace se týká testovací instance Hadoop clusteru. Plná dokumentace k produkčnímu Hadoop clusteru se nachází na: Hadoop.

frontend: took75.ics.muni.cz
- HDFS NFS Gateway: adresář /hdfs
Apache Hue GUI: https://took75.ics.muni.cz:8888 (přístup přes SPNEGO, viz Hadoop)
HDFS Name Node (HA): took90.ics.muni.cz, took98.ics.muni.cz
YARN Resource Manager (HA): took90.ics.muni.cz, took98.ics.muni.cz
MapReduce History Server: took98.ics.muni.cz
uzly:
- took99.ics.muni.cz
- took71.ics.muni.cz
- took101.ics.muni.cz
- took102.ics.muni.cz

brokers: took71.ics.muni.cz:9095,took99.ics.muni.cz:9095
zookeeper (read-only): took90.ics.muni.cz:2181,took98.ics.muni.cz,took75.ics.muni.cz/kafka
JAAS config: /etc/kafka/conf/jaas-client.conf
client properties: /etc/kafka/conf/client.properties

Hadoop 2.6.0 - distributed storage and processing of very large data sets

HBase 1.0.0 - distributed, scalable, big data store

Hive 1.1.0 - data warehouse software facilitates

Hue 3.9.0 - Hadoop GUI

Pig 0.12.0 - platform for analyzing large data sets

Spark 1.3.0 - fast and general engine for large-scale data processing

Kafka 0.10.1.1 - distributed streaming platform

Používá se Cloudera 5.14.0 + BigTop 1.2.0 (Kafka).

Frontend je na took75.ics.muni.cz:

kinit
ssh -K took75.ics.muni.cz

Více informací viz Hadoop.

Testovací certifikační autorita:

URL: https://scientific.zcu.cz/test-CA/
certifikát: Monsters-Inc-Root-CA.pem
SHA-256: 83:3D:A7:52:7F:2A:65:B4:AB:ED:91:5B:C3:9F:6A:EE:7F:6C:C1:5E:25:4F:4A:97:06:DE:40:59:DF:FB:F5:F6
SHA-1: A9:E0:CB:55:61:7E:CC:29:2C:03:94:D2:1B:99:24:C6:13:79:B8:BD

Servisní stránky: