Testovací Hadoop

From MetaCentrum
Jump to: navigation, search


Úvod

Tato dokumentace se týká testovací instance Hadoop clusteru. Plná dokumentace k produkčnímu Hadoop clusteru se nachází na: Hadoop.

Základní informace

  • frontend: took75.ics.muni.cz
    • HDFS NFS Gateway: adresář /hdfs
  • Apache Hue GUI: https://took75.ics.muni.cz:8888 (přístup přes SPNEGO, viz Hadoop#Webov.C3.BD_p.C5.99.C3.ADstup)
  • HDFS Name Node (HA): took90.ics.muni.cz, took98.ics.muni.cz
  • YARN Resource Manager (HA): took90.ics.muni.cz, took98.ics.muni.cz
  • MapReduce History Server: took98.ics.muni.cz
  • uzly:
    • took99.ics.muni.cz
    • took71.ics.muni.cz
    • took101.ics.muni.cz
    • took102.ics.muni.cz

Kafka

  • brokers: took71.ics.muni.cz:9095,took99.ics.muni.cz:9095
  • zookeeper (read-only): took90.ics.muni.cz:2181,took98.ics.muni.cz,took75.ics.muni.cz/kafka
  • JAAS config: /etc/kafka/conf/jaas-client.conf
  • client properties: /etc/kafka/conf/client.properties

Data

  • replikační faktor: 2
  • data: 4 ⨯ 150 GB ( 300 GB)
  • cache: 4 ⨯ 20 GB
  • metadata: 2 ⨯ 10 GB

Instalovaný SW

Hadoop 2.6.0 - distributed storage and processing of very large data sets

HBase 1.0.0 - distributed, scalable, big data store

Hive 1.1.0 - data warehouse software facilitates

Hue 3.9.0 - Hadoop GUI

Pig 0.12.0 - platform for analyzing large data sets

Spark 1.3.0 - fast and general engine for large-scale data processing

Kafka 0.10.1.1 - distributed streaming platform

Používá se Cloudera 5.14.0 + BigTop 1.2.0 (Kafka).

Kterak se přihlásit

Frontend je na took75.ics.muni.cz:

kinit
ssh -K took75.ics.muni.cz

Více informací viz Hadoop#Kterak_se_přihlásit.

Webový přístup

Testovací certifikační autorita:

Servisní stránky: