Hadoop 簡(jiǎn)介

Hadoop可運(yùn)行于一般的商用服務(wù)器上，具有高容錯(cuò)、高可靠性、高擴(kuò)展性等特點(diǎn)

特別適合寫(xiě)一次，讀多次的場(chǎng)景

適合

• 大規(guī)模數(shù)據(jù)
• 流式數(shù)據(jù)（寫(xiě)一次，讀多次）
• 商用硬件（一般硬件）

不適合

• 低延時(shí)的數(shù)據(jù)訪(fǎng)問(wèn)
• 大量的小文件
• 頻繁修改文件（基本就是寫(xiě)1次）

Hadoop架構(gòu)

• HDFS: 分布式文件存儲(chǔ)
• YARN: 分布式資源管理
• MapReduce: 分布式計(jì)算
• Others: 利用YARN的資源管理功能實(shí)現(xiàn)其他的數(shù)據(jù)處理方式

內(nèi)部各個(gè)節(jié)點(diǎn)基本都是采用Master-Woker架構(gòu)