商丘大數(shù)據(jù)培訓(xùn)班基礎(chǔ)課程
來(lái)源：
奇酷教育 發(fā)表于：
大數(shù)據(jù)培訓(xùn)班基礎(chǔ)課程 第一部分：Hadoop基礎(chǔ) · 初識(shí)Hadoop及其分布式文件系統(tǒng) Hadoop是什么；Hadoop可以做什么；Hadoop的
大數(shù)據(jù)培訓(xùn)班基礎(chǔ)課程
· 初識(shí)Hadoop及其分布式文件系統(tǒng)
Hadoop是什么；Hadoop可以做什么；Hadoop的分布式文件系統(tǒng)（HDFS）及其特點(diǎn)，HDFS如何承載應(yīng)用
· 搭建偽分布式的Hadoop環(huán)境
如何利用一臺(tái)Linux機(jī)器搭建你的**個(gè)Hadoop環(huán)境 ？ 如何從Hadoop的日志中發(fā)現(xiàn)它的故障、異常等
· 開(kāi)發(fā)你的**個(gè)MapReduce程序
函式編程與MapReduce，MapReduce程序的主題結(jié)構(gòu)；在Eclipse上搭建MapReduce開(kāi)發(fā)環(huán)境；
如何運(yùn)行你MapReduce程序；用ANT自動(dòng)化MapReduce程序的部署
· 在企業(yè)內(nèi)網(wǎng)中**搭建真正分布式的Hadoop環(huán)境
如何在企業(yè)內(nèi)網(wǎng)中**搭建一個(gè)真正的分布式的Hadoop環(huán)境？涉及YUM源，部署腳本等。
· HIVE基礎(chǔ)與實(shí)踐
HIVE的架構(gòu)和實(shí)現(xiàn)方式；HIVE Metastore的類(lèi)型和實(shí)現(xiàn)方式；HQL語(yǔ)言基礎(chǔ)；如何用HIVE做大數(shù)據(jù)分析等
第二部分：深入解析HDFS
· 深度解析HDFS系統(tǒng)配置
HDFS及Linux中與HDFS相關(guān)的配置項(xiàng)詳解，常用的HDFS必配項(xiàng)及其在實(shí)踐中的設(shè)置方法
· 玩轉(zhuǎn)HDFS
如何管理和維護(hù)HDFS，查找HDFS的基本命令，如何獲取幫助，HDFS中的兩個(gè)**常用命令集dfs和dfsadmin
· 深度解析HDFS的五大關(guān)鍵特性
EditLog、Checkpoint、 Rebalance、Rack Awareness和Replication
· 深度解析HDFS的讀寫(xiě)過(guò)程和性能優(yōu)化
HDFS在文件讀寫(xiě)過(guò)程（結(jié)合HDFS源代碼），HDFS的租約機(jī)制與無(wú)鎖讀寫(xiě)特性，如何從操作系統(tǒng)磁盤(pán)、
文件系統(tǒng)和網(wǎng)絡(luò)等幾個(gè)層面來(lái)優(yōu)化的HDFS性能
· Trouble Shooting HDFS
HDFS的常見(jiàn)問(wèn)題，Namenode的常見(jiàn)問(wèn)題及其處理方法 ， 元數(shù)據(jù)損壞時(shí)如何恢復(fù)，Datanode的常見(jiàn)問(wèn)題及其處理方法
· 深入淺出Zookeeper
Paxos與Google的分布式 協(xié)同 機(jī) 制 ， Chubby與Zookeeper， Zookeeper的 原 理、部署方法和應(yīng)用技巧
· Hadoop Ha理論與實(shí)踐
Hadoop HA的前世今生，Hadoop HA中是否存在數(shù)據(jù)丟失 的 風(fēng)險(xiǎn) ， Hadoop2中的 兩 種HA方 式 QJM和 NFS， QJM方案配置演示
· HDFS RAID與HttpFS
· 案例分析：制作基于HDFS的對(duì)象存儲(chǔ)
第三部分：深入解析MapReduce
· 深度刨析JobTracker和TaskTracker
JobTracker和TaskTracker的工作原理詳解
· MapReduce經(jīng)典案例刨析與開(kāi)發(fā)思想
函式編程的回顧與深化，MapReduce典 型 程 序 分析：Wordcount、Top-k與Join
· 定制你的MapReduce
Inputformat、OutputFormat和Partitioner等
· 讓Ma pRed uce 程序飛速運(yùn)行（一）
深度解析 Split、Sort、 Shuffling、 Merge四 大MapReducce程序執(zhí)行過(guò)程中所經(jīng)歷的四大關(guān)鍵過(guò)程，
如何利用這4大過(guò)程來(lái)優(yōu)化MapReduce程序
· 讓Ma pRed uce 程序飛速運(yùn)行（二）
Combiner原理及其在MapReduce中的作用 ，MapReduce實(shí)際案例分析
· MapReduce程序開(kāi)發(fā)的高級(jí)技巧
用Python等第三方語(yǔ)言**編寫(xiě)MapReduce程序、自動(dòng)串接多個(gè)Mapper 和Reducer、
容忍一定程度的失敗任務(wù)和錯(cuò)誤記錄等
· 進(jìn)一步玩轉(zhuǎn)MapReduce的平臺(tái)級(jí)優(yōu)化
MapReduce程序的主要性能瓶頸及各種“坑”，MapReduce的主要性能配置項(xiàng)及其配置方法
· YARN和MRv2選講
案例分析：挖掘運(yùn)營(yíng)商中的大數(shù)據(jù)
您現(xiàn)在所在的位置：首頁(yè) >關(guān)于奇酷 > 行業(yè)動(dòng)態(tài) > 商丘大數(shù)據(jù)培訓(xùn)班基礎(chǔ)課程
