大數據導論、大數據分析與計算、云計算(大數據培訓)
1.大數據導論與大數據可視化
(1)大數據及其思維變革
大數據與大數據時(shí)代
大數據時(shí)代的思維變革
大數據促進(jìn)社會(huì )發(fā)展
支撐大數據的技術(shù)
(2)大數據可視化
數據可視化之美
數據可視化工具
數據引導可視化設計
Tableau安裝、注冊與應用初步
Tableau數據可視化設計技術(shù)
2.大數據計算技術(shù):體系、平臺、模型與計算架構
大數據計算體系:基礎平臺、存儲架構、計算模型、應用系統
大數據計算技術(shù)兩條主線(xiàn):Google商業(yè)產(chǎn)品 vs. Hadoop開(kāi)源技術(shù)
大數據計算模式:從MapReduce批處理、圖并行計算框架、交互式處理、到Spark內存計算
MapReduce計算架構:分布式并行計算模型、算法原理、數據格式、編程模型、軟件架構:JobTracker模式 vs. YARN模式
Spark計算架構:內存計算關(guān)鍵技術(shù):數據壓縮存儲、列存儲結構、數據表分區;內存管理機制;RDD數據模型;作業(yè)模與任務(wù);Spark雙層調度模型
課程作業(yè)(project)案例:針對大規模數據處理的MapReduce批處理模型與Spark內存模型的計算性能比較