你的位置: 墨尔本胜利本田受伤 > 公開課首頁 > 互聯網/語言 > 課程詳情

details

墨尔本胜利对广州恒大谁胜: 關于舉辦大數據應用(Hadoop開發)最佳實踐

墨尔本胜利本田受伤 www.ombiio.com.cn

質量保證
暫無評價   
  • 開課時間:2016年01月27日 09:00 周三 已結束
  • 結束時間:2016年01月28日 17:00 周四
  • 開課地點:杭州市
  • 授課講師: 錢老師
  • 課程編號:296278
  • 課程分類:互聯網/語言
  •  
  • 收藏 人氣:266
你實際購買的價格
付款時最多可用0淘幣抵扣0元現金
購買成功后,系統會給用戶帳號返回的現金券
淘課價格
5800
可用淘幣
0
返現金券
待定

你還可以: 收藏

課程收益:



1、了解Hadoop的歷史及目前發展的現狀、以及Hadoop的技術特點,從而把握分布式計算框架及未來發展方向,在大數據時代能為企業的技術選型及架構設計提供決策參考。

2、全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉,從而熟練使用Hadoop進行MapReduce程序開發??緯袒購橇朔植際郊撲懔煊虻某S盟惴ń檣?,幫助學員為企業在利用大數據方面體現自身價值。

3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優化。

課程大綱:



第一天上午

Hadoop入門,了解什么是hadoop

1、Hadoop產生背景
2、Hadoop在大數據、云計算中的位置和關系
3、國內外Hadoop應用案例介紹
4、國內Hadoop的就業情況分析及課程大綱介紹
5、分布式系統概述
6、Hadoop生態圈以及各組成部分的簡介
7、Hadoop核心MapReduce例子說明

分布式文件系統HDFS,是數據庫管理員的基礎課程

1、分布式文件系統DFS簡介
2、HDFS的系統組成介紹
3、HDFS的組成部分詳解
4、副本存放策略及路由規則
5、NameNodeFederation
6、命令行接口
7、Java接口
8、客戶端與HDFS的數據流講解
9、HDFS的可用性(HA)

第一天下午

初級MapReduce,成為Hadoop開發人員的基礎課程

1、如何理解map、reduce計算模型
2、剖析偽分布式下MapReduce作業的執行過程
3、Yarn模型
4、序列化
5、MapReduce的類型與格式
6、MapReduce開發環境搭建
7、MapReduce應用開發
8、更多示例講解,熟悉MapReduce算法原理

第二天上午

高級MapReduce,高級Hadoop開發人員的關鍵課程

1、使用壓縮分隔減少輸入規模
2、利用Combiner減少中間數據
3、編寫Partitioner優化負載均衡
4、如何自定義排序規則
5、如何自定義分組規則
6、MapReduce優化
7、編程實戰

Hadoop集群與管理,是數據庫管理員的高級課程

1、Hadoop集群的搭建
2、Hadoop集群的監控
3、Hadoop集群的管理
4、集群下運行MapReduce程序

ZooKeeper基礎知識,構建分布式系統的基礎框架

1、ZooKeeper體現結構
2、ZooKeeper集群的安裝
3、操作ZooKeeper

第二天下午

HBase基礎知識,面向列的實時分布式數據庫

1、HBase定義
2、HBase與RDBMS的對比
3、數據模型
4、系統架構
5、HBase上的MapReduce
6、表的設計

HBase集群及其管理

1、集群的搭建過程講解
2、集群的監控
3、集群的管理

HBase客戶端

1、HBaseShell以及演示
2、Java客戶端以及代碼演示

第三天上午

Pig基礎知識,進行hadoop計算的另一種框架

1、Pig概述
2、安裝Pig
3、使用Pig完成手機流量統計業務

Hive,使用sql進行計算的hadoop框架

1、數據倉庫基礎知識
2、Hive定義
3、Hive體系結構簡介
4、Hive集群
5、客戶端簡介
6、HiveQL定義
7、HiveQL與SQL的比較
8、數據類型
9、表與表分區概念
10、表的操作與CLI客戶端演示
11、數據導入與CLI客戶端演示
12、查詢數據與CLI客戶端演示
13、數據的連接與CLI客戶端演示
14、用戶自定義函數(UDF)的開發與演示

第三天下午

Sqoop,hadoop與rdbms進行數據轉換的框架

1、配置Sqoop
2、使用Sqoop把數據從mysql導入到HDFS中
3、使用Sqoop把數據從HDFS導出到mysql中
大數據實戰 大數據完整項目架構和開發過程練習

授課講師

錢老師 大數據專家。在電信、電力、金融行業從事Java開發和架構設計的工作;資深云計算研發工程師。作為項目的主要成員和負責人參與并領導完成了多個大型復雜項目,并成功應用于行業解決方案,如海量數據匹配系統、電力行業實時數據采集分析系統等。設計并實現了實時索引系統-云搜,成功應用與某國企知識庫系統。并可應用與互聯網行業的搜索等應用。完成多個云計算解決方案的架構,涉及到金融行業海量數據分析與數據處理系統、海量日志分析系統、電力用電信息統計系統等,獲得業界認可。

鐘老師任職于某研究所,中國科學院計算技術研究所攻讀計算機系統結構博士學位。從2008年12月起,主要從事云計算和大規模數據管理方面的研究,精通云計算平臺和大規模數據庫管理系統內部實現細節,包括Hadoop、鍵值存儲系統(KVS)、NoSQL(HBase、Cassandra、Membase/Memcached)數據庫和數據倉庫(HIVE)。

本課程名稱: 關于舉辦大數據應用(Hadoop開發)最佳實踐

查看更多:互聯網/語言公開課

數據庫 java it 設計 相關的最新課程
講師動態評分 與同行相比

授課內容與課綱相符00%

講師授課水平00%

服務態度00%