大数据架构师课程 企业级大数据集群与分布式案例实战课程下载

课程目录

第一章：大数据Hadoop第1章

大数据技术领域介绍及学习方法和发展规划  

Hadoop的介绍及基本概念  

Hadoop的必要性-1  

Hadoop的必要性-2  

Hadoop集群安装部署-linux服务器环境准备  

Hadoop集群安装部署-hadoop安装部署及配置  

Hadoop集群启动-手动启动  

Hadoop集群启动-自动化脚本启动  

Hadoop集群从单节点的伪分布式扩展为多节点分布式  

Hdfs的功能体验及shell命令行操作  

Hdfs分布式文件系统的基本工作机制及相关概念解析  

Hdfs的JAVA客户端基本操作-1  

Hdfs的JAVA客户端基本操作-2  

Hdfs的JAVA客户端基本操作-3  

Hdfs的JAVA客户端基本操作-4  

Hdfs的JAVA客户端IO流操作  

Hdfs读写数据流程  

Hdfs中namenode管理元数据的机制  

第二章：大数据Hadoop第2章

Hadoop的RPC框架运行机制 

Hadoop的RPC框架应用示例-1 

Hadoop的RPC框架应用示例-2 

Mapreduce概念介绍 

Mapreduce框架运行机制 

Mapreduce运行机制的数据流程 

wordcount的mapreduce逻辑实现流程 

wordcount程序的mapper类实现 

wordcount程序的reducer类实现 

wordcount程序的job提交客户端实现 

wordcount程序打包运行演示 

流量汇总需求及mapreduce编程思路 

流量汇总mapreduce程序的实现-1-hadoop序列化机制 

流量汇总mapreduce程序的实现-2-mapper和reducer 

流量汇总mapreduce程序打包执行及网页监控 

分区汇总流量程序的思路及实现-1 

分区汇总流量程序的思路及实现-2 

分区汇总流量程序的执行及分区数与reducetask数的关系 

第三章：大数据Hadoop第3章

流量汇总并按流量大小倒序排序的代码实现 

流量汇总并按流量大小倒序排序的代码实现 

mapreduce程序的本地运行模式及debug 

mapreduce框架中的shuffle机制详解 

YARN的基本概念–MR程序提交的流程 

YARN的工作机制–MR程序运行流程 

YARN的工作机制及特性总结 

mapreduce程序运行并发度–reduce并发度 

mapreduce程序运行并发度–数据切片的思考 

mapreduce程序运行并发度–maptask决定机制 

mapreduce编程练习之共同好友-需求解析 

mapreduce编程练习之共同好友-思路分析 

mapreduce编程练习之共同好友–步骤1实现 

mapreduce编程练习之共同好友–步骤2实现 

mapreduce编程练习之连表查询–需求分析 

mapreduce编程练习之连表查询–mapper的实现 

mapreduce编程练习之连表查询–reducer的实现 

第四章：大数据Hadoop第4章

zookeeper简介 

mapreduce编程练习之连表查询–reduce端join的缺点 

mapreduce编程练习之连表查询–map端join的思想 

mapreduce编程练习之连表查询–map端join的mapper实现 

mapreduce编程练习之倒排索引–需求说明 

mapreduce编程练习之倒排索引–编程思路 

mapreduce编程练习之倒排索引–步骤1的实现 

mapreduce编程练习之倒排索引–步骤2的实现 

mapreduce编程练习之倒排索引–多job串联执行的实现 

zookeeper集群搭建–集群组件介绍 

zookeeper集群搭建–配置文件修改 

zookeeper集群搭建–集群启动及可靠性测试 

zookeeper的功能 

zookeeper的命令行客户端使用及功能测试 

zookeeper的java客户端初步使用 

第五章：大数据Hadoop第5章

zookeeper的java客户端创建znode 

zookeeper的java客户端获取及修改znode数据 

zookeeper的java客户端删除znode节点 

zookeeper的java客户端监听器的使用 

zookeeper应用案例——服务器列表动态更新-实现思路 

zookeeper应用案例——服务器列表动态更新-服务端实现 

zookeeper应用案例——服务器列表动态更新-客户端实现 

zookeeper应用案例——服务器列表动态更新-运行测试 

zookeeper应用案例——分布式锁-实现思路 

zookeeper应用案例——分布式锁-主体逻辑 

zookeeper应用案例——分布式锁-主体逻辑2 

zookeeper应用案例——分布式锁-代码实现-1 

zookeeper应用案例——分布式锁-代码实现-2-运行测试 

hadoop-HA机制的实现原理-1 

hadoop-HA机制的实现原理-2 

hadoop-HA集群部署-服务器环境准备 

hadoop-HA集群部署-zookeeper部署及ha配置要点 

hadoop-HA集群部署-配置文件修改-1 

hadoop-HA集群部署-配置文件修改-2 

hadoop-HA集群部署-初始化及启动 

hadoop-HA集群的使用和HA特性测试 

第六章：大数据Hadoop第6章

hbase数据库简介 

hbase集群结构 

hbase集群部署与测试 

hbase命令行客户端简单使用 

hbase表结构与传统数据库表结构的对比 

hbase命令行客户端创建表和插入数据及表的排序特性 

hbase命令行客户端get查询命令 

hbase命令行客户端管理名称空间 

hbase客户端api–建表 

hbase客户端api-数据插入 

hbase客户端api-数据删除 

hbase客户端api-数据更新 

hbase客户端api–查询数据–Get 

hbase客户端api–查询数据–Scan 

hbase客户端api–过滤器查询 

hbase分布式存储机制简介 

第七章：大数据Hadoop第7章

hive的安装和建表语句 

hive的设计思想和技术架构 

hive如何往表中导入数据 

hive中的内部表和外部表的区别 

hive的元数据库配置 

sqoop的安装配置 

sqoop导入数据的最基本用法 

sqoop导入数据到hdfs的高级用法 

sqoop导入数据到hive及导出数据 

storm实时流式计算系统简介 

storm实时流式计算系统的工作机制 

storm集群的配置和部署 

storm集群的部署及动态增加节点 

storm编程的基本概念-topo-spout-bolt 

storm编程的基本概念-2 

storm编程接口–spout的结构 

storm编程案例–spout组件实现 

storm编程案例–bolt组件A-实现 

19.storm编程案例–bolt组件B-实现 

storm编程案例–提交topo的客户端 

storm编程案例–网站访问来源实时统计–需求 

storm编程案例–网站访问来源实时统计–代码实现