课程背景：

　　随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算、移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来。为加强大数据分析创新发展顶层设计和科学布局，推动相关人员更好理解和掌握大数据分析的关键技术原理、未来发展方向，为此培养大数据分析高级工程师。

　　培训对象：

　　IT公司数据分析师、数据中心架构师、商业智能分析师、研发负责人、研发工程师、各地政府云计算、物联网产业负责人，CIO、信息中心、技术总监，云计算产业投资团队，云计算应用开发商，云计算硬件设备、运营服务提供商，高校、科研院所云计算项目负责人。

　　高级开发工程师、设计师、架构师、系统管理员、开发经理、测试经理、产品经理、项目经理等。

　　培训证书：

　　工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。详情请点击：http://www.wanho.net/hadoop

　　课程大纲：

　　第一天

　　一、大数据挖掘分析简介

　　大数据发展历程以及hadoop起源 大数据定义和传统手段遇到的瓶颈 Hadoop怎么解决大数据问题的 Hadoop生态系统简介 Hadoop体系下主要的分析手段 Hadoop中优秀的软件设计和体系架构思想

　　二、大数据与Hadoop

　　伪分布式和完全分布式hadoop的安装 Hadoop常用配置项解读 Hadoop分布式文件系统原理 Hdfs常用命令演示 Mapreduce的工作原理 Hadoop自带的example演示 手动编写mapreduce示例程序 Hadoop常见故障分析与解决

　　第二天

　　一、大数据分析核心工具之mapreduce和pig

　　高级mapreduce开发演示：combiners、partitioner;MRUnit;分布式缓存;join;二次排序等) Mapreduce开发之分布式缓存 mapreduce模拟sql语言的各种操作

　　二、除mapreduce外的hadoop数据分析工具介绍

　　Pig之piglatin语言 Pig之udf扩展 Pig案例

　　三、大数据分析核心工具之hive以及与现有工具流整合

　　Hive深入介绍 Hive之hql语言 Hive之udf扩展 Hive示例 一个完整的数据分析案例(分别使用mapreduce、pig、hive进行分析) 集成Hadoop到现有工作流(使用sqoop)(关系数据库管理系统;利用Sqoop从关系型数据库系统中导入数据到Hadoop)

　　第三天

　　一、大数据分析架构之分布式数据库：Nosql与Hbase

　　Nosql简介 常见Nosql介绍 Hbase介绍 Hbase体系架构 Hbase安装(含本地、伪分布式、完全分布式) Hbase操作演示 Hbase应用案例

　　二、大数据分析核心技术在企业中的应用以及Hadoop调优

Hadoop调优 Hadoop在企业中如何使用 (企业案例以及hadoop在企业IT架构中的位置) Hadoop体系中单点解决方案(namenode,jobtracker,hive等) Hadoop生态环境其他产品在企业中的应用

江苏万和大数据培训讲师

谢老师：江苏万和金牌讲师、云计算研究员、资深Nutch、Lucene、Solr、Tika、Mahout、Spark、Storm技术专家。活跃于开源中国、CSDN等开源社区，对于开源数据挖掘技术有着深刻的理解与实战经验，

　　擅长大规模云计算及数据挖掘系统的程序设计。对于目前主流数据挖掘技术及分析算法有着深入的研究，项目实施经验丰富。作为项目负责人和主要成员先后参与并领导完成了多个云计算及大数据应用开发项目，

　　如：法国电信运营数据分析项目、江苏移动网厅运营数据分析项目、新闻信息分类聚合推荐项目，涉及政府、媒体、通信业等诸多行业领域。近几年陆续为公安、金融、报社、通信、电商等众多政企行业提供了云

　　计算、大数据应用及开发等主题培训服务，获得客户一致好评。

　　鲁老师:江苏万和金牌讲师、云计算研究员、资深Hadoop技术专家。活跃于开源中国、CSDN等开源社区，对于开源数据挖掘技术有着深刻的理解与实战经验，擅长大规模云计算及数据挖掘系统框架的设计。

　　对于目前主流虚拟化产品及技术有着深入的研究，项目实施经验丰富。作为项目负责人和主要成员先后参与并领导完成了多个云计算及大数据应用开发项目，如：南京市政府智慧城市项目、美国铝业公司生产数

　　据挖掘项目、美国RAMBUS数据分析项目，涉及政府、制造业、通信业等诸多行业领域。近几年陆续为公安、金融、报社、通信、电商等众多政企行业提供了云计算、大数据应用及开发等主题培训服务，

　获得客户一致好评。