曙海教学优势
本课程，秉承二十一年积累的教学品质，以项目实现为导向,面向企事业项目实际需要,老师将会与您分享设计的全流程以及工具的综合使用经验、技巧。课程可定制,线上/线下/上门皆可,热线:4008699035。
曙海培训的课程培养了大批受企业欢迎的工程师。大批企业和曙海
建立了良好的合作关系,合作企业30万+。曙海培训的课程在业内有着响亮的知名度。
本课程将分别从理论基础知识，程序设计以及应用案例(数据挖掘和机器学习)三方面对以Hadoop为基础的大数据知识记性介绍。
本课程采用循序渐进的课程讲授方法，首先讲解Hadoop和Spark系统基础知识，概念及架构，之后讲解Hadoop和Spark实战技巧，最后详尽地介绍Hadoop和Spark经典案例(数据挖掘和机器学习)，使培训者从概念到实战，均会有收获和提高。
当前，我国已经进入大数据时代，在这样的时代背景下，以Hadoop和Spark为基础的大数据应用也逐渐深入，正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。目前Hadoop和Spark应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域，随着Hadoop和Spark技术的不断成熟以及生态系统相关产品的完善，包括Hadoop和Spark对SQL不断加强的支持，以及主流商业软件厂商对Hadoop和Spark支持的不断增强，必定会带动Hadoop 和Spark渗透到越来越多的应用场景中。
2015年是中国大数据的应用落地年，越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中，最受关注的是衍生于开源平台的Hadoop 和Spark生态系统。Hadoop 从2006 年诞生至今已经超10年时间。2015 年，整个生态系统变得比以往更加丰富，无论是在开源领域，商业软件厂商或是硬件厂商，都开始推出基于Hadoop 的相关产品。Hadoop之所以受到如此的关注，主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理
本课程将为大家全面而又深入的介绍Hadoop和Spark平台的构建流程，涉及Hadoop和Spark系统基础知识，概念及架构， Hadoop和Spark实战技巧(数据挖掘和机器学习)，Hadoop和Spark经典案例等。
通过本课程实践，帮助学员对Hadoop生态系统有一个清晰明了的认识；理解Hadoop系统适用的场景；掌握Hadoop等初 中级应用开发技能；搭建稳定可靠的Hadoop集群，满足生产环境的标准；掌握如何应用hadoop和spark完成数据挖掘和机器学习任务；了解和清楚大数据应用的几个行业中的经典案例。
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
学员学习本课程应具备下列基础知识： 1) 了解Java语言； 2) 了解Linux系统；
3） 数据挖掘基础
| 主题 | 内容 |
|
大数据架构概述 |
1. 大数据层级结构 |
|
数据收集系统Flume与Sqoop |
介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘 |
|
大数据存储系统HDFS与HBase |
1. 1. HDFS 2.0 原理、特性与基本架构 |
|
分布式计算技术MapReduce与Hive |
1. 介绍计算框架MapReduce基本原理，架构及程序设计方式 |
|
分布式计算技术Spark |
1. 介绍计算框架Spark基本原理，架构及程序设计方式 |
|
数据挖掘与机器学习 |
1. 常见的数据挖掘与机器学习算法 |
|
应用案例1：基于Hadoop的构建数据仓库 |
1. 数据仓库基础介绍 |
|
应用案例2：用户画像系统 |
1. 什么是用户画像系统 |
|
应用案例3：商品推荐系统 |
1. 什么是商品推荐系统 |
|
应用案例4：数据挖掘系统 |
1. 什么是数据挖掘系统 |
