大数据架构与数据挖掘

 课程目标

本课程将为大家全面而又深入的介绍Hadoop和Spark平台的构建流程，涉及Hadoop和Spark系统基础知识，概念及架构， Hadoop和Spark实战技巧(数据挖掘和机器学习)，Hadoop和Spark经典案例等。

 师资团队

华清创客企业内训讲师，均是来自各个领域的资深专家，均拥有6年以上大型项目经验。

 培养对象

1、学员学习本课程应具备基础知识：1) 了解Java语言； 2) 了解Linux系统；3） 数据挖掘基础；
2、适合人群：各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。

 培训方式

• 第一种：华清创客讲师面授
  课时：共3天，每天6学时，总计18学时
  ◆费用：3600元
  ◆外地学员：代理安排食宿（需提前预定）
  
  第二种：线上直播授课
  直播课时：共6天，每天3学时，总计18学时；
  辅导：授课期间，辅导老师每天有1小时的辅导直播
  ◆费用：3600元
  
  第三种：企业订制培训
  课时：根据定制的大纲确定课时
  费用：根据课程难度，每课时1500~3000元

  
  

   质量保证

• 1、培训过程中，如有部分内容理解不透或消化不好，可免费在下期培训班中重听；

  2、培训结束后免费提供一个月的技术支持，充分保证培训后出效果；

  3、培训合格学员可享受免费推荐就业机会。

•  课程大纲

  主题 内容

   

  大数据架构概述 "1. 大数据层级结构

  介绍大数据系统基本架构与流程

  2. Hadoop生态系统概述以及版本演化

  概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。

  3. Spark生态系统概述

   

  概要介绍Spark生态系统及其特点，并与Hadoop对比"

  数据收集系统Flume与Sqoop 介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘

   

  大数据存储系统HDFS与Hbase "1. 1. HDFS 2.0 原理、特性与基本架构

  2. 理论：介绍HDFS 2.0原理与架构，以及使用方式

  3.

  4. 2. HBase原理，基本架构与案例分析

  5. 理论：介绍HBase应用场景、原理和架构，介绍几个HBase典型应用案例，包括互联网应用案例和银行应用案例。"

   

  分布式计算技术MapReduce与Hive "1. 介绍计算框架MapReduce基本原理，架构及程序设计方式

  2. 动手编写第一个MapReduce程序

  3. Hive基本原理及使用方式"

   

  分布式计算技术Spark "1. 介绍计算框架Spark基本原理，架构及程序设计方式

  2. Spark程序设计"

   

  数据挖掘与机器学习 "1. 常见的数据挖掘与机器学习算法

  2. Hadoop数据挖掘库mahout

  3. Spark数据挖掘库mllib"

   

  应用案例1：基于Hadoop的构建数据仓库 "1. 数据仓库基础介绍

  2. 如何利用大数据系统构建数据仓库

  使用Flume+HDFS+MapReduce+Hive构建数据仓库

  3. 数据仓库基本架构

  4. 数据仓库应用

  如报表生成"

   

  应用案例2：用户画像系统 "1. 什么是用户画像系统

  2. 如何构建用户画像系统

  使用Flume/sqoop+HDFS+HBase+MapReduce/Spark+redis构建用户标签系统

  3. 用数据挖掘方式构建用户标签 

  应用逻辑回归、聚类、分类等机器学习和数据挖掘算法构建用户标签

  4. 用户画像系统应用

  用户画像系统在用户信用等级分级、大数据营销中、用户流失预警、潜在用户分析、异常检测与分析等方面的应用"

   

  应用案例3：商品推荐系统 "1. 什么是商品推荐系统

  2. 商品推荐系统基本架构

  使用Flume+HDFS +Spark+Redis构建推荐系统

  3. 推荐算法

  推荐算法详解"

   

  应用案例4：数据挖掘系统 "1. 什么是数据挖掘系统

  2. 数据挖掘算法的使用

  以Spark为主，如何设计和实现逻辑回归、聚类、分类等机器学习和数据挖掘算法

  3. 数据挖掘的典型应用"