阶段掌握：0%
|
课程：0/200 |
0/200 掌握点
关于本阶段
基于上述技术的企业级数仓综合实践。模拟真实业务场景（如用户行为分析、流量主题域、用户主题域、订单主题域等开发）。
学习
-
1-1 课程介绍 试看
-
1-2 需求分析-重点划分 试看
-
1-3 需求分析-项目介绍
-
1-4 需求分析-数据调研
-
1-5 需求分析-数据探查
-
1-6 需求分析-数据分类
-
1-7 需求分析-行为数据分析-整体概况分析
-
1-8 需求分析-行为数据分析-用户获取分析
-
1-9 需求分析-行为数据分析-访问流量分析
-
1-10 需求分析-行为数据分析-活跃-留存-流失-回流分析
-
1-11 需求分析-行为数据分析-事件分析
-
1-12 需求分析-行为数据分析-用户特征分析
-
1-13 需求分析-行为数据分析-漏斗分析模型
-
1-14 需求分析-行为数据分析-路径分析模型
-
1-15 需求分析-行为数据分析-间隔分析模型
-
1-16 需求分析-行为数据分析-留存分析模型
-
1-17 需求分析-行为数据分析-分布分析模型
-
1-18 需求分析-行为数据分析-归因分析模型
-
1-19 需求分析-业务数据分析
-
1-20 需求分析-用户画像系统
-
1-21 需求分析-推荐系统
-
1-22 需求分析-OLAP系统
-
1-23 需求分析-项目架构-技术选项
-
1-24 需求分析-项目架构-技术架构
-
1-25 需求分析-项目架构-版本选择
-
1-26 需求分析-项目架构-服务器选择
-
1-27 需求分析-项目架构-服务器规划
-
1-28 需求分析-项目架构-OpenStack-CDH-HDP-CDP-云平台
-
1-29 需求分析-开发工具
练习
学习
-
2-1 数据采集-重点划分
-
2-2 数据采集-数据埋点-什么是数据埋点
-
2-3 数据采集-数据埋点-收集哪些信息
-
2-4 数据采集-数据埋点-埋点实施方案
-
2-5 数据采集-数据埋点-埋点上报方式
-
2-6 数据采集-数据埋点-为什么要进行数据埋点-开发流程-落地方案
-
2-7 数据采集-行为数据结构-事件类型说明
-
2-8 数据采集-行为数据采集-存储规划-存储要求-工具选择
-
2-9 数据采集-行为数据采集-采集方案
-
2-10 数据采集-行为数据采集-Flume环境搭建
-
2-11 数据采集-行为数据采集-上传数据-环境检查
-
2-12 数据采集-行为数据采集-创建项目-自定义Flume拦截器
-
2-13 数据采集-行为数据采集-Flume采集行为数据-修改Flume内存
-
2-14 数据采集-行为数据采集-Flume采集行为数据-Flume采集架构第一层作业编写
-
2-15 数据采集-行为数据采集-Flume采集行为数据-Flume采集架构第二层作业编写
-
2-16 数据采集-行为数据采集-Flume采集行为数据-数据采集演示(不压缩)
-
2-17 数据采集-行为数据采集-Flume采集行为数据-数据采集演示(Gzip压缩)
-
2-18 数据采集-行为数据采集-行为域ODS层开发-ODS层概述-入仓要求
-
2-19 数据采集-行为数据采集-行为域ODS层开发-入仓方案
-
2-20 数据采集-行为数据采集-行为域ODS层开发-未压缩的行为数据入仓
-
2-21 数据采集-行为数据采集-行为域ODS层开发-Gzip压缩的行为数据入仓
-
2-22 数据采集-行为数据采集-行为域ODS层开发-Hive创建Gzip或BZip2压缩表
-
2-23 数据采集-行为数据采集-行为域ODS层开发-入仓脚本开发
-
2-24 数据采集-行为数据采集-DQC实现思路
练习
学习
-
3-1 数据采集-业务数据采集-初始化业务数据库
-
3-2 数据采集-业务数据采集-工具选择
-
3-3 数据采集-业务数据采集-采集策略
-
3-4 数据采集-业务数据采集-DataX环境搭建
-
3-5 数据采集-业务数据采集-Hive建表
-
3-6 数据采集-业务数据采集-DataX核心参数讲解
-
3-7 数据采集-业务数据采集-全量采集-增量采集
-
3-8 数据采集-业务数据采集-脚本开发-按天采集脚本
-
3-9 数据采集-业务数据采集-脚本开发-按天采集的DQC
-
3-10 数据采集-业务数据采集-脚本开发-批量采集脚本
-
3-11 数据采集-业务数据采集-脚本开发-批量采集的DQC
-
3-12 数据采集-业务数据采集-Gzip压缩的业务数据入仓
练习
学习
-
4-1 功能设计-重点划分
-
4-2 功能设计-行为域DWD层开发(ETL)-DIM层概述-DWD层概述-存储规划
-
4-3 功能设计-行为域DWD层开发(ETL)-技术选型
-
4-4 功能设计-行为域DWD层开发(ETL)-需求说明
-
4-5 功能设计-行为域DWD层开发(ETL)-需求分析-清洗过滤-数据规范化处理-Session分割
-
4-6 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-经纬度与GPS
-
4-7 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-GeoHash介绍
-
4-8 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-GeoHash算法-Base32算法
-
4-9 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-GeoHash测试代码
-
4-10 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-IP地址-在线API和离线规则数据
-
4-11 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-IP地址-离线定位库
-
4-12 功能设计-行为域DWD层开发(ETL)-需求分析-地理位置转换-行为数据处理流程
-
4-13 功能设计-行为域DWD层开发(ETL)-需求分析-全局用户唯壹标识(Redis方案)-登录与匿名
-
4-14 功能设计-行为域DWD层开发(ETL)-需求分析-全局用户唯壹标识(Redis方案)-匿名数据归属问题-GUID设计
-
4-15 功能设计-行为域DWD层开发(ETL)-需求分析-全局用户唯壹标识(Redis方案)-Spark作业与Redis的具体交互流程
-
4-16 功能设计-行为域DWD层开发(ETL)-需求分析-全局用户唯壹标识(Redis方案)-IDMapiing概念讲解
-
4-17 功能设计-行为域DWD层开发(ETL)-需求分析-全局用户唯壹标识(图计算方案)
-
4-18 功能设计-行为域DWD层开发(ETL)-需求分析-标记新老用户-如何保存结果
练习
学习
-
5-1 功能设计-行为域DWD层开发(ETL)-需求实现-环境准备-工具类准备
-
5-2 功能设计-行为域DWD层开发(ETL)-需求实现-作业一-DIM层-地理位置区划字典表
-
5-3 功能设计-行为域DWD层开发(ETL)-需求实现-作业一-脚本执行
-
5-4 功能设计-行为域DWD层开发(ETL)-需求实现-作业二-设备账号绑定评分表(SQL版)
-
5-5 功能设计-行为域DWD层开发(ETL)-需求实现-作业二-设备账号绑定评分表(DSL版)
-
5-6 功能设计-行为域DWD层开发(ETL)-需求实现-作业二-脚本执行
-
5-7 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-清洗过滤
-
5-8 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-数据规范化处理
-
5-9 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-Session分割
-
5-10 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-地理位置转换
-
5-11 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-安装Redis
-
5-12 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-全局用户唯壹标识-标记新老用户
-
5-13 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-画图讲解guid
-
5-14 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-保存结果
-
5-15 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-完整代码运行流程演示
-
5-16 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-标记新老用户问题说明
-
5-17 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-脚本执行
-
5-18 功能设计-行为域DWD层开发(ETL)-需求实现-作业三-ETL-总结
练习
学习
-
6-1 功能设计-SparkGraphX图计算-快速入门
-
6-2 功能设计-SparkGraphX图计算-准备数据
-
6-3 功能设计-SparkGraphX图计算-第一次对数据处理
-
6-4 功能设计-SparkGraphX图计算-非第一次对数据处理(上)
-
6-5 功能设计-SparkGraphX图计算-非第一次对数据处理(下)
-
6-6 功能设计-SparkGraphX图计算-新老用户处理
-
6-7 功能设计-SparkGraphX图计算-作业优化-广播变量优化
-
6-8 功能设计-SparkGraphX图计算-作业优化-图增量优化-图关联优化
-
6-9 功能设计-SparkGraphX图计算-使用图计算替换ETL流程中的Redis方案
-
6-10 功能设计-数据质量检查(DQC)-地理位置信息质量检查
-
6-11 功能设计-数据质量检查(DQC)-Session切割比质量检查
练习
学习
-
7-1 功能设计-业务域DWD层开发-拉链表相关视频学习说明
-
7-2 功能设计-业务域DWD层开发-拉链表-每日数据同步方式
-
7-3 功能设计-业务域DWD层开发-拉链表-缓慢变化维
-
7-4 功能设计-业务域DWD层开发-拉链表-什么是拉链表
-
7-5 功能设计-业务域DWD层开发-拉链表-拉链表实现思路-先修改再插入
-
7-6 功能设计-业务域DWD层开发-拉链表-拉链表实现思路-先删除再插入
-
7-7 功能设计-业务域DWD层开发-拉链表-拉链表实现思路-覆盖插入
-
7-8 功能设计-业务域DWD层开发-拉链表-拉链表实战-覆盖插入演示案例
-
7-9 功能设计-业务域DWD层开发-拉链表-拉链表分区问题
-
7-10 功能设计-业务域DWD层开发-技术选项
-
7-11 功能设计-业务域DWD层开发-订单DWD层开发-订单事实拉链表
-
7-12 功能设计-业务域DWD层开发-订单DWD层开发-订单明细事实表
-
7-13 功能设计-业务域DWD层开发-商品DWD层开发-商品SKU维度表
-
7-14 功能设计-业务域DWD层开发-商品DWD层开发-商品明细事务事实表-商品收藏事务事实表
-
7-15 功能设计-业务域DWD层开发-购物车DWD层开发-购物车周期快照事实表
-
7-16 功能设计-业务域DWD层开发-优惠券DWD层开发-优惠券维度表
-
7-17 功能设计-业务域DWD层开发-优惠券DWD层开发-优惠券领取事务事实表-优惠券下单使用事务事实表
练习
学习
-
8-1 主题计算-重点划分
-
8-2 主题计算-主题域划分
-
8-3 主题计算-DWS层概述-指标体系
-
8-4 主题计算-ADS层概述
-
8-5 主题计算-流量主题-基于地域属性维度的多维统计-指标说明与分析
-
8-6 主题计算-流量主题-基于地域属性维度的多维统计-DWS层开发-会话信息聚合表
-
8-7 主题计算-流量主题-基于地域属性维度的多维统计-DWS层开发-流量明细大宽表
-
8-8 主题计算-流量主题-基于地域属性维度的多维统计-方案一多条SQL-ADS层开发-省维度流量统计表
-
8-9 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-ADS层开发-地域属性多维流量统计Cube表
-
8-10 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-方案二Reaggregation的挑战
-
8-11 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-HyperLogLog讲解
-
8-12 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-HyperLogLog实战
-
8-13 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-BloomFilter讲解
-
8-14 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-BloomFilter实战
-
8-15 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-BitMap讲解
-
8-16 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-自定义BitMap相关函数
-
8-17 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-BitMap实战
-
8-18 主题计算-流量主题-基于地域属性维度的多维统计-方案二CUBE-QU重方案-方案评估与选择
-
8-19 主题计算-流量主题-基于地域属性维度的多维统计-使用BitMap优化方案二
练习
学习
-
9-1 主题计算-用户主题-指标说明与分析
-
9-2 主题计算-用户主题-用户活跃分析-方案一传统-DWD层开发-新用户表-用户日活表
-
9-3 主题计算-用户主题-用户活跃分析-方案一传统-ADS层开发-活跃用户数表
-
9-4 主题计算-用户主题-用户活跃分析-方案一传统-ADS层开发-当月连续活跃用户数表
-
9-5 主题计算-用户主题-用户活跃分析-方案一传统-ADS层开发-SQL练习作业
-
9-6 主题计算-用户主题-用户活跃分析-方案一传统-优缺点
-
9-7 主题计算-用户主题-用户活跃分析-方案二拉链-用户连续活跃区间拉链表-实现思路
-
9-8 主题计算-用户主题-用户活跃分析-方案二拉链-用户连续活跃区间拉链表-结合数据演示拉链过程
-
9-9 主题计算-用户主题-用户活跃分析-方案二拉链-用户连续活跃区间拉链表-在数仓中执行拉链过程
-
9-10 主题计算-用户主题-用户活跃分析-方案二拉链-ADS层开发-活跃用户数表-当月连续活跃用户数表
-
9-11 主题计算-用户主题-用户活跃分析-方案二拉链-优缺点
-
9-12 主题计算-用户主题-用户活跃分析-方案三BitMap-DWS层开发-BitMap表实现方案
-
9-13 主题计算-用户主题-用户活跃分析-方案三BitMap-DWS层开发-十进制BitMap表实现思路
-
9-14 主题计算-用户主题-用户活跃分析-方案三BitMap-DWS层开发-最近30日用户日活BitMap表实现过程
-
9-15 主题计算-用户主题-用户活跃分析-方案三BitMap-ADS层开发-活跃用户数表
-
9-16 主题计算-用户主题-用户活跃分析-方案三BitMap-ADS层开发-当月连续活跃用户数表
-
9-17 主题计算-用户主题-用户活跃分析-方案三BitMap-优缺点
-
9-18 主题计算-用户主题-用户活跃分析-用户活跃分析方案评估与选择
-
9-19 主题计算-用户主题-用户活跃分析-DWS层开发-新用户留存表
-
9-20 主题计算-用户主题-用户活跃分析-ADS层开发-新用户留存率表
-
9-21 主题计算-用户主题-用户活跃分析-ADS层开发-新增用户数表
-
9-22 主题计算-用户主题-用户活跃分析-ADS层开发-新用户流失数表
-
9-23 主题计算-用户主题-用户活跃分析-ADS层开发-回流用户数表
练习
学习
-
10-1 主题计算-漏斗分析主题-DWS层开发-漏斗模型中间表
-
10-2 主题计算-漏斗分析主题-ADS层开发-漏斗模型转化率表
-
10-3 主题计算-漏斗分析主题-ADS层开发-漏斗模型转化率表类型转换问题
-
10-4 主题计算-路径分析主题-DWS层开发-用户访问路径明细表
-
10-5 主题计算-路径分析主题-ADS层开发-访问路径会话统计表
-
10-6 主题计算-归因分析主题-归因模型讲解
-
10-7 主题计算-归因分析主题-DWS层开发-归因分析中间表(Scala版本)
-
10-8 主题计算-归因分析主题-DWS层开发-归因分析中间表(SQL版本)
-
10-9 主题计算-归因分析主题-ADS层开发-优惠券获取归因分析统计表
-
10-10 主题计算-商品主题-DWS层开发-商品主题表
-
10-11 主题计算-商品主题-ADS层开发-商品销量TopN排名表
-
10-12 主题计算-商品主题-ADS层开发-商品一级分类销量TopN排名表
-
10-13 主题计算-商品主题-ADS层开发-当日商品总销量与销售总额表
-
10-14 主题计算-购物车主题-DWS层开发-最近1日用户加购汇总表
-
10-15 主题计算-购物车主题-DWS层开发-INSERT与WITHAS子句的使用说明
-
10-16 主题计算-购物车主题-ADS层开发-商品加购数量TopN日排名表
-
10-17 主题计算-购物车主题-ADS层开发-商品加购数量地区分布表
-
10-18 主题计算-购物车主题-ADS层开发-各分类加购价位分布表
-
10-19 主题计算-订单主题-DWS层开发-最近1日用户商品粒度订单汇总表
-
10-20 主题计算-订单主题-ADS层开发-当日交易综合统计表
-
10-21 主题计算-优惠券主题-DWS层开发-最近30日优惠券粒度订单汇总表
-
10-22 主题计算-优惠券主题-ADS层开发-最近30日发布的优惠券的补贴率表
-
10-23 主题计算-优惠券主题-ADS层开发-HiveOnSpark小文件优化