大数据时代
ETL数据开发工程师不可或缺
ETL DATA DEVELOPMENT ENGINEERS ARE INDISPENSABLE
数据
来源广
数据格式
多样化
数据量大
（>TB）
数据增长
速度快
针对大数据的特征，企业如果想进行卓有成效的开发， 并获取价值，就需要考虑很多问题：
数据来源广，增长速度还快，该如何
采集汇总
数据量大，格式还多样化，采集汇总
之后该如何存储
数据存储之后，该如何通过运算，转
化成自己想要的结果
ETL数据开发工程师的四个维度
FOUR DIMENSIONS FOR ETL DATA DEVELOPMENT ENGINEERS
岗位职责维度
日常工作维度
掌握技能维度
未来发展维度
ETL数据开发工程师的职业优势
AN IDEAL CAREER IN THE DIGITAL ECONOMY
人才缺口大
跨领域发展
职业寿命长
性别无歧视
薪资水平高
人才缺口大
中国大数据ETL方向人才缺口高达150万
数据来源：https://new.qq.com/rain/a/20210423A0287Y00
跨领域发展
数据来源：https://new.qq.com/rain/a/20210423A0287Y00
职业寿命长
数据来源：https://new.qq.com/rain/a/20210423A0287Y00
性别无歧视
数据来源：https://new.qq.com/rain/a/20210423A0287Y00
薪资水平高
数据来源：https://new.qq.com/rain/a/20210423A0287Y00
课程特色
COURSE CHARACTERISTICS
课程直击时下热门技术，未来发展方向，企业数字化转型需要，金融业、互联网大厂等需求旺盛
课程对学员的要求相对较低，专科理工类/本科不限专业均可报名，就业起薪一般会在普通数据分析师职位之上
课程专注于岗位必备核心技能，最快33天可实现职场的华丽转型，冲击时下高薪热门的数据岗位
18个单元课程（必修+选修），涵盖ETL数据仓库及BI商业数据分析技术，实现了数据工程的全链路
学掌门的项目内容和形式会更为多样，包括但不限于：电商、市场营销、金融银行、在线教育、医疗可视化大屏、报表分析、财务分析、软件产品分析等
整个课程由Atstudy学习实训云平台+项目实战手册+视频讲解+作业+练习+测试组成，小白学员本地无需任何复杂的学习环境配置，开箱即用，轻松上手
我想报名就抓紧时间学习，早点学 完，早点转行，早点赚取更多的 Money可以吗？
公司新项目上线，天天加班到深夜， 学习时间不足，我想这两周学习进度 慢一点可以吗？
我有一定的基础，想跳过前面的基础 学习，直接进入后面更高级阶段可以 吗？
我基础较差，学习能力也不是很强， 希望可以慢点学，基础学扎实一点 后，再考虑就业可以吗？
课程大纲
COURSE OUTLINE
02-实体关系（ER）建模理论及应用场景
03-维度建模理论及应用场景
04-Data VauIt建模理论及应用场景
05-Anchor建模理论及应用场景
06-数据仓库维度建模
07-数据采集与数据同步
09-离线数仓与实时数仓
10-偏业务型行业数据仓库设计
11-偏流量型互联网行业数据仓库设计
12-数据仓库在数据化运营中的应用
13-其他行业数据仓库实施的业务流程
02-GPT的前世今生
03-GPT为什么这么火
04-GPT国外的发展与应用及未来趋势
05-GPT国内的发展与应用及未来趋势
06-GPT究竟替代了哪些人的工作？
07-GPT给普通人带来的危”与“机”
08-GPT给技术人带来的危”与机”
09-通用人工智能时代，普通人应该做什么？如何转“危”为“机"?
10-通用人工智能时代，技术人应该做什么？如何转＇危“为“机'?
12-淘汰你的不是AI,而是会用AI工具的人
13-GPT实操体验01:如何给你10岁的儿子庆生？
14-GPT实操体验02:让GPT帮我们写代码
15-GPT实操-03:让GPT帮我们谈恋爱
16-GPT实操-04:如何不被马斯克炒掉？
17-GPT实操-05:让GPT帮你写求职信
18-如何自己动手注册GPT帐号
19-GPT使用中的高频报错警告及解决办法
20-如何防止账号被OpenAI禁用，坑与经验
02-数据库建模与ER模型
03-数据库中的关系与约束
04-数据库中的索引
05-数据库DDL与DML
06-数据库基础查询
07-数据库高级查询
09-数据库常用函数
10-数据库自定义函数
11-数据库视图
12-数据库存储过程
13-数据库性能优化
02-MySQL8 ON子句和USING子句
03-MySQL8 中的正则表达式
05-MySQL8 中解析JSON
06-MySQL8 中的高级函数
07-MySQL8 中的窗口函数详解
-- 定义GPT提示词
-- GPT提示词的用途
02-如何编写好的GPT提示词
-- 确定目标受众
-- 使用合适的语言风格
-- 遵循文本生成的最佳实践
-- 小心使用敏感话题和表述
-- 考虑多样性和包容性
-- 对提示词进行稍细修改
03-编写时需要注意的问题
-- 坚持一致性和连贯性
-- 减少重复和歧义
-- 处理特殊情况，如意外输入测试和优化提示词
04-最佳实践示例
-- 展示一些好的GPT提示示词的例子
-- 分析为什么这些提示词效果好
-- 提供可供参考的模板和指导
05-深入了解GPT提示词技术
-- 探索更高级的技术和方法
-- 分析GPT提示词技术未来的发展方向
-- GPT和SQL的定义
-- GPT和SQL的主要应用领域
02-GPT在ETW数据工程中的应用
-- 描述ETL数据工程的流程
-- 引入GPT解决编写SQL语句的挑战
-- 在ETL数据工程中使用GPT的优势和局限性
03-如何训练GPT生成SQL 提示语
-- 准备SQL语句数据集
-- 对数据进行预处理和嵌入
-- 训练GPT模型
-- 微调模型以优化结果
-- 定义输入格式
-- 输入样例并从模型中获取输出
-- 解释输出并将具转换为相应的SQL语句
-- 消除歧义和错误
05-实例演示
-- 演示一个使用GPT编写SQL语句的实例
-- 分析该实例的关键步骤和注意事项
06-总结与展望
-- 总结使用GPT辅助编写SQL语句的优点和缺点
-- 展望未来GPT在ETL数据工程中的更多应用
02- FineBI 基础快速上手
03- 利用FineBI进行数据处理与分析
05- 基于FineBI实现的金融数据分析项目
-- 初识FineReport
-- FineReport多报表设计
-- FineReport数据分析计算
-- FineReport可视化制作
-- FineReport大屏概述及制作
02- 实战01：医护患比月度趋势分析
04- 实战03：病床利用率达标及某科室月 度趋势分析
05- 实战04：住院收入月度趋势分析
06- 番外扩展篇：FineReport上线部署、 权限管理与二次开发
02- Python对Excel文件的存取操作Python 数据清洗与数据处理（了解）
03- MySQL数据导入导出及数据的转换、处理与统计分析（重点掌握）
04- Python 数据分析（了解）
05- Hive 大数据分析（了解）
06- FineBI数据可视化BI报表大屏看板制作（重点掌握）
02- ETL基础知识与专业术语
03- 配置Kettle运行环境
04- 熟练Kettle基本操作
05- 利用Kettle抽取各种异构数据源
06- 利用Kettle实现数据的转换处理
07- 利用Kettle实现数据的迁移与装载
09- 利用Kettle处理维度表
10- 利用Kettle加载事实表
11- 利用Kettle处理WebService与 Resetful接口数据
12- Kettle任务、增量加载、全量加载、资源库
13- Kettle 综合实战案例
实验1-1: 工欲善其事必先熟悉工具
实验1-2: Oracle的SQL之美
实验2-1: Oracle数据操作及查询基础
实验2-2: Oracle数据查询之综合查询
实验3-1: Oracle之子查询和分页
实验4-1: Oracle之视图和同义词
实验4-2: Oracle序列、索引
实验5-1: PL/SOL
实验5-2: 自定义函数和存储过程
实验5-3: 综合案例
02- 配置Kettle运行环境
03- Informatica 工具快速上手
04- 利用 Informatica 抽取各种异构数据源
05- 利用 Informatica 实现数据的转换处理
06- Informatica 综合实战案例
实验2-1 电商离线数据仓库开发01-业务数据模型搭建
实验2-2 电商离线数据仓库开发02-数仓模型搭建
实验2-3 电商离线数据仓库开发03-缓慢变化维与拉链表技术
实验2-4 电商离线数据仓库开发04-利用拉链表技术搭建数仓ODS与DW层(上)
实验2-5 电商离线数据仓库开发05-利用拉链表技术搭建数仓ODS与DW层(下)
实验2-6 电商离线数据仓库开发06-时间维度分析业务开发(上)
实验2-7 电商离线数据仓库开发07-时间维度分析业务开发 (下)
实验2-8 电商离线数据仓库开发08-指标开发之企业经营状况分析 (一)
实验2-9 电商离线数据仓库开发09-指标开发之企业经营状况分析 (二)
实验2-10 电商离线数据仓库开发10-指标开发之用户订单购买行为分析
-- 简介ETL和GPT技术
-- 解释为什么需要将它们集成在
02-ET店日数据仓库的设计基础
-- 定义ETL和数据仓库的基本概念
-- 讨论常见的ETL挑战，如数据质量、数据源集成和数据可视化
-- 描述数据仓库环境中的典型工作流程
03-GPT在ETL过程中的应用
-- 介绍如何使用GPT自动生成ETL代码
-- 展示如何使用GPT来处理ETL中的自然语言任务
-- 例如解析和生成SQL查询
-- 讨论如何使用GPT改善数据质堡，例如实体识别和意图分类
-- 探索如何使用GPT扩展数据仓库功能，例如文本挖掘和情感分析
05-GPT和ETL集成的最佳实践和案例
-- 提供一些最佳实践，包括如何选择合适的GPT模型、如何准备数 据并进行预处理等 分享—些GPT和ETL集成的成功案例分享
-- 分析该实例的关键步骤和注意事项
06-总结与展望
-- 总结GPT和ETL的优势和局限性
-- 展望未来GPT在ETL和数据仓库中的更多应用
— 使用工具：MySQL，Excel，PowerBI
— 数据来源：阿里天池实验室-淘宝用户行为数据集 ：
— 分析类型：描述分析，诊断分析
— 分析方法：漏斗分析，用户路径分析，RFM用户价值分析，活跃/存留分析，帕累托分析，假设验证分析。
SQL进阶专题02-神奇Case表达式及其高级应用
SQL进阶专题03-SQL自连结在令业实战中的实际应用
SQL进阶专题04-MySQL 8中的窗口函数精讲
SQL进阶专题05-时间序列分析SQL实战
SQL进阶专题06-深入理解SQL分析
SQL进阶专题07-企业面试SQL分析真题集
02.mysql的编写过程和解析过程
03.SQL引擎的运行原理
05.SQL多表关联的优化
06.SQL查询的优化
07.SQL的其他优化注意事项
1.1 为什么需要PowerDesigner
1.2 PowerDesigner简介
1.3 PowerDesigner建模文件
（1）需求模型(RQM)
（2）业务程序模型(BPM)
（3）概念数据模型(CDM)
（5）物理数据模型(PDM)
二、PowerDesigner安装
三、进销存管理系统数据模型设计
（1）项目背景介绍
（2）概念数据模型设计
（3）物理数据模型设计
（4）项目总结
02- 数据采集方法，流程
03- 数据采集标注
04- 数据清洗概述、方法，流程
05- 明确3方面：业务知识，数据与指标
06- 数据制作的标准与流程
08- 利用工具进行数据集的处理
09- 利用代码进行数据集的处理
10- 结构化数据集的处理
11- 非结构化数据集的处理
12- 用户行为日志采集及大数据处理
-- 微软Power BI 基本介绍
-- 如何通过模型快速建立可视化分析报告
-- Power BI与Excel BI的异同
-- Power BI可视化图表制作
综合项目：基于Power BI实现的移动终端数据销售情况分析
02.数据字段管理
03.函数与公式计算
04.图表制作
05.仪表盘制作
06.tableau数据可视化案例
实战：利用Tableau进行客户分析
实战：利用Tableau进行营销效果分析
实战：利用Tableau进行商品评论分析
02.GPT帮你挖掘经历的价值
03.GPT助您雕刻理想职业简历
04.使用GPT撰写简历开始的几个步骤
05.确定您的需求
07.如何使用GPT生成—份简历？
08.GPT提示关键词（指令）
09.利用GPT生成简历及全面优化简历
10.实例演示
-- 简介GPT技术
-- 解释为什么需要一个专职的AI面试官
02-面试岗位和技能要求分析
-- 分析当前AI相关岗位企业所需的技能和能力要求
-- 描述如何准备和规划面试过程以满足企业的招聘要求
-- 强调GPT如何协助实现这些目标
03-X-GP甘百试官的设计和实现
-- 介绍如何设计和实现一个能够模拟人类面试官的GPT模型
-- 展示如何训练GPT面试官模型， 并调整模型超参数以提高性能
-- 讨论如何使用GPT面试官来测试和评估AI相关岗位的候选人的技能水平
-- 探索如何使用GPT面试官来生成企业面试题
-- 对候选人进行模拟面试，并给出针对性的评价和改进意见
05-GPT面试官的最佳实践和案例
-- 提供—些最佳实践，包括如何选择合适的GPT面试官模型、 如何准备 数据进行训练，以及如何评估X-GP阿酢式官的效果
-- 分享一些GPTI面试官应用的成功案例
06-GPT面试官演示
-- 演示一个使用GPT面试官对候选人进行实际模拟面试的场景
-- 分析该演示的关键步骤和注意事项
二、GPT如何赋能面试让你成为 “面霸”
2.1GPT在企业面试中能起到的作用和担当的角色
2.2如何给到GPT更好的问题
2.3如何让GPT给到你更准确的答案
2.4如何调教GPT (技巧与方法）
三、实战：如何利用GPT帮你顺利搞定人面
3.1请问你的兴趣爱好是什么？
3.2请问你为何从上一家辞职？
3.4你能接受加班和出差么？
3.5你期望的工资是多少？
......
四、实战如何利用GPT帮你顺利通过技面
4.1 GPT赋能高效解决mysql面试题
4.2 GPT赋能高效解决数据分析业务题
4.3 GPT赋能高效解决python面试题
4.4 GPT赋能高效解决机器学习面试题
实战项目
ACTUAL COMBAT PROJECT
项目一：手把手带你从0搭建离线数据仓库项目
项目目标
数据仓库的概念和建设过程
· 维度建模
· 事实表
· 维度表
· 数仓分层架构设计：ODS、DWD、DWS等
离线数据仓库的功能、使用场景和常用的技术栈
· MySQL：数据存储与管理
· 缓慢变化维（拉链表）设计与技术实现
· Kettle ：ETL数据清洗与处理工具
项目二：实战 BI 商务智能分析
项目简介
合并到一个企业级的数据仓库里，从而得到 企业数据的一个全局视图，在此基础上利用 合适的查询和分析工具、数据挖掘工具、 OLAP工具等对其进行分析和处理(这时信息 变为辅助决策的知识)，最后将知识呈现给 管理者，为管理者的决策过程提供支持。
项目三：某大型求职网的职位需求与用户画像数据仓库实现
项目目标
从数据获取、数据清洗、数据处理、数据分析到可视 化展示和商业分析报表 全流程项目演练达到学习目标：
· 能够借助相关技术完成数据清洗转换处理操作
· 能够从关系型数据库进行取数及复杂数据统计功能
· 能够使用 BI 工具完成可视化大屏看板需求
· 能够独立完成数据分析可视化报告撰写
项目四：某上市知名电器公司POC项目自助商业分析看板制作
项目目标
· 了解各产品 (大品类/小品类) 类别所对应分销渠道的各销量占比细分 (销量分析)
· 能够从关系型数据库进行取数及复杂数据统计功能
· 以2019年10月来计算同环比差值及各省份/分销渠道的销量情况(组合分析)
· 计算YTD今年至去年同比及目标完成情况，不同分销商省份销量完成情况/不同产品 属性对应销售额占比
项目五：亿级SQL电商用户行为分析项目（MySQL+BI）
项目目标
本项目主要以“淘宝用户行为数据集”的分析全过程为例， 展示利用SQL+Excel进行电商行业数据分析的全过程 。
· 使用工具：MySQL，Excel，PowerBI
· 数据来源：阿里天池实验室-淘宝用户行为数据集
· 分析类型：描述分析，诊断分析
· 分析方法：漏斗分析，用户路径分析，RFM用户价值分析， 活跃/存留分析，帕累托分析，假设验证分析
项目六：基于Kettle工具构建职位人才画像之构建城市数据字典
项目简介
《数据分析职位人才需求与用户画像系 统》业务需要，将从网上抓取的全国省市 地区数据清洗处理后导入到MySQL数据库 中，根据需求构建数据字典表，以备后继 业务部门使用。
项目七：基于 FineBI 实现的银行金融数据分析
项目目标
· 能够针对金融行业的需求设计可视化分析方案
· 能够针对具体的业务需求选择恰当的可视化图表
· 能够使用Fine BI工具实现金融行业可视化分析
· 能够根据可视化分析结果为企业提供经营决策
项目八：基于FineReport实现资源配比决策分析大屏可视化报表
项目目标
· 科室医护患比月度趋势分析
· 国家标配与现状对比分析
· 病床利用率达标及某科室月度趋势分析
· 住院收入月度趋势分析
项目九：基于Power BI实现的移动终端数据销售情况分析
项目目标
· 数据理解:5W2H分析法、一维表二维 表、行列操作
· 数据处理:数据清洗基础及相关操作
· 数据建模分析:业务知识一站通、对比 及多维度分析法(穿插业务)
· 数据可视化:基本图表使用项目数据看 板制作
· 利用 ExcelBI+Power BI贯穿教学全程实现
项目十：用 Tableau 进行自助式商业分析
项目目标
· 基于Tableau的营销主题分析如何衡量 媒体的营销价值
· 电商数据货品分析项目实战(波士顿矩 阵分析、四象限分析法)
· 基于Tableau的保公司索赔情况分析
· 中国高校整体资源情况分析
· 零售行业数据分析
预订课程
课程大纲
我要试听
职业路径
就业服务