一、 课程简介
近年来,“大数据”已经深入人心,社会各个行业的企业都沉淀了大量的数据,如何把数据利用起来,创造价值,业务数据增值等命题已经成为业界的热门话题。自2010年以来,大数据技术已经成功地应用到新兴互联网企业(如电商企业、搜索引擎、社交网站、互联网广告服务提供商等)、金融企业(银行、保险、证券公司、互联网金融借贷公司等)、通信运营商(电信、移动、联通)等行业的企业。这些国内外的先驱企业通过对自身积累的数据进行分析挖掘利用,在不同程度上获得了数据分析带来的收益,带来了很大的数据价值增值作用,并从一定程度上拉开了与没有利用数据创造价值的企业之间的领先优势,提升了企业的竞争力。
大数据的发展,促进了大型企业如阿里巴巴、京东、金山、小米、腾讯等企业的飞速发展,应用加速了大数据时代的到来,一方面为企业带来了巨大的发展机遇,能有效推动企业的数据加工和信息化转型升级,促进企业实施数据化运营分析和科学决策战略;另一方面,由于大部分公司缺乏能够驾驭大数据架构流程的专门技术人才,现有技术人员对数据项目的实施经验不足,数据技术人才的缺乏对企业实行大数据智能分析决策的发展战略也带来了较大的挑战。
本次课程,针对数据架构流程标准培训,重点在:
(一) 数据架构设计与数据治理概要:
(1)数据治理的概念;
(2)几种数据治理类别;
(3)数据治理的意义;
(4)数据治理包含的技术;
(5)数据治理的整体流程;
(6)包含的管理组织架构和责权利分工。
(二) 数据架构与数据建模:
(1)构建数据架构;
(2)数据模型复杂的原因;
(3)数据模型存在问题的实例;
(4)数据架构构建战略;
(5)逆向建模与数据模型诊断。
(三) 数据标准化建设:
(1)主流的数据标准化方法概要;
(2)按域拆词的必要性;
(3)数据标准化中的标准域和用语词典的制作方法、过程;
(4)标准字典的新增、维护功能,审批流程;
(5)真正的数据治理落地案例实践。
(四) 数据处理及复杂数据可视化:
(1)数据挖掘及可视化背景;
(2)数据挖掘流程;
(3)常用挖掘工具介绍;
(4)图形展现;
(5)数据抽取;
(6)数据处理;
(7)数据存储;
(8)数据可视展现方式;
(10)数据展使用案例。企业如何落地数据标准,数据标准化案例讲解。
二、 培训目标与收益
1. 数据架构设计与数据治理概要
2. 数据架构与数据建模
3. 数据标准化建设
4. 数据处理及复杂数据可视化
5. 掌握数据架构和数据模型构建方法。
6. 掌握标准制定与标准化方法。
7. 掌握标准制定与标准化建设。
8. 本课程采用技术原理与项目实战相结合的方式进行教学,在讲授原理的过程中,穿插实际的系统操作,本课程讲师也精心准备的实际的应用案例供学员动手训练。
三、 培训人群
1. 咨询顾问
2. 数据管理工程师
3. 其他对本课题感兴趣的人员
四、 培训特色
定制授课+ 案例分析讲解 + 实战操作,共4天
五、 详细大纲与培训内容
时间
|
主要内容
|
详细内容
|
第一天上午
|
数据架构设计
|
1. 数据架构总体设计(描述)
2. 数据架构:逻辑架构
3. 数据架构:物理架构
4. 数据架构设计原则
5. 数据架构设计目标
6. 石油行业数据建模和数据架构流程设计参考
7. 企业如何落地数据标准,数据标准化案例讲解
8. 数据架构案例:阿里数据中台方案、腾讯社交数据流架构
|
第一天下午
|
数据架构模型设计
|
9. 数据架构分层流程定义
10. 数据架构的业务域
11. 数据架构概念模型设计
12. 数据架构流程逻辑模型设计
13. 数据架构流程物理模型设计
14. 如何抽象数据实体
15. 逆向建模方法
16. 模型诊断方法
|
第二天上午
|
数据架构的流程标准
|
17. 数据平台:前台、中台和后台的流程
18. 数据分布:逻辑分布、物理分布的流程
19. 数据分类:分类原则和分类内容
20. 数据接入:统一访问服务流程
21. 数据处理:统一数据处理引擎处理流程
22. 数据驱动:数据协议适配流程
|
第二天下午
|
数据架构的统一接入管理流程
|
23. 配置数据管理流程
24. 应用数据管理流程
25. 数据库节点管理流程
26. 路由规则管理流程
27. 扩容、备份、扩展、迁移的管理流程
|
第三天上午
|
数据架构的存储流程
|
28. 数据架构的存储总体设计
29. 核心数据存储架构
30. 非核心数据存储架构
31. 分析型数据存储架构
32. 非结构化数据存储架构
|
大数据技术架构流程
|
33. 大数据技术架构
34. 大数据计算流程
35. 大数据服务管理流程
|
第三天下午
|
数据治理标准化流程
|
36. 数据架构中的数据治理标准化流程
37. 数据治理体系
38. 数据资源目录管理
39. 主数据管理
40. 元数据管理
41. 生命周期管理流程
42. 数据质量管理流程标准
43. 数据标准制定方法,冲突处理机制
|
数据架构的数据安全标准流程
|
44. 数据安全总体设计流程标准
45. 安全审计
46. 访问控制
47. 数据加密
48. 数据中台的ITIL处理流程
|
第4天上午
|
数据处理及复杂数据可视化
|
49. 数据挖掘及可视化背景;
50. 数据挖掘流程:CRISPDM;
51. 常用挖掘工具介绍
|
第4天下午
|
数据处理及复杂数据可视化
|
52. 图形展现
53. 数据抽取
54. 数据处理
55. 数据存储
56. 数据可视展现方式
57. 数据展使用案例
58. 数据可视化监控大屏:Dashboard
|
|
讨论
|
59. 项目交流讨论
|
