搜索
您的当前位置:首页正文

数据中台 -- 学习笔记(一)

来源:步旅网

数据中台:

是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径,中台还可以根据ThoughtWork首席咨询师给出的定义来解释。“企业级的能力复用平台”;“企业级”划定了中台的范围,区分了单系统的服务化和微服务;“能力”指定了中台的主要承载对象,能力的抽象解释了各种各样的中台的存在;“复用”定义了中台的核心价值,过去的平台化对于易复用性并没有给予足够的关注。
中台的兴起,使得人们的目光更多的从平台内部,转到平台对于前台业务的支撑上;“平台”说明了中台的主要形式,区别于应用系统拼凑的方式,通过对于更细粒度能力的识别与平台化沉淀,实现企业能力的柔性复用,对于前台业务更好的支撑。

中台解决的问题:重复业务、部门缺陷、数据资产发现

1.企业前方市场与企业内部支撑的冲突
用户与用户的需求总是善变的
2.前台与后台的冲突
3.企业各个部门之间,“部门墙”。

中台类型:按市场行情,中台分为六大类

数据中台:提供数据分析能力,帮助企业从数据中学习改进,调整方向。
业务中台:提供重要服务,例如用户中心、订单中心之类的开箱即用,可重用能力。
算法中台:提供算法能力,帮助提供更加个性化服务,增强用户体验。
技术中台:提供自建系统部分的技术支撑能力,帮助解决基础设施、分布式、数据库等底层技术问题。
研发中台:提供自建系统部分的管理和技术实践支撑能力,帮助快速搭建项目、管理项目进度、测试、持续集成、持续交付。
组织中台:为项目提供投资管理、风险管理、资源调度等支持。

数据中台需具备能力:

数据中台相关技术及相关技术选型

数据治理

数据治理(Data Governance)是组织中涉及数据使用的一套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
数据治理是对数据资产管理行使权利和控制的活动集合,数据治理的最终目标是提升数据价值,数据治理是非常有必要,是企业实现数字战略的基础,他是一个管理体系,包括组织、制度、流程、工具。

数据治理分类

元数据管理:包括元数据采集、血缘分析、影响分析等功能
数据标准管理:包括标准定义、标准查询、标准发布等功能
数据质量管理:包括质量规则定义、质量检测、质量报告等功能
数据集成管理:包括数据处理、数据加工、数据汇集等功能
数据资产管理:包括数据资产编目、数据资产服务、数据资产审批等功能
数据安全管理:包括数据权限管理、数据脱敏、数据加密等功能
数据生命周期管理:包括数据归档、数据销毁等功能
主数据管理:包括主数据申请、主数据发布、主数据分发等功能

数据治理工具

编程语言:java、Scala、python
数据分析后台:flink、spark等
数据可视化前台:BI、页面可视化
数据存储与设计:关系型数据库、非关系型数据库、数据仓库、数据湖
数据质量管理:Apache Griffin
元数据治理:Apache Atlas
权限与安全:Apache Ranger(Hortonworks与HDP平台集成)、Kerberos安全验证算法、Apache Sentry(Cloudera与CDH平台集成)
生命周期管理:Apache Facon(数据在某一个范围产生作用、意义)
第三方数据中台产品:阿里数据中台、数澜科技数据中台、云徙科技数据中台

网易数据中台

如何建立数据中台的建议:
Tips1:数据中台必须具备顶层设计(重要)

Tips2:数据中台要当产品来迭代
关键是要是要形成数据中台建设的规范和机制落地


Tips3:数据中台必须要有量化指标作为抓手,有阶段性的检验成果
Tips4:数据中台建设的目标是人人用数据、天天用数据

Tips5:数据中台可以有很多层架构

Tips6:数据中台强调管理,管理必须结合工具才能落地

Tips7:数据中台必须结合场景化数据产品落地
Tips8:使用数据沙箱解决多环境发布问题


Tips9:数据中台构建在逻辑数据湖之上
企业不仅仅只有hadoop,hadoop也不一定是必须的!
企业数据除了Hadoop,还有很多分散在各种数据源中,包括RDBMS、HTAP、MPP、KV等等。
统一元数据:缺少统一元数据视图,无法构建完整的数据资产,不知道企业到底有哪些数据!
统一查询:缺少统一的查询入口,无法跨数据源进行数据的分析,数据无法使用@
统一权限:缺少统一的权限管理,无法跟踪谁对哪些数据有权限,数据不敢用!

Tips10:打造大数据的CI/CD Devops

其它架构笔记

大数据基础设施层:PAAS层 中台
大数据采集 —> 大数据缓存 —> 大数据计算 —> 大数据存储
大数据模型层:DAAS(data as a service) 中台
数据仓库 —> 数据集市
大数据应用层:DA(data application) 前台
留存应用 —> 画像应用 —> 实时应用 —> 业务报表应用 —> 数据智能应用

离线数仓中台实现功能






因篇幅问题不能全部显示,请点此查看更多更全内容

Top