登 录
注 册
< 数据中台
中台架构
数据模型
数据资产
数据服务
服务体系建设
中台运营机制
热门推荐>>>
中台架构
中台建设与架构
Hadoop
源码分析-NN启动(三)
HBase
HBased对接Hive
Linux
Nginx高可用
Python
数据导出工具
Flink
3分钟搭建Flink SQL测试环境
Kafka
Kafka对接Flume
深度学习
卷积神经网络
数据结构与算法
选择合适的算法
MySQL
数据备份恢复
计算机系统
信号量同步线程
Hive
Hive调优参数大全
其他框架
Azkaban Flow1.0与2.0
ClickHouse
表引擎-其他类型
技术成长
最好的职业建议
精选书单
技术成长书单—机器学习
技术资讯
数据在线:计算将成为公共服务
开发工具
IntelliJ IDEA 20年发展回顾(二)
系统工具
Mac命令行工具
虚拟化
内存虚拟化概述
云原生
云原生构建现代化应用
云服务
一文搞懂公有云、私有云...
Java
Spring Boot依赖注入与Runners
Go
Go函数与方法
SQL
SQL模板
当前位置:
首页
>>
数据服务
>>
中台运营机制
中台运营机制
2020-07-02 23:07:38 星期四 阅读:1498
####数据中台运营团队的使命及目标 - 数据安全及质量是中台可持续运营的基础 提效降本是打造中台影响力的关键 或者可以总结为 - 数据可以被持续高质量的生产出来 数据消费者可以便捷地获取到数据。并能在安全、有监管的环境中使用 ####数据中台运营团队的使命及目标 数据中台运营的四个价值切入点 `统一战略`:数据中台一旦开始运营,一定是CEO、CMO、COO、CIO、CFO等各业务高管需要共同背负的目标 `搭建组织`:参考下图10-3 集团型企业数据运营团队组织架构示例 `打造氛围`:使整个企业内部有使用数据的氛围,比如公司显眼位置放置公司实时数据大屏,唤醒其他部门对数据的影响力 `实践创新`:结合业务的创新实践,如何形成让各个部门争相使用数据的内部竞合态势(比如建立优秀数据化部门等) ####数据资产运营的完整链路 看:供数据消费方简单、便捷详细了解资产信息 选:将数据加入购物车或收藏夹,放入一个意向的资产库中,方便反复查看 用:根据选择的数据生成相应的数据服务接口或通过数据应用产品来使用这些数据资产 治 - 标签治理 - - 新标签设计 标签上下架管理 标签类目管理 标签血缘分析 标签质量评估、使用安全等 - 数据治理 - - 表、字段的生命周期管理 血缘分析 数据质量 评:通过统一的标准进行完整、系统地评估 - 质量层面 使用层面 成本层面 故障层面等 ####数据成本运营 如果公司发展到一定的规模,不进行数据的管理和成本治理,那么企业的利润可能都会被这种数据的增长所带来的硬件和计算开销吞噬殆尽。 **`存储成本优化`** - 原始数据成本优化:一般建议永久保留,比如订单数据 过程数据成本优化 临时性的过程数据:临时表用完马上清除,或者定期巡检此类表,定期清除 支撑结果计算的过程数据:ETL过程的中间结果数据,DWS层的表等 - - 全量存储:只存储最新的一份快照 增量存储 全量快照:需要有一定的滚动机制(只保留最近7天的快照) 周期快照 - 结果数据成本优化:哪些数据集有价值,哪些数据集无价值,需要通过业务来检验。而不是非技术人员存储太多冗余或看似有用却对业务无用的数据集 **`计算成本优化点`** 重复计算 冗余计算:SQL逻辑写的有问题,或者SQL优化空间大 低价值计算:大部分的计算成本消耗在当前不需要用到的数据集上,或者没有任何产出跑空表 调度不合理 频率不符合:任务产出的频率和使用该数据的业务对数据更新的频率要求不一致 ####数据中台成本账单监管 作为企业数据运营负责人,需要明确数据由谁生产,被谁管理,在为谁服务,从而将这个表、这个数据库每天所产生的的账单分解到对应的责任人或者部门身上。各个部门或者子公司每天所产生的的数据存储成本、计算成本、使用成本等都应该被归结为一种`账单`,发送到各个相应的责任单元,并进入成本考核体系。