数据中台是如何一步步搭建的日期:2021/7/21

企业的变革是受到市场竞争、外部变化、顾客诉求等多种条件作为催化剂,发生的一种自我成长。很多诞生于互联网的企业在上述条件的催化下,通过缩短产品的生命周期来提升对用户的黏性以及商业化变现能力,过程中企业必须迅速的成长与壮大,才会逐渐拿到更大的用户量与市场份额。


一、企业变革的过程下数据扮演什么角色呢?

企业的第一阶段

企业的业务是从 0 到 1 的,对标着竞品、头部、靠老板的直觉快速成长。这个阶段的企业是能认清自己的方向,但是不完全知道路该怎么走。企业会尽量完善地搜集数据,这些数据上仅对运营起帮助,不指导战略。

这个阶段数据团队除了主动去构建准确反应业务的指标之外, 还需要做好拆解业务接下来一些可能的方向。这个阶段很多都是在基建工作,比如埋点的设计、中间层设计,快速部署一些报表体系,还要整理数据的各种日报等,业务上的各种转化漏斗等。

阶段二

此时数据精准化,数据之间有了关系,数据担当的角色由点连为线以及面;让管理层思考“我有什么,我要什么,我该放弃什么”,如何知道要坚持一些东西放弃一些东西呢,那是因为知道某些业务之间有内在联系,这些联系是需要通过分析与挖掘大量数据来把成果最大化。

阶段三

成熟业务上已经具备护城河,并持续性各种创新,全力保高速增长。这个阶段开始除了关注内部数据外,也得重点关注外部与行业等各种数据,为业务探索距离天花板还有多大的空间,为公司下一步战略找到出路。


二、数据中台搭建的思想准备

对一家企业进行数据规划与建设时,是要思考企业的大数据该如何建设。需要从企业阶段现状、诉求、组织结构、数据基础、数据应用能力现状等多方面来思考架构的规划、落地、执行、落地节奏等。同样的,面对“数据中台”的规划建设,企业不同阶段对数据诉求差异性很大,必然导致数据建设、实施策略差异也很大。



互联网企业比起传统企业来,其业务特点是通过互联网这个渠道跳过很多环节,直接面对最终用户提供产品化、服务化的场景应用。经过快速的信息化建设后,企业很容易形成业务数据孤岛现象。

为了消除数据孤岛,需要一个职能更大数据团队组织来保证并约束个独立 BU 的数据相关建设。这里面必须包含采集规范、设计规范、模型规范、指标规范等,为了减少重复建设,会利用一些工具化的措施,尽可能地整到一起来做研发与部署运维。


数据上逐渐凸显的问题与解决

从集团的角度整理来看,企业在后期转型中,为了创新、引流,同样遇到了需要面对很多数据上的问题。

•     数据重复建设与复用问题

•     企业完整的用户资产问题

•     多套日志采集标准问题

•     各种工具重复建设

•     数据重复建设问题

•     多套标签体系问题

•     多套用户 ID 问题

•     其它业务的多 ID 问题

•     数据质量问题

•     管理层上报的一些指标口径问题

•     其它的一些问题

各种问题与很多企业遇到的数据建设问题基本是一致的,这里不一一列举了。原有的各业务线建立自己的数据团队是为了更好的服务于自己的业务线,但从集团的角度来看需要更多的业务联动、创新联动、引流联动数据的打通势在必行。


三、数据中台如何搭建?

方法1:从底层开始的合并之路

原有多个业务线都有自己的独立计算存储以及数据组织结构,通过三个阶段的来做整合与合并。

第一个阶段,计算能力、数据存储、调度的迁移与整合

第二个阶段,数据模型不停的重构。人员、数据内容、工具化、运维工具、开发工具、资产工具的整合,初步的统一对外服务。

归一:可以从一个更大企业的视角来看这个数据平台是属于统一数据采集、统一的模型、统一的各种 id 归一化等。

整合:提供了企业级的主题域规划、数据资产管理、运维管理、开发管理。

在服务层:有统一的各种数据引擎等。

对外上:提供各种灵活的多租户工具集来做数据加工、运维管理、灵活的数据出口配置。

第三个阶段,数据团队除了要数据产品功能本身的建设,还得考虑在数据内容与价值的传递上如何让用户更加方便使用,最最主要的如何能够快速对业务线做出该有的响应。


方法2:数据内容建设、数据工具、数据应用上的合并

最下层是不同独立业务线的数据源,可以统一数据采集的标准化等,配置一致化的数据采集传输中线。

第二层是传统意义的数据仓库范畴,数据的统一整合存储的地方。比如数据存储、统一 ID、数据公共主题域、各种标准化的内容(以及其他与数据模型、数据仓库范畴有关的内容)。

第三层是原有分散在独立 BU 的一些面向数据价值、分析挖掘使用的工具体系, 被集成到一起后需要从集团的视角来对不同业务 BU 的数据使用做支撑。



在企业级合并中,需要围绕着新的数据主题域做设计,建设更好的公共主题域来支撑各种应用,里面的视频的统一标签、统一的用户 id ,更为完全用户画像都是需要建立的。这里面在工具方向、开发工具方向、运营工具方向上,报表平台、指标体系很多都是需要重新建设,方便为广泛的群体用户所使用。

文章来源:AI前线《数据中台不是买来的,是干出来的》