云音乐数据资产化设立的思考与实践
发布时间：2023-02-14 14:31:04 所属栏目：服务器 来源：互联网
导读：1 从几个典型的问题出发 我要取个数有没有现成的表？，按xx报表这个指标的口径，我想取清单明细怎么弄？，这么多表，很多指标存在多张表，哪个才是正确的？ 咱们的数仓建设得好不好？，数仓建设进度到哪儿了？模型公共性/拓展性如何？，数据质量怎么评估啊？
|
1 从几个典型的问题出发 “我要取个数有没有现成的表？”，“按xx报表这个指标的口径，我想取清单明细怎么弄？”，“这么多表，很多指标存在多张表，哪个才是正确的？”…… “咱们的数仓建设得好不好？”，“数仓建设进度到哪儿了？模型公共性/拓展性如何？”，“数据质量怎么评估啊？”，“完整性、一致性、准确性、及时性 ？”，“如何量化？”…… “咱们建了几万张表了，到底有啥用呢？”，“谁在用我们的表？用得怎么样？”，“建了这么多表，有什么价值？”…… 归纳问题，形成三类痛点：数据消费、数据生产、数据价值 2 初期所面临的内外环境 2.1 外部环境 在整个行业降本增效的大环境下，公司在近段时间也需要做相关的努力。我们的数据资产化也是围绕降本增效的宗旨，指导全链路的数据建设工作。 2.2 内部情况 加入云音乐初期，云音乐数仓已经具备了8年多的积累，表总量达到6w+，数据库70+，业务线10+，存储空间超过100P，数据生产和消费相关的人员几百人，线上线下的计算任务10w+，大数据年度成本超过1.5亿，在同等业务规模下的业务复杂度和计存成本已经达到了行业前列。 在过去几年，不论是业务环境还是团队人员都经历了好多轮的迭代，会面临很多现实的问题，诸如：持续不断的需求（来自业务、商分、技术、职能部门等）、永远短缺的人力资源，更不幸的是，基建能力的相对不足会使得前面两个问题陷入持续恶化的窘境。 这也应该我们大多数人可能面临的情况，很少有机遇能够碰到从0-1到数据仓库搭建机会，更多是在前人积累的现状下，一边继续支持业务，一边腾出手来做内部优化。 3 我的思考和行动 3.1 找出线头：从数据消费端切入 边建设边治理，类似开着飞机换引擎，必须在支撑正常业务需求吞吐的前提下，选择ROI最高的方式来快速拿到结果，并且被感知到。消费侧是一个比较好的切入点。三个理由： 消费侧对于数据资产变化的感知最直接； 现有基础上从底层开始推翻改造代价过高，且风险和人力成本均不可接受； 历史积累的很多“宝藏资产”有被发掘利用的价值。 这里有一个很现实的问题值得我们思考：为什么我们建设了这么多有价值的表，消费方还经常感觉到数据不够用？——是真的不够，还是说找不到？有问题的地方就有我们努力提升的空间。 建得多vs不够用 这样的体感错位的问题，本质上是 生产视角vs消费视角 的错位，导致用户消费决策链路上花费了太多的成本，从开始到放弃，陷入“不好找、不敢用、重新做、建更多、更难找”的恶性循环。 我们做了三件事情，来解决这个问题： （1）精简数据模型：梳理现有数仓模型表，提炼每块业务的核心表清单，将长期不用的库存表、疑似废弃的垃圾表、过度设计的烟囱表等进行淘汰整合 （2）产品化运营：搭建连接数据生产和消费的门户，提供数据资产化运营的平台——数据资产门户 随后在与网易数帆大数据产品团队的交流合作下，促成了数据地图-数据专辑的上线，方便集团内各BU更好地从消费场景来组织自己的数据资产信息结构。 至此，数据仓库团队有了自己的产品阵地来承载核心数据资产，以便后续逐步在消费者心中树立权威核心资产的心智。 3.2 抽丝剥茧：数据生产端的治理 不同于消费端的相对轻量化的方式，在数据生产端的治理则是切实从细节一点点地沉下去持续打磨。我们从立标准、搭工具两方面同时进行，来逐步拆解落实整个数据治理工作。 这里需要回答的是第二类问题：“如何量化数据仓库的建设？” 如下图所示，我们引入高质量、强规范、低成本三方面的指标来综合衡量之。 经过近一年的实践落地，云音乐数仓内部已经对“三度”指标体系达成了共识，并作为日常工作中的北极星指标时刻关注。 通过跟网易数帆大数据团队合作，我们拿到了生产链路的元数据血缘，并以此建模，形成生产治理可行的基础；权责到人&机制保障 使得整个过程能够有序落地。在过程中，同时沉淀了一系列的可视化监控看板和治理跟进工具，确保过程量化可控。 4 取得的一些成果 需要补充说明的一点是，不仅仅是绝对值相关的数字结果可观，从增速趋势、产出稳定性以及研发人员的日常意识方面，都是有明显的正向提升效果。 5 数据系统的全局长期目标思考 提到数据系统，不仅仅包含数据仓库本身，还涉及到上游生产系统、中游数据平台、下游消费圈人洞察、报表系统、智能服务等等，数据中台作为串联上下游的环节，是整个数据系统的核心。 在第一阶段的资产化建设达成目标后，我们更需要重新来审视应用视角的效率问题。如何降低下游业务应用的复杂性，则成为一个新的目标和命题。如下图所示，有一些事情已经在进行中，更多能力建设还在路上。 6 关于未来 一张图，一场仗，一颗心 数据资产化是这场仗的起点，但远未到达终点，起步于资产化建设，与兄弟团队们一起逐步丰满数据业务的大图。 使命和愿景 以数据资产思维和数据服务思维，不断推进数据中台化建设，打造云音乐数据统一，质量可靠，服务便捷，治理安全的数据资产建设、管理和服务平台，是我们这个团队的使命和愿景，愿与广大有志之士共同努力！ （编辑：甘南站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
