滴普科技:为什么说DataOps是数据中台的拐点?

滴普科技:为什么说DataOps是数据中台的拐点?
文章图片
要说最近企服圈什么最被关注 , SaaS和数据中台想必是大多数人心里的答案 。
前者商业模式已经被证明 , Salesforce就是最好的例子 , 后者从刚出现时的火热 , 到被质疑跌落谷底只用了短短3、4年时间 。 这让很多人好奇 , 为什么在“数据价值已经被证明”和“企业数字化转型也成了多数CEO共识”的当下 , 大家对于数据中台的看法还会呈现两极分化 , 看好的人坚定认为数据中台是企业数字化转型的“解药” , 看衰的人规劝同行不要上中台 , 它是鸡肋 , 是“毒药” 。
归根结底 , 是因为业界对一个关键问题的看法还没有达成一致 , 即数据中台究竟是不是支撑企业数字化转型的最合理的数据基础架构?翻译一下就是 , 数据中台能不能满足企业数字化转型的最大公约数 , 或者说媒体老师们口中的最优解 。
数据中台是一个“新物种” , 但它的新仅仅停留在国内厂商的造词能力上 , 它诞生于国内 , 不懂技术的人容易被“中台”二字带偏 , 误以为它是一副万能药 , 在硅谷 , 其实也有一些知名独角兽公司有着和数据中台架构相类似的数据基础架构 , 但他们习惯把它叫作数据平台 , 而不是数据中台 。
这里我们需要明确的是 , 所谓的“数据中台” , 它只是一种叫法 , 就像“人工智能”一样 , 具体定义和内容往往需要根据要实现的目标和要解决的问题来确定 。 以Twitter为例 , 公司从2011年的300人 , 发展到2014年的4000人 , 大数据平台从80台服务器的单纯Hadoop集群 , 扩展到8000台服务器的核心数据处理平台 , 打从在很小规模时 , Twitter就是一家数据驱动型的公司 , 而它管理的底层支撑 , 是一个全局共享的大数据平台 。
滴普科技:为什么说DataOps是数据中台的拐点?
文章图片
图:Twitter大数据平台架构(来源:《云原生数据中台:架构、方法论与实践》)
这种平台型架构的好处是 , Twitter在业务和组织快速扩张时 , 能做到统一数据规范、消除数据和应用孤岛 。 回到国内 , 多数企业在搭建数字化信息系统时 , 也就是在顶层设计的初期 , 并没有做到面向未来 , 所以一旦组织扩张速度过快 , 数据层面的浪费和组织层面的冗余也就随之而来 , 在这种情况下 , 企业往往盲目寄托于上数据中台 , 把包袱丢给数据智能服务提供商 , 但却忽略了自身的症结关键所在 , 所以难免越做越错 。
一般来说 , 数据智能有3个发展阶段:大数据平台建设阶段、数据管理及应用阶段和数据能力中台化阶段 。 就目前来看 , 大部分企业的数据平台建设已经进行到一、二阶段 , 但要顺利过渡到第三阶段 , 就绕不开一个关键方法论的帮助——DataOps(数据运维) , 值得一提的是 , 它是很多硅谷公司在解决第三阶段问题时普遍采用的方法论 。
DataOps由DevOps概念衍生而来 , 是基于元数据开发和部署数据分析应用的一种灵活敏捷的方法 。 “它让数据开发过程变得敏捷可控 , 这是眼下很多公司最头疼的事 。 对于大多数企业来说 , 数据在调整过程中容易缺少版本管理、缺少持续集成 , 甚至没有测试环节 , 整个过程都要靠人去做这件事情 , 他们就像是数据管道工 , 更别谈最终形成你想要的AI模型 。 ”滴普科技FastData产品管理部总经理曾这样谈到 , 无独有偶 , 《数字化转型架构:方法论和云原生》一书中也明确提及 , 云原生应用平台的发展将经历DevOps—DataOps—AIOps的演进路径 。 为此 , 这篇文章我们将主要探讨: