2015，大数据平台的重与轻
原创 · 约 9 分钟阅读 · 阅读 --

2015，大数据平台的重与轻

作者: 字与码

随笔

古董级程序员，大厂出来后一直在创业公司，现在仍活跃在一线做 AI 相关的开发。这个专栏会慢慢写从 1990 年代到今天的 IT 变化，也会夹带一些自己的旧事。更完整的更新写在微信公众号「字与码」，若觉得这些回忆和观察对你有用，欢迎顺手关注。

2015 年，互联网公司已经很难离开数据平台。

前一年写微博头条时，说过推荐系统不是一个算法点，而是一整套能力。到了 2015 年，我对这句话的感受更深。因为越是想快速迭代业务，越会发现数据平台既是发动机，也是负担。

它很重。

采集、清洗、存储、调度、查询、权限、口径、质量、血缘、成本，每一个词背后都是坑。一个字段埋错了，后面一串分析都会错；一个任务晚了，上游产品就看不到当天效果；一个口径没统一，会议上就会变成不同团队各说各话。

它又必须很轻。

业务等不起。推荐策略要验证，运营活动要复盘，产品改版要看效果，商业化要算收益。平台如果只讲架构完美，没人会等你半年。

数据平台的第一原则：可信

数据平台最怕的不是慢，而是不可信。

慢还能解释，还能优化；不可信会伤害组织判断。一旦大家觉得数据不准，就会回到拍脑袋、凭经验、凭职位争论。

可信来自很多细节。

事件定义要清楚，客户端和服务端采集要对齐，日志不能随便改格式，任务失败要报警，重跑要有规则，去重和过滤要可解释，指标口径要能追溯。

这些工作听起来不酷，但非常重要。

数据平台取舍

很多公司建设数据平台时，容易先追求工具丰富：报表、仪表盘、自助分析、实时大屏、可视化拖拽。工具当然有用，但如果底层数据不可信，工具越多，错得越快。

重平台和轻决策

一个成熟的数据平台，底层一定很重。

它要处理海量日志，要支持离线任务和实时任务，要管理资源，要保证稳定性，要控制成本，要让不同团队能共享同一套基础设施。

但平台的上层体验必须轻。

业务方真正想要的是：今天改了一个策略，明天能不能看结果；这个功能上线后，留存有没有变；某个推荐规则是不是只提高了点击，却伤害了长期体验；某类用户为什么下降。

如果每个问题都要找工程师排队写脚本，平台价值就打了折扣。

所以数据平台的矛盾在于：底层越复杂，上层越要简单。

这和很多基础设施一样。云计算也是这样，底层调度、网络、存储、隔离非常复杂，但用户最好只看到 API。数据平台如果不能把复杂性收起来，就会变成少数专家才能使用的系统。

Hadoop 和 Spark 背后的工程变化

2015 年前后，Hadoop 生态已经很成熟，Spark 也开始成为越来越多团队关注的对象。

技术栈变化背后，是数据处理需求变了。

早期更多是离线批处理：日志收集起来，晚上跑任务，第二天看结果。后来业务希望更快，推荐、广告、风控、运营都希望缩短反馈周期。批处理仍然重要，但实时和准实时能力变得越来越有价值。

这不是简单换一个框架。

框架变了，任务模型、资源管理、错误处理、数据一致性、监控方式、开发习惯都会跟着变。工程师要做的不是追新名词，而是判断业务到底需要多快、多准、多便宜。

有些指标一天一次就够，有些必须分钟级，有些需要秒级。把所有东西都做成实时，是浪费；把所有东西都放到离线，是迟钝。

数据最终要回到业务

数据平台做久了，很容易陷入平台自身。

集群规模、任务数量、吞吐、延迟、可用性，这些指标当然重要。但数据平台最终要回答业务问题：用户为什么来，为什么走，内容为什么传播，策略为什么有效，增长为什么停下。

一个数据平台如果只服务工程师，就少了一半价值。

2015 年我越来越感受到，平台工程师必须理解业务。不是要求每个人都做产品经理，而是至少要知道数据被谁使用、用来做什么决策、错误会造成什么后果。

下一年，AlphaGo 会把 AI 推到大众面前。对很多人来说，那是一场围棋比赛；对工程师来说，它也提醒我们，数据、计算和模型会把软件系统推向新的阶段。

2015 年 IT 大事记

  • 移动互联网进入成熟竞争。 用户增长仍在继续，但竞争已经从抢入口进入留存、推荐、商业化和运营效率阶段。数据驱动成为互联网公司日常能力。
  • Kubernetes 1.0 发布。 容器编排开始进入可生产使用阶段。微服务、弹性调度、自动化部署和平台工程逐步形成更明确的技术路线。
  • TensorFlow 开源。 Google 开源 TensorFlow，深度学习工程化和模型训练工具链开始加速普及。AI 不再只在论文和实验室里，也开始进入更多工程团队。
  • Hadoop 与 Spark 并行演进。 Hadoop 继续支撑离线计算，Spark 等新一代框架扩大影响。数据平台开始同时面对批处理、准实时、机器学习和交互式分析需求。
  • 拼多多创办。 拼多多从社交电商、低价供给和下沉市场切入，在阿里和京东已经很强的电商格局里重新打开空间。移动互联网仍能从场景和人群里长出新平台。
  • 数据质量成为平台价值核心。 推荐、广告、风控、运营分析都依赖数据平台。指标口径、任务稳定性、反馈速度和数据可信度开始决定平台是否真正可用。

参考资料

本专栏其他文章

查看专栏「我与 IT 这三十年」全部文章