数据部的核心职责:高阶建模,而不是数据治理

一段 53 分钟直播的完整整理:从钱庄台账到「软件吃掉世界」,看科技部与数据部如何从 IT 中分离;数据部的产出分低阶与高阶模型,真正的分界是模型里有没有指标;一个词概括职责是「抽象」。并补充语义层如何把高阶建模变成人和机器共用的运行时契约,以及为什么数据质量的第一责任不在数据部。

本文整理自 2026 年 11 月 1 日直播回放《数据部的职责》(53 分钟,官方转写约 1.5 万字)。删去了口语重复与离题插曲,观点与判断保留原意;涉及具体软件厂商的调侃与客户信息已作泛化处理。文中引用块为直播原话或原意摘录。第八至第十节为整理者补充,用于把直播的判断接到语义层与人机协同上,非直播原话。

📌 要点

  • 一个词概括数据部的职责:抽象——数据部是从具体到抽象的桥梁。
  • 落到产出物,核心职责是数据建模,而且是含指标的高阶逻辑关系模型,不是宽表和数据准备。
  • 科技部与数据部,是 I(information)与 T(technology)分离的产物。科技部是翻译官,只能记,不能创造。
  • 旗帜鲜明反对「数据治理是数据部核心职责」:质量责任更靠近业务源头,治理是跨部门的一把手工程。
  • 指标一旦物化就退化成一个值;花钱买指标平台把口径「挂墙上」,是把池里的活鱼变成鱼干。
  • 语义层是这层判断在 AI 时代的延续:指标是运行时契约,不是预先算好的值;同一份定义要同时服务分析师与 AI agent。

一、先别急着定义职责:从没有数据部的时代讲起

如果上来就问「数据部的职责是什么」,答案一定因人而异——每个人都会把自己的立场带进评价里。所以先把镜头拉远,从一个没有数据部的环境开始。

以晋商钱庄为例。没有计算机的时代,也已经存在两个世界:现实世界(reality)和它的记录。钱庄老板无法把握每个分号的所有细节,于是把交易记到台账上,只是介质是纸和笔。那时从现实到管理者的路径很短,不需要复杂的部门。

计算机出现后,电子台账替代了纸质台账,结构化的数据落进数据库。二十多年前那句 Software is eating the world(软件吃掉世界)如今已成事实:手机、线上交易、买菜扫码,现实业务几乎都被搬到了线上。这个「搬运」过程,催生了一个重要部门——IT 部 / 信息部,其职责就是把现实世界翻译到线上。

这个动作有个更准确的词:representation(反映、投影)。通俗说就是翻译:面向对象编程把交易里的人、时间、地点、产品统一翻译成计算机世界里的 object。过去二三十年,把现实翻译成软件与数据库,就是信息部最核心的工作。

对一家村镇银行、小贷公司,一个信息部就够了,甚至一个人就够——主流软件越来越成熟,不需要自己开发。但当企业长成全国性股份制银行,对公、个人、同业、票据等业务形态叠加,一个部门就管不过来了。工程上有句玩笑:没有一件事是加一个中间层不能解决的。于是 IT 下沉,聚焦 technology——服务器、网络、存储、基础架构、外部软件的部署;information 被拆出来,交给新的部门。

从钱庄台账到 I 与 T 分离
图 1 · 从钱庄台账到 I / T 分离:每加一个中间层,都是业务复杂度投下的影子

二、I 与 T 分离:科技部只能记,不能创造

数据部与科技部,可以看作 I 与 T 分离的产物:强调 technology 的叫科技部,承接 information 的叫数据部。

直播中引述了德鲁克《21 世纪的管理挑战》里的意思:软件只能生成 data,不能创造 information,更不能创造 knowledge;21 世纪企业的重点,正在从 T 转向 I。

分工由此变得清楚:

  • 科技部把现实记成 data,是业务的投影(record)。业务对象有什么就翻译什么,翻译的人不能自己演绎几句——只能记,不能创造。
  • 数据部在这个基础上做二次处理:加工、转换、建模。这部分工作基本与硬件无关,完全是数据世界的活。

如果一家企业的数据部只做数据准备,就像「只管种花生,不去想怎么把花生加工成更赚钱的农产品」——初级工作没有附加值。那高阶工作是什么?

三、模型的四个层次

「模型」这个词被用得太滥,很多人以为宽表就是模型。按直播里的划分,至少要看清四层:

层次

典型形态

特征

占比(直播估计)

低阶模型

合并、清洗、宽表、多系统上下拼表

没有抽象,不创造新东西:这边 10 行、那边 15 行,加起来 25 行

—

逻辑关系模型

以表为单位的关系模型

分析世界的主流,确定性、直观

约 70% 以上

规划求解 / 算法模型

飞机排班、网点人员调度、利润最大化

白箱,有 input 与 output,输出最优解

约 20%

机器学习与大模型

ML、LLM、LangChain 二次开发

解释能力更强,但带模糊性,偏黑箱

约 10%,快的企业到 20%

数据部产出的四个层次
图 2 · 模型四层:抽象程度越高,附加值越高;宽表只是最底下那一层

几个容易混淆的点:

  • 尺度不同,模型不同。科技部的 ER 模型是尽可能刻画现实的低阶模型,像造楼前的图纸、设计飞机时先定机翼机头而不会先纠结马桶放哪;面向对象开发以对象为粒度;业务部门也有模型,比如以客户为对象的生命周期管理。谈模型之前,先说清是哪个尺度。
  • ChatBI 为什么噱头高、落地少:大模型的输出有模糊性,不像规划求解那样可反推调优(白箱),也不像逻辑关系模型那样确定直观。
  • 机器学习模型能兼容并加速低阶模型的构建,所以第三类占比在上升——AI is eating the world 是这条线的延续。

一句话:宽表是最简单、最低阶的模型。一个企业的模型如果全是宽表,说明它还没有更高的构建能力。

四、真正的分界线:模型里有没有「指标」

数据部最核心的功能是数据建模,但「模型」内部还有一条关键分界。

关于 measure(指标 / 度量),直播里给了三重理解:

  1. 指标定义在一个表中——这是错误理解,会让人误以为指标属于这张表。
  2. 指标定义在表上,但并不真正属于这张表(defined in a table, but not really belong to the table)——它是逻辑的,不是实体的。
  3. 指标可以从一张表复制到另一张表,同时保持自己的意义——真正的指标在表之上。

很多企业最大的错误,就是把业务指标物化到数据库里。传统 report 的思路是「找到明细就找到了真实」,于是把汇总结果预先算好落表;但大数据分析里,指标本该在明细之上按需汇总。指标一旦被物化,就失去了灵活性,退化成一个 value(一个值)。

由此,关系模型也分成两类:

  • 只做表关联、不落 measure 的,仍属于逻辑关系中的低阶模型;
  • 模型中包含业务需要的指标,业务用户拖进去就能随时算利润率、C-M1、合计 AUM——这才是高阶模型。

数据部因此是承上启下的部门:往下接科技部物化下来的真实世界数据,往上为业务的抽象分析打基础。一家大银行的 ERP 背后可能有几千上万张表,业务部门不可能直接接手。

没有高阶模型会怎样?先是数据碎片(人人自己查数),接着指标不统一,最后变成典型的大企业病。真正的解法是把模型做好,而不是花几百万买个指标平台,把口径统一写下来挂到墙上:

一个逻辑的数据,是池里灵活的鱼;买个东西挂在墙上,就把它变成鱼干了。
指标在表之上,而不是物化进表里
图 3 · 指标在表之上:可复制、意义不变;一旦预先算成值,就失去了灵活性

顺带一句直播里的观察:不少数据部的人来自 IT,天然活在真实世界,对逻辑抽象的理解偏弱——这是能力结构问题,不是态度问题。

五、一个词概括:抽象

从现实世界到分析世界,是从具体到抽象的刻画。

银行柜员今天做了几笔交易、接待的客户叫什么,这些很具体;但行长不关心柜员和客户,在他眼里人更像符号。视角越高,就越必须抹掉细节,用抽象的眼睛看世界。于是他会需要很多现实中不存在的东西:平均借据授信、C-M1 迁徙率(限定 MOB0~6 账龄,看上月 C 在本月变成 M1 的比率,且不看金额)。这些指标是他判断「业务是否健康」的方式。

越是领导,对现实的刻画越抽象;数据部要完成的就是这个抽象的转化。

但抽象不能拿着钱庄的纸本子做,必须先有科技部建好的电子台账。所以数据部的定位可以浓缩成一句话:

数据部是从具体到抽象的桥梁。 没有这座桥,分析就会退回明细表,陷在琐碎里;这也是早期由 IT 直接做分析时,report 动不动就钻到明细的原因。

从具体到抽象的桥梁
图 4 · 视角越高,抹掉的细节越多、需要的抽象越多;数据部就是这座桥

六、为什么数据治理不是核心职责

这是直播里立场最鲜明的一段:旗帜鲜明反对「数据部的核心职责是数据治理」。

先问「数据质量到底谁负责」。第一责任在科技部,因为它是翻译官:设计时少了一个对象、模型缺弹性、业务一变就撑不住;或者同一个客户在对公、个人、票据业务里各生成一个 ID——这些都是源头没翻译好。当然,系统上线后再追责并不公道,设计时谁也无法预见未来所有需求,更现实的是靠软件更新、低代码「外挂」、系统间 API 对接从源头修。

数据部确实要做治理:数仓为什么贴源之后还要整合,跨系统编码不一致(布尔值有的用 1/0、有的用 1/-1、有的用 1/2)为什么要花大量时间对齐。但治理只是模型中最低阶的部分。

10 个人做软件开发、100 个人找 bug,说明设计本身不好。四处漏风却天天在下游补漏,一两年后只是多了几份规章制度和管理办法,数据还是那么乱。

治理更应该是所有部门参与的事,业务部门往往最容易发现数据问题。数据部关起门搞治理,容易变成业务看不见的黑箱:很忙碌,却劳而无功。所以结论是——数据质量越靠近业务源头,责任越大;治理必然是跨部门的一把手工程。

一个案例:意愿比方法更重要

某银行做风控分析时,需要放款失败、还款失败的数据来判断是风险拒贷、卡信息错误、余额不足还是卡被冻结。分析到最后发现,这些数据根本没有入仓。科技部去问,人人都知道它重要,人人都知道没入仓;半年、一年过去依然没动。因为它在贴源层,改一张底表会牵动上面一堆应用,没有人愿意为修正这个问题去承担连带代价。

你用 Excel 能达到的高度就是 Excel 的天花板;但即使有好工具、强团队、每年几千万外包,如果没有人愿意承担责任,这个问题就永远解决不了。

所以《你的灯亮着吗?》那本书的意思在这里特别贴切:意愿往往比方法更重要。而部门墙的代价也在此——中间层越加越多,数据流动越慢,壁垒越厚,建模与质量的 bug 层出不穷。数据部要做的,是跳出自己,理清上下边界:哪些从开发侧解决,哪些拉业务部门组联合小组,哪些共同担责。

数据质量的责任链
图 5 · 越靠近业务源头,责任越大;治理是跨部门工程,不是数据部关起门的 KPI

七、越抽象越重要:ODB → ADB → Data Mart

把整条链放到一起看:

  • ODB(operational database,操作型数据库):科技部,聚焦技术,记录现实;
  • ADB(analytical database / data warehouse):数据建模的产物,从 ODB 到 ADB 本身就是一次抽象提升;
  • Data Mart(数据集市):更大的企业里,面向小部门容纳更抽象的逻辑指标与分析。

数据流动是不断切分、不断抽象的过程,越抽象的东西越重要。大领导要在数据流动、部门利益与具体工作之间保持平衡。如果误以为数据治理是数据部最重要的工作,或者认为指标就该老老实实落到数仓里,这条路一望无际地走下去,就是死胡同——而这在国内还挺常见。

八、再往上一层:语义模型,把高阶建模变成人机共用的契约

整理者补充(第八至第十节非直播原话)。 直播讲到「指标不能物化」为止;下面把这条判断接到今天讨论的语义层(semantic layer)上。
三层建模与语义契约
图 6 · 从 ODB 到语义层:三层模型并存,语义层是查询时编译的运行时契约,不是新的表

语义层是什么

直播里那个悬而未决的问题是:既然指标不能预先算好落表,那「三个部门三个数」到底怎么解?行业在 2021 年之后给出的答案,是语义层。

一句话定义:

语义层 = 一份代码化的业务语义契约(指标 / 维度 / 实体关系 / 业务术语 / 访问权限)+ 一个在查询时把这份契约编译成仓库 SQL 的运行时。

它通常装五类东西:具名指标(聚合方式、过滤条件、时间粒度、可加性)、可切片维度、规范的 join 路径、业务术语与同义词、行列级访问规则。定义是代码——进 Git、走 PR、有 review、可回滚。

三条边界要划清,否则很容易买错东西:

它不是

原因

不是数据库,不存业务数据

它存的是定义与元数据,数据仍在数仓里

不替代数仓建模

它建在已建模的表之上,加的是「指标词汇表」这一层

不等于数据目录 / 术语表

目录告诉你字段是什么意思,语义层在查询时强制这个意思生效,并生成 SQL、施加权限

一次查询的旅程

以「按地区看上季度营收」为例:

  1. 解析:营收 → 已注册指标 revenue;
  2. 校验:region 是不是该指标的合法维度?时间粒度合法吗?
  3. 应用访问策略:当前用户(或 agent)能看哪些行与列;
  4. 沿预定义 join 图生成执行计划,必要时命中缓存或预聚合;
  5. 编译成目标方言 SQL,交给数仓执行。

关键在于确定性:只要调用者选中了正确的指标和维度,生成的 SQL 就是对的。更关键的是它查询时按需组合,而不是预先枚举——成熟模型有成千上万个维度,为每个「指标 × 维度」预先建表必然组合爆炸。

这也正是它与上一代指标平台的分水岭:指标平台把指标做成值,语义层把指标做成契约。前者统一了口径的字面,却把活鱼做成了鱼干;后者不违背直播「指标不能物化」的判断,反而把它落成了工程实现。

九、为什么 AI 让这一层不可跳过:人机协同

让 LLM 直接对着裸表写 SQL,它要猜 join、猜过滤条件、猜时间粒度和窗口,而且每次猜得不一样。指标不该是概率性的。

语义层真正的价值不在准确率数字,而在失败模式:

语义层答不了时会明确报错,它不返回无效数据;text-to-SQL 会非常乐意给你一个看起来很合理的错数。

对董事会材料、审计口径、OKR 看板来说,「报错」和「给一个看似合理的错数」是本质区别。两组可参照的数据:dbt Labs 在 2026 年重跑自己的基准,text-to-SQL 准确率从 2023 年的 32.7% 升到 64.5%,而语义层覆盖范围内的题目达到 100%、范围外明确报错(这是厂商自测,结论要带着立场读);Gartner 则预测到 2027 年,优先处理语义的组织 GenAI 准确率最高提升 80%、成本最多降低 60%(这是预测,不是既成事实)。

于是消费方变了:过去语义定义由各 BI 工具各自持有,如今同一份契约要同时服务人和机器——分析师在报表里读它,AI agent 经 MCP、Semantic SQL 或数仓原生的 Semantic View 调用它。语义层从「给人的翻译层」变成人和机器共同遵守的执行契约:agent 不必猜 join 和时间窗口,答不了时明确报错。所谓人机协同,前提正是双方用的是同一套定义。

一盆冷水也要泼:难点从来不是技术,而是跨部门就定义达成一致。Airbnb 把所有指标定义放进一个中央仓库走 code review,Uber 为「completed trips」该由谁定义成立了 Verification Committees。工具买回来而定义争议没解决,只是把同一场争吵搬进 YAML。

十、职责的再一次上移:从生产者到规则制定者

把直播的三层判断和语义层放在一起,会得到一张更完整的图:

层

产出物

谁在消费

数据部的角色

低阶物理模型

表、字段、分区、存储与计算

数仓、ETL

已被平台吸收,不再是核心职责

高阶逻辑模型

业务实体、关系、粒度、含指标的模型

分析师、BI

建模者(直播讲的重点)

语义模型

指标口径、术语、时间逻辑、权限契约

分析师 + AI agent

规则制定者与仲裁者

要强调:这三层在任何一个运行中的数据平台里同时存在,不是先后替代的阶段。语义层不替代表,它叠加在表之上;变化的是投入重心——云数仓、ELT 与 dbt 把物理建模标准化、自动化,数据部不必再把「建表」当核心职责,价值上移到「定义业务含义」。

角色也随之改变:业务方拥有口径,数据部负责定标准、认证与变更评审、质量信号和权限模型,并保证所有下游(包括 agent)强制执行。所谓「赋能」,落到制度上就是这套定义权机制,而不是多交付几张看板。

直播最后说「越抽象的东西越重要」。语义层做的,正是把抽象从人的默契,固化成一份人和机器都能执行、可版本化、可仲裁的契约。

结语

科技部负责把现实记下来,数据部负责把它抽象上去,语义层则让这份抽象成为人和机器共同遵守的契约。

数据部的价值,不在于把数据弄准——那是整条链共同的责任;而在于让业务能用一套共同的、可计算的逻辑去看世界。这份能力落在产出物上,是含指标的高阶模型,再往上是人机共用的语义契约;用一个词概括,始终是抽象。

本文整理自 2026-11-01 直播《数据部的职责》回放(53 分钟): 腾讯会议回顾 ;剪辑字幕版见 B 站视频 BV1Spy9BGE8Q 。

No comments yet