ARTICLE · 人工智能
理解归 AI,正确归引擎:从一句话到一条实时数据链路(0 代码搭建实时任务)
一语总结本文介绍一种 AI 辅助的指标驱动实时数据开发系统,通过自然语言生成 DSL 再由引擎生成 Flink SQL,实现零代码搭建实时任务。
文章以直播业务中的实时数据需求为切入点,指出离线数据开发仅需表达业务逻辑,而实时数据开发还需处理窗口、状态、乱序等流式特性,导致开发门槛高。作者团队提出一种以“维度+指标”为核心的指标驱动范式,让用户仅用自然语言描述需求,系统自动完成指标检索、窗口识别并生成 DSL;随后通过引擎依据指标依赖回溯构建 DAG 拓扑,实现从技术需求到技术实现方案的自动转化;增量调整采用 Hook 协议,由 LLM 输出结构化修改指令,经前后双重围栏校验确保链路自洽;整个流程实现人负责决策、AI 负责理解、确定性引擎负责正确性,使任务开发周期从天级缩至分钟级。文章还阐述了 DSL 作为多系统协同的“万能合约”、指标资产沉淀路径以及未来规划,提供了可迁移的工程方法论。
- 指标驱动作为核心范式:业务逻辑抽象为‘维度+指标’,由指标依赖自动生成计算拓扑。
用户只需声明要什么指标,系统自动回溯所有过程指标并构建 DAG,将流式数据的窗口、状态等复杂度封装在引擎内部,聚焦业务语义。
- ‘理解’与‘正确性’分离架构:LLM 负责自然语言理解,确定性代码负责正确性,前端人工确认弥合认知差距。
这种分离把 LLM 的幻觉限制在理解层,任何误解都会在引擎校验或人工确认环节被拦截或修正,保证最终产出合法可靠。
- DSL 作为多系统协同的‘万能合约’:统一存储格式、传输协议和校验对象,前端、AI、后端均通过同一份 DSL 对齐语义。
DSL 结构规整且枚举收敛,便于 AI 生成、人可读、机器可执行,实现低耦合协同;Hook 机制则是 DSL 的增量补丁协议。
- Hook 协议与双围栏校验确保增量调整安全:LLM 输出结构化修改指令,前校验指令合法,后校验更新后拓扑仍自洽。
通过 hookType、layerType+nodeId、mergeStrategy 三要素正交组合,覆盖大多数调整场景;双校验消除剩余不确定性,使终版 SQL 完全可信。
理解归 AI,正确归引擎:从一句话到一条实时数据链路(0 代码搭建实时任务)
文章以直播业务中的实时数据需求为切入点,指出离线数据开发仅需表达业务逻辑,而实时数据开发还需处理窗口、状态、乱序等流式特性,导致开发门槛高。作者团队提出一种以“维度+指标”为核心的指标驱动范式,让用户仅用自然语言描述需求,系统自动完成指标检索、窗口识别并生成 DSL;随后通过引擎依据指标依赖回溯构建 DAG 拓扑,实现从技术需求到技术实现方案的自动转化;增量调整采用 Hook 协议,由 LLM 输出结构化修改指令,经前后双重围栏校验确保链路自洽;整个流程实现人负责决策、AI 负责理解、确定性引擎负责正确性,使任务开发周期从天级缩至分钟级。文章还阐述了 DSL 作为多系统协同的“万能合约”、指标资产沉淀路径以及未来规划,提供了可迁移的工程方法论。
文章金句
"我们的切入点是:对于数据链路,业务逻辑的核心可以抽象为'在哪个维度上计算出什么指标',即维度 + 指标。
"核心洞察:整个系统最本质的架构决策,是让 LLM 负责'理解',让确定性代码负责'正确性'。