导读 本文节选自百度技术沙龙 115 期:《百度数据中台技术沙龙—探索 AI 时代的数据中台》主题分享( https://space.bilibili.com/274861493 )。本文将深入剖析商业智能(BI)与生成式模型结合带来的业务价值和技术实践经验。重点从三个视角和大家进行了交流分享。第一,从技术趋势和业务需求视角,论证了生成式智能 BI 必然技术趋势和带来的巨大业务价值;第二,从系统设计视角,介绍了百度数据中台 ChatBI 设计思路和关键点。第三,从新技术实践实践视角,介绍了 Chat BI 在百度落地过程中遇到的问题和解决思路。
主要内容包括以下几个部分:
1. BI 技术的发展与大模型带来的新机遇
2. ChatBI 的设计理念和平台介绍
3. ChatBI 背后的技术内幕
4. 落地效果
分享嘉宾|百度移动生态数据研发部
编辑整理|吕晶
内容校对|李瑶
出品社区|DataFun
01
从技术视角看,不管是什么新的技术,想要成为新的趋势,本质是要做到技术的普惠,让更多的人可以更低成本地使用从而产生更多的价值,BI 的技术趋势也是一样的。我们先来回顾下 BI 在这么多年的发展过程中经历的几个阶段:
第一阶段(报表式 BI 产品):随着大数据技术的产生,HDFS 技术和 MR 技术开始在各个公司流行,产生了此类 BI 产品。其往往需要按需开发,由分析师或经营者提出数据需求,再由专业的数据研发同学进行取数开发。需求开发成本和周期长,边际成本高,限制了其广泛应用。
第二阶段(自助式 BI 产品):近些年随着计算机底层硬件的不断发展以及数据查询技术的迭代(如 MPP 架构、向量化、内存化技术等),和早期 MR 时代对比,取数效率有了 10 倍以上的提升。量变带来质变,在多数场景下,在宽数据集上进行动态查询就能满足性能需求,这减少了对数据的开发依赖,用户可通过 BI 平台进行自助化、可视化查询,使得 BI 技术更为普及。
当前第三阶段 BI 技术展现出明显的技术趋势,即智能化的发展。随着大模型技术的出现和快速发展,笔者认为现有 BI 产品可以通过和其结合,更具智能化,做到更好的技术普惠。
第三阶段(智能式 BI 产品):借助大模型强大的理解、推理能力,屏蔽更多的底层细节。用户无需再考虑使用哪个平台、数据从哪里来以及查询方言等问题,只需要自然语言对话,即可完成取数、洞察分析等流程。极大地降低了使用门槛,人人都可以是分析师。
从业务视角看,核心在于新的技术是否能带来足够的业务价值:
首先,从业界近些年对 NL2SQL(自然语言转化 SQL)的研究看,LLM-base 的解决方案在各个评测集上都取得了更好的分数,这降低了问数场景的使用门槛;其次大模型的超强理解能力使其能够总结背后数据报表的本质,并进行多轮交互式沟通,提高效率。记忆能力和推理能力使其能够在数据分析中执行逻辑推理,解决问题,为用户提供更为深入的数据分析支持。
大模型对业务带来的价值主要体现在两个方面:
(1)降低新手门槛:chat 交互、AI 解读、数据洞察等能力的建设,实现数据分析的普及,使得全员都能够轻松进行数据分析;
(2)存量用户提效:通过智能化 BI 技术(例如:自动化纠错 SQL、生成周报等),对于已经使用 BI 产品的同学,可以帮助提升效率。
其次,从长远视角来看,随着大模型的进一步发展,未来可能演变为一种数据助手的状态,为每个人提供实时的、个性化的数据支持。
在进行数据分析和报表生成的过程中,我们不仅仅是在处理数据,更是在追求数据的深层次理解,以指导未来业务的发展趋势。现有可视化 BI 工具与人的协同方式有其局限性,限制在细分的纬度上。然而,随着 AI 的介入,我们可以期待更为精细化的分析,应对上千个维度的实际经营需求。
在 AI 模型逐步成熟并掌握了长期记忆的情况下,它也可以通过学习用户习惯,变得更为主动。想象一下,在互联网行业工作的人每天早上醒来,不再需要花费数小时查看报表,而是收到一份 AI 生成的短文,简洁明了地指示着昨天业务的重点,哪个维度出现问题,需要重点关注。这样的智能推动无疑提高了工作效率。
最后,对于这样的愿景,有人可能怀疑其是否能够实现。然而,AI 时代的摩尔定律已经开启,算力的不断提升、模型水平的升级以及推理成本的逐步降低,都在向我们展示这一可能性。
以发展的眼光看待,技术进步的速度往往是惊人的。正如在十年前无法想象将 10G 或 20G 的游戏搬移到移动手机上一样,当前 AI 时代的发展也为我们带来了巨大的潜在价值。
因此,我坚信 AI 将成为第三代技术探索的热点,先行突破的公司将具备先进的生产力,这一领域的价值将会是巨大的。
目前开源的 NL2SQL 的工具一抓一大把,但是想要落地到真实工程上,往往还有很长一段路要走:
(1)需要具备完备 BI 能力:比如丰富的图表能力、复杂的 BI 计算(例如:留存率、周日均、同环比),对 SQL 的生成提出了更高的要求;
(2)需要具备极速的交互速度:交互耗时包含推理耗时和查询耗时,对话式交互需要及时的响应,如何基于 PB 级的数据进行秒级的 Chat 交互挑战很大。
(3)需要保证结果的正确性:数据分析是一个严肃的场景,结果要尽可能得正确,以满足实际生产环境的需求。
下面开始介绍一下我们实现的 ChatBI 平台,当前平台核心设计思路关键点聚焦在解决如下两个问题:
下面截图展示百度的 Chat BI 的核心能力,以进一步说明平台的实际效果。
首先,用户可以通过自然语言对话进行数据分析。例如,用户可以查询最近 3 天内女性用户的 DAU 波动情况,系统会自动识别用户的意图,并在相应的数据集中选择指标和维度,生成相应的图表结果。这些结果可以被保存到仪表盘来进行复用。
其次,我们对 AI 原生产品创新,在产品首页和输入框为用户推荐了常用查询意图,用户可以选择并提问。查询结果并非模型生成,而是来自存量的业务功能仪表盘数据,数据置信度高且支持一键跳转至图表所在仪表盘,来满足一些高频场景。
最后,展示的是多维度波动归因服务。例如,在新增用户查询结果上,用户可以在城市级别和操作系统维度进行归因分析,系统将在秒级内产出归因结果,帮助用户快速定位数据波动的原因和贡献度,提高业务决策的效率。
该平台已经在线上运行了一段时间,吸引了众多用户的使用。接下来,我们将探讨在平台开发过程中所面临的困难以及应对方法,这里分别讨论上一章提到的 3 个 NL2SQL 的产品化挑战。
我们首先面临的挑战是 BI 的完整性。一个真实可用的 BI 平台,不仅包括生成基本 SQL,还需能够产生丰富的图表,并与平台实现联动。解决这一问题的思路有两种:
方案一:BI 平台对接在 NL2SQL 模型下游,进行 SQL 的查询和可视化操作。
方案二:让大型语言模型与现有 BI 平台结合,模型不仅返回 SQL,而且返回 BI 平台的操作指令集,实现模型对平台的控制。
方案一的问题在于模型和 BI 并没有打通,只传递一个 SQL 给到 BI 平台,会导致大量BI特有功能缺失。例如应该选择什么图表样式进行展示、结果修改保存能力等。方案二的思路类似于让大语言模型执行生成 PPT 或打游戏的任务,通过模型控制 BI 平台,可以做到更加灵活优雅。例如由模型确定数据展示图表样式、由模型确定是否在展示当期数据的同时也展示同环比信息。
第二个挑战是产品的端到端性能,其中主要包含了模型的推理性能和数据的查询性能两个耗时:
推理性能方面,现在的文心一言模型性能可以达到秒级的实时推理,且在持续优化中;
查询性能方面,数据存储基于百度内部强大的 MPP 引擎基座,业务平均查询能够做到 2-3s 内完成。
第三个挑战是产品的准确性,因为数据平台提供的数据往往要求百分百的准确性,而大模型则是基于概率生成的,这成为了数据平台和模型结合中最关键的一点。在此背景下,我们在优化模型本身的基础上,还尝试了在产品层面做了大量设计,来提升准确性。
先来说下模型本身的优化,这里主要是通过 prompt 优化和 SFT 微调两个手段进行的。
首先是 prompt 优化,一个良好的 prompt 应当包含三个关键元素:
此外,在 BI 场景下,prompt 中还需要添加相关的表结构和一些业务私域的增强知识,以确保模型能够理解一些业务黑话。
而 SFT 微调则是在模型预训练完成后,通过补充业务场景的样例数据,对模型本身进行二次训练,让模型更加擅长解答该业务场景的手段。对于 SFT 来说,训练样本集尤为重要。从我们微调的踩坑经验来看:样本的质量一定要高,样本中出现的 bad case 会导致模型学习到不正确的模式;数据要充足,要尽可能覆盖更多场景,才能得到更高的泛化能力。
我们在 ChatBI 的冷启动阶段让用户标注少量数据,然后在平台转动起来时,依赖用户反馈的数据飞轮(用户在使用过程中会提供踩或赞的反馈),进行进一步微调,从而形成一个闭环的反馈机制,提升模型的准确度。
这里额外介绍下我们 SFT 训练使用的百度云?千帆平台,平台提供了模型开发的一站式解决方案,其集成了样本数据管理、模型调优(含 SFT)、模型部署等功能。不需要使用者具备模型训练、部署的专业知识和 GPU 资源,极大地提升了我们的模型迭代效率。
在模型的真实落地过程中,还有 2 个模型的前后置优化,这里也一并和大家分享一下。
首先是选表问题,在实际的业务场景下,同一个业务会有成百上千个表,每个表的字段也比较多。如果打包扔给大模型,让它进行选表选字段,会受到 token 的限制,且模型理解成本也比较高。选表是一个典型的分类问题,我们将选表阶段从大模型 prompt 中抽取出来,采用独立小模型进行。分类模型已经比较成熟,正确率比较容易做到很高,同时耗时也可以做到毫秒级。
第二个是模型小概率会出现字段幻觉问题,模型返回的字段并不是表中真实存在的,而是一个相近的字段名称。这里主要是通过 SFT 进行强化,同时对模型结果后置添加校验,来缓解幻觉问题。
最后,我们再讨论下在产品层面如何通过设计进行准确性提升。
在用户输入层面,我们发现用户经常会有独特的口语表达方式,还可能缺失查询所需要的必须信息。为此,我们会在用户输入的时候,以 sug 的形式给用户推荐一些相关的结构化表达话术,引导用户使用结构化的提问方式。
在结果展示层面,在给出数据结果的同时,我们还会将查询语句结构化地呈现给用户,这里包含查询的数据集、数据纬度、数据指标、过滤条件等等。这样用户可以直观地检查查询是否正确,如果发现有错误,也可以通过在界面上进行二次修改,得到正确的答案。
另外,BI 平台历史上已经沉淀了大量的业务图表,其实很多用户的问题都可以通过已经存在的图表来进行满足,对于这种情况,我们会直接召回已经存在的结果,而不是进行生成式产出。
总体而言,产品的目标在于追求模型生成的准确率达到 100%。然而,当准确率未达到 100% 时,通过一系列产品创新进行兜底,以确保用户依然能够得到可靠的查询结果。
该平台已经在线运行了相当一段时间,得到了多个业务线的使用,累计用户数量达到了数百人,用户的评价也普遍较好。
用户认为智能查询和智能分析方面表现出色,其中两个主要优势受到用户青睐:
首先,该平台降低了用户的门槛。特别是对于一线运营销售等用户,他们无需学习复杂的技术,只需提出一个问题,即可获得结果。这有效地降低了他们的操作难度,解决了实际工作中的问题。
其次,老用户发现使用 chat 的效率比传统的拖拽方式更高。以前制作仪表盘可能需要查找数据集、资料等多个步骤,而现在只需通过提问即可生成报表,用户只需保存即可。即便在生成结果不理想的情况下,也可以进行二次修改,这比从零拖拽要方便不少。
往期推荐
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
万亿数据的电商平台,如何做存储?
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
Apache Spark在小米的生产实践
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
Al Agent--大模型时代重要落地方向
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
技术分享|揭秘第三代指标平台的查询加速技术
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
基于因果推断的推荐系统:回顾和前瞻
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
AIOps的新机会
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
指标平台加速零售数字化转型--Kyligence Zen 智能一站式指标平台
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
大数据架构与大模型没有关系?
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;" data-mid="">
面向2026年的推荐算法前瞻
ntent="t" style="width: 100%;display: flex;justify-content: center;align-items: center;justify-content: flex-start;flex-wrap: nowrap;font-size: 13px;font-weight: 400;color: #7a78bf;line-height: 18px;margin-bottom: 14px;border-bottom:none !important;" data-mid="">
用户画像算法:历史、现状与未来
点个在看你最好看
SPRING HAS ARRIVED
以上就是本篇文章【ChatBI:基于文心一言的生成式数据分析技术探索】的全部内容了,欢迎阅览 ! 文章地址:http://gzhdwind.xhstdz.com/quote/62013.html
栏目首页
相关文章
动态
同类文章
热门文章
网站地图
返回首页 物流园资讯移动站 http://gzhdwind.xhstdz.com/mobile/ , 查看更多