AI B端如何落地？中金：AI Answer是最优先模式
激石Pepperstone(http://www.paraat.net/)报道：
本文定义AI Answer 为结合LLM和IR技术的智能信息互动应用，信息源可为闭源知识库、行业图谱、或是互联网开放信息。以C端检索范式演进为鉴，我们认为通用智能模型在企业端或将率先以AI Answer模式落地，AI赋能内部知识库重建、构建流量入口，有望带来诸多价值增量。
摘要
以C端搜索引擎范式演进为鉴，我们认为B端AI Answer能够带来多元价值增量：
1）数据价值挖掘：企业端自动生成数据洞察与前瞻性的预测分析；用户端自动分配数据访问权限，并推荐个性化的检索路径与知识生成。
2）知识资产沉淀：自动生成信息分类标签，降低人工归档成本。同时用户行为可作为人类反馈，训练AI Answer在生成内容上进一步对齐应用领域的需求和偏好。
3）搜索效率提升：自动剔除重复或冗余的信息，整合高质量知识资产。主动提供建议和关联资料，促进信息获取的及时性。
供给端技术平权叠加需求端实现内外双向赋能，我们认为AI Answer有望成为B端应用中先行落地场景。
数据层面，AI Answer在搜索过程中融入垂域要素，更好的理解用户意图并产生更准确的搜索结果；模型层面，技术平权背景下可以通过使用开源模型也可在垂域细分领域达到较优效果。同时在企业需求端，AI Answer助力企业知识图谱重构，实现后端流程运维及前端业务交互的内外双向赋能。
AI Answer = LangChain + 大模型 + 向量数据库。LangChain框架通过各种模块化组件提供了全方位全流程的通用开发服务，可被用于整合和管理大模型的输出。智谱ChatGLM等大模型带来大模型普惠，助力B端部署AI Answer。向量数据库帮助拓展LLM的时空边界，赋能企业打造基于专属知识库的AI Answer应用。
企业内部知识库有望重构，管理软件领域OA有望先行落地AI Answer。我们观察到第四范式、星环科技、云知声等公司已推出企业知识管理平台产品，帮助客户重构企业知识库；钉钉、WPS、印象笔记等产品助力个人和中小组织实现知识梳理。在管理软件领域，我们认为泛微、致远等OA厂商有望先行实现AI Answer和管理流程结合，落地智能协同应用。
正文
什么是AI Answer？
我们认为， AI Answer 为结合大语言模型（LLM）和信息检索（IR，Information retrieval）技术的智能信息互动应用。在这个应用中，LLM 负责理解语境并构建查询，而 IR 技术则依据这些查询获取相关数据或文档。检索到的结果最终由LLM 生成回应，从而形成一个以模型外部信息为支撑的动态对话过程。
AI Answer检索的信息可以是企业闭源知识库、行业知识图谱、或是互联网开放信息。相较于传统知识检索应用，AI Answer在交互模式、泛化能力及精确度上均有能力跃迁，我们认为通用智能模型在企业端或将率先以AI Answer模式落地，价值增量包括：
► 数据价值挖掘：企业端根据企业内部数据与已有知识，自动生成数据洞察与前瞻性的预测分析，提高企业运维效率与知识创新动能。同时用户端AI Answer通过分析用户的角色、需求、历史查询记录，自动分配合适的数据访问权限，推荐个性化检索路径与知识生成。
► 知识资产沉淀：自动为线上知识文档生成分类标签，降低人工信息整理成本。根据用户使用应用的情况跟踪企业知识库变化，自动更新生成内容，确保信息准确性与实时。同时用户使用AI Answer产生的行为可作为人类反馈，训练AI Answer在生成内容上进一步对齐应用领域的需求和偏好。
► 搜索效率提升：通过精准分析用户需求，自动剔除重复或冗余的信息，整合高质量知识资产。同时AI Answer应用可作为虚拟助手，在平台上同步协助员工解决问题、主动提供建议和关联资料，促进信息获取的及时性。
以C端检索范式演进为鉴，我们认为B端 AI赋能内部知识库重建有望带来诸多价值增量，满足企业端提效需求。微软2月8日发布基于OpenAI大模型的搜索引擎新版Bing（中文名“必应”）[1]，首次推出嵌入搜索引擎的“问答式搜索”功能，搜索界面的问答机器人可以与用户聊天、协助撰写文本、汇总全网络信息并以对话方式响应查询。
StatCounter数据显示谷歌的搜索引擎几乎占据了90%的市场份额，我们认为Bing凭借智能化检索有望不断突破市场份额。据 Data.AI 的图示区间数据，在嵌入了OpenAI大模型能力后，Bing的APP日均下载量在全球范围内增长了823%，同期对比谷歌搜索应用的下载量仅增长3%。
图表：New Bing推出后APP下载量较Google逐步收敛
以Glean为例，大模型赋能的AI Answer重构企业管理软件。AI技术在企业端的应用场景广阔，其中知识内容检索场景知识密度要求较高，需求明确且技术路径相对成熟。Glean通过打通跨应用数据打造驾于SaaS层之上的“聚合层”，成为企业应用场景的入口级产品。Glean可以结合企业内部知识图谱、以及上百家第三方SaaS应用中进行信息检索，为每位用户的自然语言查询生成定制化的结果，覆盖信息查找、复杂功能执行等场景。
目前，Glean只面向企业客户提供服务，公司推出两种定价方案，1）按席位收费，每月不超过100美元；2）根据企业的需求定制价格，目前商业模式以第二种为主。此外，在服务模式上，Glean 还提供高水平的安全性和灵活性，可以选择在本地或云端部署，并且对用户数据进行加密和权限层级管理。
供给端，模型层技术趋于平权，企业具备闭源数据卡位，商业落地可得性较高。数据层面，与其他B端AI应用相比集成了垂直行业知识的AI Answer应用更易实施落地。
通用人工智能积累了强大的通识能力，但由于其广泛而非专精的数据结构，其在专业领域的检索实效性及性价比尚有欠缺。通过拟合垂直领域的数据，AI Answer能理解行业内的专业词汇、概念和信息，从而在搜索过程中融入垂域要素，更好的理解用户意图并产生更准确的搜索结果。
模型层面，B端企业AI Answer场景对于算法模型在知识涌现、数理分析等高阶能力需求较弱，对检索能力和文本生成能力需求较强，技术平权背景下可以通过使用LLAMA、Bloom、ChatGLM等开源模型也可在垂域细分领域达到较优效果。
例如，企业可以使用LangChain将数据库文档加载并索引到本地知识库中，通过嵌入模型对文本进行矢量化，助力快速检索相关段落，再通过ChatGLM协助用户基于检索到的信息和用户会话历史生成精准的答案。
需求端，AI Answer助力企业知识图谱重构，实现内外双向赋能。
1）企业需要快速准确地获取和利用特定领域的知识和信息，以提高决策效率和质量。传统的搜索引擎往往不能满足企业的个性化需求，而需要一个能够理解企业商业模式下特定语境和逻辑的智能问答系统。
2）企业需要对自己拥有或者能够获取的数据和知识进行有效地组织和管理，以提高数据质量和可用性。传统的知识库构建和维护往往需要大量的人力和时间成本，AI Answer能够助力企业自动化地从各种数据源中抽取、整合、更新和验证知识。
3）企业需要与客户、合作伙伴、员工等各方有效地沟通和协作，传统的人工客服或者机器人往往不能满足用户的多样化和复杂化的问题，AI Answer经过细化调优，能够灵活地适应不同场景和需求。
技术基础：AI Answer = LangChain + 大模型 + 向量数据库
LangChain：针对大模型提供通用开发框架LangChain是一个封装了各种大语言模型应用开发工具的开源Python框架，提供了一套开发大模型的工具、组件和接口。LangChain帮助开发者将大模型和其他知识源/数据库结合起来，以创建功能更强大的应用程序，包括基于知识库问答、聊天机器人、智能代理等。该开源Python可被用于整合和管理大模型（如ChatGLM）的输出，提供了标准的模块化组件、集成了不同的大语言模型并将其进行整合，并将它们连接到各种外部数据源和API。
通过各种模块化组件，LangChain框架提供了全方位全流程的优化服务。传统的大模型无法联网、无法调用其他API、无法访问本地文件、对Prompt要求高、生成能力强但内容准确度无法保证，而LangChain则提供了相应模块，旨在解决这一系列问题。
► Prompt：使用LLM需要用户输入需求，LangChain将用户的输入传递给Prompt Template。一个Prompt通常由Instructions、Context、Input Data和Output Indicator组成，但一般用户并不会完整地输入每个部分，使用LangChain的Prompt Template可以很好地根据用户输入定义各个部分，同时将Input Data留作动态输入项。
► Chain：利用该模块，LangChain可以不单单利用本身的LLM和Prompt Template，而是将原模型链接到其他信息源或API，将模块组合成完整的工作流，拓展LLM应用边界。
► Agent：如果LLM仅利用Chain模块，那么模型将按照预设的接口和顺序执行工作，而Agent模组可以利用LLM分析应该使用哪个API或者搜索引擎、数据源等工具链，并自行决定调用和实现的顺序。比如，ChatGPT有很强的生成回答能力，但不够准确；Wolfram Alpha有很准确的知识储备，但语义理解能力较差，Agent可以针对ChatGPT的问题，自行判断是否需要调用Wolfram Alpha，并生成回答。
► Memory：默认情况下，Chain和Agent是无状态（stateless）的[2]，这意味着它们独立地处理每个传入的Query（就像底层的LLM和聊天模型），不具备上文记忆的能力。为了记住先前的交互，LangChain通过每次Prompt加入上文内容和记录的tricks，在不同的Query间传递上文，在前ChatGPT时代就实现了记忆的功能。
案例：YouTube博主Data Independent通过LangChain构建了一个PDF问答机器人。
LangChain凭借PDF Loader的帮助加载上传的PDF，并使用Splitter分割语句向量，同时尽可能保留原始语义，调用OpenAI的Embedding引擎进行长向量变换并存储在本地或者Pinecone云向量数据库，最后用户只需调用LangChain的QA Chain就可以针对上传的PDF进行问答。整个过程中，LangChain相当于对每个环节集成，并对整体的交互进行封装。
LangChain受到广泛关注和使用，获得种子轮融资，但商业化任重道远。2023年4月6日，LangChain宣布获得由Benchmark领投的1,000万美元种子轮融资。
截至2023年4月19日，LangChain在Github上已有2.8万Stars、478位贡献者，被2,400多名用户使用。但究其本质，LangChain是“整合其他开源库的开源库”，提供开发LLM的框架，以此节省开发人员编写代码的时间。而由于开源加之经济成本不稳定、对输出没有评估步骤，客户目前更偏好直接的模型交付，LangChain商业化仍有待探索。
LangFlow为LangChain开源且无代码的可视化开发界面，用户可以通过拖拽模块和自然语言交互的模式构建应用原型。
Langchain将制作AI应用的工具能力模板化和标准化，而LangFlow 提供了一系列可供选择的LangChain组件，包括 LLMs、提示模板、代理和链等等，用户可以通过链接节点的方式轻松构建和测试产品原型，例如聊天机器人和文本解析助手。LangFlow基于Python开发，同类产品还有基于JavaScript开发的Flowise。
大模型：开源模型百花齐放，助力B端高效部署
ChatGLM等开源模型带来大模型普惠，助力B端部署AI Answer。
企业可以通过Langchain平台调用部分开源的自然语言处理模型，例如ChatGLM、Bloom与LLAMA模型等，这些开源模型为企业级AI应用的推广奠定了基础。其中，ChatGLM是可被集成到LangChain的一款重要开源模型，能够通过提供自然语言处理能力为企业打造高效的AI Answer应用。
其研发企业智谱AI成立于2019年，源自清华大学计算机系知识工程实验室。2022年，公司合作研发了支持中英双语的千亿级超大规模预训练模型GLM-130B，并搭建了高精度通用知识图谱。
GLM-130B在多个公开评测榜单上超越了GPT-3的性能，支持单张消费级推理并且具备跨平台跨芯片的快速推理能力。基于GLM-130B模型，公司又开发了6B参数规模的双语对话模型ChatGLM，可以处理多种自然语言任务（如对话聊天和智能问答），并且支持在单张消费级显卡上推理使用。目前，GLM-130B和ChatGLM均开源，为企业端客户提供了更低门槛和更高安全性的应用方案。
向量数据库：构建企业知识库的必备存储“大脑”
向量是多模数据的压缩，是AI学习的通用数据形式。非结构化数据通常需要向量化之后才能被AI模型所理解，向量嵌入（vector embedding）是自然语言处理和深度学习中常用的数据预处理技术，即将非数值如文本、图片、视频等源数据转化为机器可以理解的多维数值向量。
向量搜索是一种模糊匹配，区别于传统的关键词索引精准查询。向量搜索一般采用K近邻法或近似临近算法，计算目标对象与数据库中向量嵌入的距离以表示两者的相似度，排序后返回最为相似的结果。区别于传统数据库的精确索引，向量搜索是一种模糊匹配，输出的是概率上的最近似答案。
向量数据库是专门用来存储和查询向量的数据库。向量数据库即原生面向向量设计的、专门用于存储、管理、查询、检索向量的数据库。向量化技术已较为成熟，也出现了不少开源的向量搜索算法库（如Facebook的FAISS），但向量数据库提供一种开箱即用的解决方案，在数据持久化、实时增删改、分布式计算、容灾备份等方面提供更完整的支持，更适合企业级应用。
向量数据库帮助拓展LLM时空边界，是企业知识库的必备存储“大脑”。目前向量数据库的核心应用场景之一便是拓展LLM的时空边界，赋能企业打造基于专属知识库的AI Answer应用。
时间维度上，初始的LLM是基于历史的通用语料库训练的，而实际企业应用场景中需要补充实时的、专业性的知识；空间维度上，LLM的输入token存在长度限制，因此无法直接将企业知识库的全量信息作为prompt一次性输入，仅需最相关的部分。
向量数据库和LLM的具体交互过程为：用户首先将企业知识库的全量信息通过嵌入模型转化为向量后储存在向量数据库中，用户输入prompt时，先将其同样向量化，并在向量数据库中检索最为相关的内容，再将检索到的相关信息和初始prompt一起输入给LLM模型，以得到最终返回结果。
案例：星环科技Hippo向量数据库具备多种企业级特性。目前向量数据库市场参与者以海外初创型公司的开源产品为主，近期一级市场投融资热度较高。
国内大数据基础软件领军企业星环科技在向量数据库上已有数年技术积累，之前主要内部自用，今年5月底正式产品化对外发布为Hippo向量数据库产品，在高可用、高性能、易拓展等方面具备优势，支持多种向量搜索索引，支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，能够很好地满足企业针对海量向量数据的高实时性查询、检索、召回等场景。
应用场景和未来展望：企业内部知识库有望重构
知识管理平台：帮助B端客户实现内部知识库重构
知识管理平台重新整合内部知识，助力B端客户打造AI Answer应用。我们认为企业知识库有望成为AI Answer在B端的先行落地形式，目前我们观察到第四范式、星环科技、云知声、创新奇智、中科闻歌、鼎捷软件等厂商均具备了基于企业内部知识打造知识库的能力。
企业管理软件：整合企业知识和管理流程，OA有望落地先行
OA有望成为企业管理软件领域AI Answer先行落地场景。知识管理是OA的新兴模块，其主要用于企业内部文档和知识资料的存储和管理，目前泛微、致远、蓝凌等头部OA厂商均推出了知识管理类产品（如泛微采知连、致远知识管理解决方案、蓝凌知识管理平台等），而现阶段知识管理模块主要为知识存储，并通过简单的搜索功能实现知识提取，企业应用效率低下。
我们认为AI有望助力知识管理能够进行全方位升级，通过第三方大模型赋能实现AI Answer，真正将企业知识灵活运用，进一步激励企业员工充实知识库并提高其使用效率。
► 泛微网络：千里聆&采知连&小E助手实现知识的管理和问答。泛微千里聆基于RPA（机器人流程自动化）和NLP（自然语言处理）技术，具备信息采集功能；采知连未知识管理领域专项产品，实现文档管理、知识仓库、知识运营；小E智能语音辅助系统能够实现智能助理、知识问答、数据查询、业务处理等功能。我们认为未来公司产品有望与大模型实现深度融合，期待大模型融合后的企业协同管理应用推出。
► 致远互联：AICOP助力实现“智能协同”。6月12日，致远互联发布智能协同应用AICOP的视频演示，展示了智能协同助手“小致”在预订会议、准备会议资料、生成报告&文稿&会议纪要、填写表单、发起流程等场景的赋能应用。
ERP 中 AI Answer落地展望：大模型助力下AI Answer 赋能生产流程管理。与OA相比，ERP与业务和生产联系更紧密且具有更明显的行业属性，在业务运行过程ERP沉淀的行业垂类数据有望助力大模型的训练。海外微软的Dynamics 365 Copilot展示了客服、市场、供应链管理等场景的AI赋能应用；国内对标来看，用友网络深耕ERP多年布局二十余个行业并积累了各行业丰富的用户授权数据，公司计划后续将通过和通用大模型厂商合作+自研结合的方式进一步训练企业服务大模型，期待大模型赋能下AI Answer在财务、人力、采购、制造、营销等领域场景落地。
文档整理&搜索引擎：面向个人和中小组织的知识检索应用
钉钉有望为中小组织和个人构建“知识图谱”。2023年6月，钉钉AI正式邀请测试，其展示了AI+文档、AI+群聊、AI+应用、AI+问答机器人等功能。其中AI+问答机器人能够接收用户主动上传特定的文档数据，生成特定场景的问答机器人，并作为专业模型实现更有效、准确的AI问答。我们认为这类功能为中小型组织和个人快速构建知识库，实现知识的沉淀和应用。
WPS、印象笔记等文档类软件有望基于用户端海量文档实现AI Answer。我们认为WPS、印象笔记等文档类软件作为文档沉淀的平台，具备天然接入AI大模型的应用条件。如印象笔记的“知识星图”功能，能够借助AI语义分析产生知识图谱和知识网络，实现信息的高效收集和利用。我们认为文档类软件有望在B端和C端帮助用户更好地基于平台沉淀的文档实现AI Answer。
垂类场景：各行业知识应用有望百花齐放
各个细分行业积累的大量知识有望在大模型赋能下实现归集，赋能千行百业。如医疗行业的卫宁健康、保险行业的新致软件、教育行业的科大讯飞均凭借过去在垂类行业的深耕，借助大模型实现知识的赋能应用。展望未来，我们期待更多行业能够在大模型赋能下实现行业知识萃取，各行业知识应用有望百花齐放。
