在 AWS,我们正在通过在整个销售生命周期中使用 生成型人工智能 (AI) 来转型我们的销售和客户旅程。我们的愿景是未来 AI 能 Seamlessly (无缝地) 融入团队的工作流程,自动化重复任务,提供智能推荐,从而腾出时间进行更具战略性的高价值互动。我们的现场组织包括客户面对面的团队如客户经理、解决方案架构师、专家和内部支持职能如销售运营。
在潜在客户开发、机会进展和客户互动的过程中,使用历史数据的生成型 AI 为提高效率和效果带来了激动人心的机会。每一步都会生成个性化内容,账户团队之间的协作将实现无缝,具备客户的全面且实时的视图。我们的内部 AI 销售助手,由 Amazon Q Business 驱动,可以在所有渠道上使用,并与 CRM 等系统无缝集成。它能够回答问题、生成内容并促进双向互动,同时不断使用内部 AWS 及外部数据提供及时、个性化的洞察。
通过这一系列的文章,我们分享我们的生成 AI 旅程和使用案例,详细说明所使用的架构、AWS 服务、学习经验,以及这些解决方案对我们的团队和客户的影响。在本篇文章中,我们探索了账户摘要,这是我们基于 Amazon Bedrock 开发的初始生产案例之一。账户摘要使我们的团队能够更好地为客户互动做好准备。它将来自多种来源的信息整合成全面的按需摘要,提供于我们的 CRM 中,或根据即将到来的会议主动交付。从 2023 年 9 月到 2024 年 3 月,利用 GenAI 账户摘要的销售人员所创建的机会价值增长了 49。
数据往往分布在多个内部系统如 CRM 和财务工具和外部来源,使得账户团队很难全面了解每个客户。手动连接这些不同的数据集可能耗时,这为我们改善揭示有价值的洞察和识别机会提供了一个机会。没有前瞻性的洞察和建议,账户团队可能会错失机会并提供不一致的客户体验。
通过使用生成 AI,我们利用来自多种来源的结构化和非结构化数据无缝构建了账户摘要,包括销售材料、客户互动、外部网络数据、机器学习 (ML) 洞察等等。结果是为销售人员量身定制的全面摘要,可以即时在 CRM 中使用,并基于即将到来的会议通过 Slack 主动交付。
账户摘要提供 360 度的账户叙述,具有可定制的部分,展示关于客户的及时且相关的信息。关键部分包括:
关键部分描述执行摘要简明概述,突出最新客户更新,适合快速高层汇报。组织概述分析外部组织和行业新闻,并附上来源引用,提供客户团队及时的讨论主题和定位策略。产品消耗总结客户如何使用 AWS 服务的情况。机会管道对未开放和延迟机会的概述,包括合作伙伴互动和最近客户互动。投资和支持客户问题、促销计划、支持案例和产品功能请求的信息。AI 驱动的推荐结合生成 AI 和 ML ,提供产品、服务、适用案例和下一步的智能建议。以下截图展示了一份示例账户摘要。所有数据均为虚构。

自 2023 年推出以来,已生成超过 100000 份 GenAI 账户摘要。AWS 销售人员报告说每份 GenAI 账户摘要平均节省了 35 分钟的时间。这不仅提升了生产力,还为客户互动节省了时间。影响不仅限于效率。自 2023 年 9 月至 2024 年 3 月期间,约三分之一的受访销售人员表示 GenAI 账户摘要对他们的客户接洽方式产生了积极影响,利用 GenAI 账户摘要的销售人员创建的机会价值增长了 49。
该用例的影响在那些支持大量客户的团队中尤为显著。那些在多个账户之间工作的专家等用户在快速了解和为不同客户情况增加价值的能力上有了显著改善。在账户转移期间,他们使新客户经理能够迅速了解继承账户的情况。在活动期间,我们的团队在与客户进行互动时,拥有全面且实时的信息支持。账户摘要现在也是其他下游机制如账户规划和高管简报中心 (EBC) 会议的基础。
这展示了我们在销售和客户生命周期中实现生成 AI 能力的方式。该方案基于多种数据源和强大的基础架构层用于数据检索、提示生成和 LLM 管理。这种模块化结构为部署广泛的 AI 驱动用例提供了可扩展的基础,从账户摘要开始。
在 AWS 上构建像账户摘要这样的生成 AI 解决方案提供了显著的技术优势,尤其适用于已经使用 AWS 服务的组织。您可以将来自 AWS 数据湖、Amazon 简单存储服务Amazon S3存储桶或 Amazon 关系数据库服务Amazon RDS实例的现有数据与 Amazon Bedrock 和 Amazon Q 等服务进行集成。对于我们的账户摘要用例,我们利用 Amazon Bedrock 上的 Amazon Titan 和 Anthropic Claude 模型,利用它们在不同方面生成摘要的独特优势。
飞兔加速器安卓我们的模型选择和部署方法既具战略意义又灵活。我们基于每个摘要部分的具体能力和需求仔细选择模型。这使我们能够在准确性、响应时间和成本效率等因素上进行优化。我们开发的架构可以在单次摘要生成过程中无缝结合和切换不同模型。这种多模型的方法使我们能够利用每个模型的最佳特性,从而生成更全面和细致的摘要。
这种灵活的模型选择和组合能力,加上我们现有的 AWS 基础设施,加快了市场响应时间,减少复杂的数据迁移和潜在故障点,并让我们能够在新模型可用时持续纳入最先进的语言模型。
我们的系统整合了多种数据源,通过复杂的数据索引和检索过程,并采用精心设计的提示生成技术。我们还实施了强有力的策略以减轻幻觉现象,从而确保生成摘要的可靠性。构建在 AWS 上的非同步处理解决方案,结合多项质量保证措施,并通过全面的反馈循环不断优化,同时保持严格的安全和隐私标准。
在接下来的部分中,我们将回顾每个组件,包括数据源、数据索引和检索、提示生成策略、幻觉缓解技术、质量保证流程以及基本的基础设施和操作。
账户摘要依赖于四个关键的信息类别:
信息类别描述客户数据关于客户 AWS 旅程的结构化信息,包括服务指标、增长趋势和支持历史ML 洞察从分析结构化业务数据和非结构化交互日志中生成的洞察内部知识库非结构化数据,如销售计划、案例研究和产品信息,持续更新以反映最新的 AWS 产品和最佳实践外部数据实时新闻、公共财务文件和行业报告,以提供对客户业务环境的全面了解通过整合这些多样化的数据源,我们创造了一个丰富的多维度账户视图,超越了传统数据分析的可能性。
为了维护核心数据的完整性,我们不会保留或使用提示或生成的账户摘要用于模型训练。相反,在摘要生成并交付给销售人员后,生成的内容会被永久删除。
我们开始时索引和检索结构化和非结构化数据,这使我们能够提供综合的摘要,结合定量数据和定性洞察。
索引过程包括以下几个阶段:
文档预处理 清理和规范化来自各种来源的文本。拆分 将文档拆分为便于处理的片段1200 个令牌,重叠 50 个令牌。向量化 使用嵌入模型将文本块转换为向量表示。存储 将向量和元数据索引在数据库中以便快速检索。检索过程包括以下几个阶段:
查询向量化 将用户查询或上下文转换为向量表示。相似性搜索 使用 k 最近邻 (kNN) 找到相关的文档块。元数据过滤 基于结构化数据如日期范围或产品类别应用额外的过滤器。重排名 使用交叉编码模型细化检索块的相关性。上下文整合 将检索到的信息与大型语言模型 (LLM) 提示结合。以下是实现时的关键考虑事项:
平衡结构化和非结构化数据 利用结构化数据指导并过滤非结构化内容中的搜索,结合定量指标与定性洞察生成综合摘要。可扩展性 设计系统以处理不断增长的数据量和并发请求,并考虑分区策略以应对不断增长的向量数据库。维护数据新鲜度 实施策略以定期更新索引中的新信息,并考虑关键快速变化数据点的实时索引。持续相关性调整 基于用户反馈和性能指标不断优化检索过程,并尝试不同的嵌入模型和相似性度量。隐私和安全 使用行级安全访问控制限制用户访问的信息。通过深思熟虑地实施这一索引和检索系统,我们已经为账户摘要创造了强大的基础。这种方法使我们能够动态地将结构化内部业务数据与相关的非结构化内容相结合,为我们的现场团队提供全面、最新且背景丰富的客户互动摘要。
精心设计的提示有助于提高生成响应的准确性和相关性,减少幻觉现象,并根据特定用例进行定制。最终,提示生成作为关键接口,确保检索增强生成 (RAG) 系统有效利用存储知识和 LLM 的能力,生成连贯、真实且量身定制的输出。提示生成在 RAG 系统中发挥着关键作用,通过引导检索过程、背景化获取数据,并指导语言模型如何有效利用这些信息,来弥补检索信息与用户意图之间的鸿沟。
以下图示展示了账户摘要的提示生成框架,从各种来源收集数据。这些信息用于构建具有相关上下文的提示,然后输入 LLM,以生成响应。最终输出是针对输入数据量身定制并通过迭代细化的响应。
我们将提示生成的最佳实践组织为两个主要类别:
考虑以下系统设计和优化技术:
架构考虑 多阶段提示 使用初始提示进行数据检索,然后使用具体提示进行摘要生成。动态模板 根据检索到的客户信息调整提示模板。模型选择 在不同行摘要部分选择合适的模型,实现性能与成本的平衡。非同步处理 并行运行不同摘要部分的 LLM 调用,以降低整体延迟。
质量提升
输出验证 在依赖生成的摘要之前实施严格的事实检查。例如,“与金色源业务数据交叉验证生成的数字。”一致性检查 确保指令彼此之间或者与提供的数据不矛盾。例如,“检查提示以确保我们不能要求详细财务信息,同时又指示排除敏感数据。”逐步思考 对于复杂摘要,指导模型详细阐述步骤,以减少幻觉现象。反馈与迭代 定期分析性能,收集用户反馈,进行实验,并逐步改进提示和流程。尽管制定有效的提示至关重要,但选择合适的模型来处理这些提示并生成准确、相关的摘要同样重要。我们的多模型方法是实现该目标的关键。通过使用多个模型,特别是在 Amazon Bedrock 上的 Amazon Titan 和 Anthropic Claude,我们能够优化摘要生成的各个方面,从而生成更全面、准确和量身定制的输出。
选择适当模型进行不同任务的标准由几个关键准则指导。首先,我们评估每个模型的特定能力,观察它们在处理某些类型的查询或数据时的独特优势。接下来,我们评估模型的准确性,即生成真实且相关内容的能力。最后,我们还考虑处理速度和成本,这些也是重要因素。
我们的架构旨在允许灵活的模型切换和组合。通过模块化的方法,每个摘要部分可以独立生成,然后组合成一个整体。随着持续的性能监控和反馈机制的实施,我们能够随着时间的推移精炼模型选择和提示策略。
随着新模型在 Amazon Bedrock 上的推出,我们有一套结构化的评估流程。这个流程包括在不同指标上对新模型与当前选择进行基准测试、进行 A/B 测试,并逐步将表现优异的模型整合到我们的生产流程中。
LLM 有时会出现幻觉现象,因为它们为响应提示优化最可能的文本响应,在语法、风格、知识、推理和情感等多个要素之间取得平衡。这常常导致权衡,导致插入虚构的事实,使输出看似信服但却不准确。我们实施了多项策略来解决常见类型的幻觉现象:
不完整数据问题 LLM 可能在缺乏必要上下文时编造信息。解决方案 提供全面的数据集,并明确指示仅使用提供的信息。我们还对数据进行预处理,去除空值并为可用数据点提供条件说明。模糊指令问题 含糊的提示可能导致猜测和幻觉现象。解决方案 使用详细、具体的提示,提供清晰且结构化的指令,以最小化模糊性。模棱两可的上下文问题 模糊的上下文可能导致看似合理但不准确的细节。解决方案 在提示中明确上下文,指定所需的确切细节,并使用 XML 标签区分上下文、任务和指令。我们采取了一种多方面的方法为账户摘要提供质量和准确性:
自动财务指标 这些自动化财务指标为我们的