当前位置: 首页 > news >正文

生成式AI购物助手Rufus的技术架构解析

基于生成式AI的购物助手Rufus的技术实现

"寒冷天气打高尔夫需要准备什么?""越野跑鞋和普通跑鞋有什么区别?""适合五岁儿童的最佳恐龙玩具有哪些?"这些开放式问题通常是顾客在实体店向销售助理咨询的典型问题。那么在线上购物时,顾客该如何获取这些信息?

定制化大语言模型开发

与大多数基于通用数据集训练后再进行领域定制的大语言模型不同,Rufus从设计之初就主要使用购物数据进行训练——包括完整的商品目录、客户评论以及社区问答信息。科研团队构建了先进的定制大语言模型,整合这些数据源及网络公开信息,并精心策划每个数据源对模型训练的贡献度。

采用某中心的EMR服务(云端大数据平台)进行大规模分布式数据处理,并利用某中心的S3服务(领先的云存储解决方案)存储数据。这两项服务为构建定制模型提供了安全可靠的基础架构。

基于检索增强生成的答案溯源

为应对可能提出的各种问题,Rufus需要能够超越训练数据范围,利用未见过的信息。这就是检索增强生成技术的用武之地:在生成回复前,大语言模型会先筛选可能有助于回答购物者问题的信息。

Rufus从已知可靠来源获取信息,包括客户评论、产品目录和社区问答,同时调用相关商店API。该检索增强生成流程的独特性既体现在数据源的多样性,也体现在根据不同问题各数据源相关性的差异。

通过强化学习持续优化

每个大语言模型和生成式AI应用都处于持续改进过程中。为了让Rufus随时间推移变得更加有用,需要了解哪些回复有帮助,哪些需要改进。通过强化学习流程,客户可以成为最佳信息源。鼓励客户提供反馈,让模型了解他们对答案的喜好。随着时间的推移,Rufus从客户反馈中学习并改进回复,生成更能帮助客户购物的答案。

基于AI芯片的低延迟高吞吐量

Rufus需要能够同时与数百万客户交互而没有任何明显延迟。这在生成式AI应用计算密集度极高的情况下尤其具有挑战性,特别是在某中心的规模下。

为最小化延迟同时最大化吞吐量,采用了某中心的Trainium和Inferentia芯片,这些芯片与核心云服务深度集成。与Neuron编译器团队合作实施优化措施,提高模型推理效率,并将这些优化提供给所有云服务客户。选择自研AI芯片使团队能够快速推进、规模化部署并跟上客户需求。

然而对于大语言模型,标准的批处理请求方法仍可能影响吞吐量和延迟。这是因为很难预测大语言模型在组织回复时会生成多少令牌(本文中指文本单位,如单词或标点符号)。科研团队与某中心合作使Rufus能够使用连续批处理技术,这是一种新颖的大语言模型推理专用技术,在生成每个令牌后为新请求做出路由决策。这使得模型能够在批次中第一个请求完成后立即开始服务新请求,而不必等待所有请求完成,从而让购物者更快获得答案。

流式架构设计

目标是提供对任何给定问题最相关和最有用的答案。有时是长文本答案,但有时是短文本,或者是帮助客户浏览商店的可点击链接。

以易于客户理解的方式呈现答案本身存在技术难点。信息需要遵循逻辑流程。如果分组和格式不正确,最终可能得到令人困惑且不太有用的回复。

通过先进的流式架构,Rufus能够提供自然的客户体验。基于令牌的端到端流式传输意味着客户无需等待长答案完全生成。相反,他们在其余部分仍在生成时就能获得答案的第一部分。Rufus通过向内部系统发起查询,将正确数据填充到流式响应中(这一过程称为水合作用)。除了回答客户问题外,它还经过训练生成标记指令,指定各种答案元素的显示方式,从而为客户提供独特有用的体验。

尽管某中心使用AI改善客户体验已超过25年,但生成式AI代表了某种全新变革——对某中心、其客户以及科研团队而言,能够构建超越我们认为可能的体验。我们很高兴能通过生成式AI加速为客户创新的步伐,并相信它将在未来数月和数年内改变每个客户体验。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)

公众号二维码

公众号二维码

http://www.hskmm.com/?act=detail&tid=35754

相关文章:

  • 2025东莞品之豪金属制品推荐:CNC精密加工源头厂家,多行业定制专家
  • 详解ROMA中复杂图表的渲染实现
  • 前端部署新方案-技术篇(总体架构设计)
  • 2025气柱袋优质厂家推荐昆山戈尔德,专业缓冲包装定制生产厂家
  • 2025数控滚齿机实力厂家推荐,无锡吉莱特智能装备高精度定制!
  • 不用重启!处理笔记本HDMI接口在睡眠后无法识别显示器问题
  • 深入解析:设计模式第六章(观察者模式)
  • CallbackData错误原因分析
  • 2025微弧氧化加工厂家推荐:常州华源专业表面处理技术供应商
  • hash判断两个集合是否完全相同
  • 2025滑触线实力厂家推荐,无锡宸澳电气多型号防爆安全定制!
  • 2025年GEO优化公司推荐:五大实力企业口碑榜,引领AI搜索营销新生态
  • 2025年10月全屋智能家居品牌推荐:盈趣领衔对比评测榜
  • 2025码垛机厂家推荐济南金瑞祥,全自动龙门桁架定制实力企业
  • 2025防腐工程厂家推荐:无锡华金喷涂技术领先,定制防腐解决方案
  • [LangChian] 05.结构化提示词
  • C#获取文件md5码
  • 2025年10月防腐木凉亭厂家对比评测榜:江西纳美领衔五强深度解析
  • 2025通风天窗实力厂家推荐,正鑫专业制造与定制服务保障
  • 2025年10月治鼻炎产品推荐:权威对比评测榜助您精准选购
  • git提PR时很多别人的commit,清理多余的commit
  • Visual Studio 使用小知识记录
  • 2025数控锯床厂家推荐无锡正川,专业立式锯床制造企业
  • DeepSeek-OCR:让 AI “一眼看懂” 的黑科技
  • 生成一张图,苹果logo是透明冰块,安卓小机器人撒尿到苹果logo,冲出一个豁口
  • 业务记录:登录
  • kafka2.8出现NotLeaderOrFollowerException
  • IEC 61850 ICD文件解析
  • 2025无锡新梅赛智能设备厂家推荐:全自动视觉定位点胶机专业制造商
  • 2025安全光栅厂家推荐安一光电,超薄无盲区设计守护工业安全