【客户案例】伊克罗德信息助力某全球电子巨头使用优化数据存储解决方案，节约50%以上成本
客户是一家全球电子巨头公司，其销售的产品包括平面彩电、数码相机、笔记本电脑、耳机、游戏机等，目前在中国大陆的电子业务规模到已经达到50亿美元，总投资额已超过8亿美元，包括六家工厂在内，在中国大陆共有大约一万名员工。
客户需求与挑战
伊克罗德信息提供的解决方案
1. 快速构建基于OpenSearch+大语言模型的RAG知识库方案。
2. 定制化开发数据处理管道、多路召回功能模块与B/C端UI界面。
3. 帮助客户进行语料优化、提示词工程与搜索结果排序调优。
4. 构建统一API接口规范，协助完成与客户原有系统的对接。
结果与收益
1. 伊克罗德帮助客户用大量的问答数据做训练，实现了大语言模型和向量模型的优化，增加向量搜索+传统搜索多路召回功能，将原有的系统识别不出问题和答案进行重新识别和分析，优化后的系统搜索答案的准确率提高了 20% 左右，解决了客户初期测试遇到 80% 问题。（见 Reference-1）
2. 解决了客户语料数据导入系统格式错误以及内容显示问题，针对不规范的表格内容的问答进行优化。优化后的数据存储成本节省 50% 以上。（见 Reference-2）
3. 允许客户直接通过 OpenAPI 整合知识库功能，将Askture接入现有的客服系统后，降低人工座席介入比例 20% 以上。（见 Reference-3）
4. 针对上线后出现的问题，进行网络与架构层面的优化，大幅降低了用户访问Askture的延迟。在多个并发的场景下，Askture的平均请求响应时间从10秒以上缩短到3秒以内，有效提升了用户满意度和活跃度。（见 Reference-4）
5. 在线上销售与门店销售全面接入智能知识库系统后，降低了用户了解产品的门槛，提升了销售和售前人员的专业技能水平。相较上线之前，QoQ（季度营收）的增长达到了20%以上。（客户不便提供具体销售金额）
客户用例
客户会将使用Askture的用户划分为三类角色：
1、知识库管理员： 知识库管理员将会通过专用的管理平台进行知识库语料数据的清洗、上传以及资料库管理等操作，然后我们Askture方案目前支持的数据格式有 word、excel、ppt、pdf 等格式。
2、客户内部的售前、售后人员等其他人员：这类角色通过内部的搜索平台上发起提问进行查询 IT/HR 等企业内部的一些信息。搜索请求将会由API Gateway接收，传送到OpenSearch向量知识库进行搜索。搜索返回的结果，会通过部署在Lambda上的LangChain进行提示词工程的处理，最后再由部署在SageMaker上的大语言模型最终产生答案，并返回给用户。
3、C端的客户与客服人员：在将客户原有的客服系统与我们的Askture方案融合之后，这类角色提出问题时将会先由Askture进行接管，在Askture遇到解答不了的问题时再引导客户接入人工客服，这样的话能够极大的简化客服流程，优化客服成本。
解决方案架构
在该架构中，由于客户使用的是中文大语言模型，因此我们使用了开源的ChatGLM模型，并将其托管在Amazon SageMaker上：
• SageMaker提供了强大的计算资源，包括支持多GPU和多节点训练的实例类型。这对于我们微调ChatGLM模型以适应Sony的实际生产环境非常重要。
• SageMaker可以根据实际需求自动扩展或缩减部署的实例数量，确保模型服务的高可用性和低延迟。这对于Sony上线智能客服系统后，处理大量并发请求时非常重要。
• SageMaker提供了多层安全性和合规性功能，包括数据加密、私有VPC访问和IAM控制等，确保Sony的模型和数据的安全。
Reference
通过优化大型语言模型和向量模型，搜索响应的准确性提高了20%
我们在PoC测试期间，针对客户提供的多份PoC样本数据进行模型的准确性测试，以下表格数据是我们当时对优化前后对知识库源(Source)命中率与答案命中率的前后对比数据，优化后模型的准确性提高了23%。
通过优化数据存储解决方案实现50%以上的成本节约
我们将通过以下数据说明我们在帮助客户在存储方面优化前后的成本对比：
客户之前的数据存储成本如下：
1. S3存储成本：
• 原始数据量：10TB
• 存储成本：每月$0.023/GB，即每月$230
2. OpenSearch成本：
• 6个数据节点，每个节点类型为r6g.xlarge.search
• 成本：每月$1，512 (6 * $252)
总成本 = S3存储成本 + OpenSearch成本
= $230 + $1，512
= $1，742 每月
在我们通过python脚本进行原始数据清洗、去冗余之后，优化后的成本：
1. 数据清洗：
• 清洗后数据量：4TB
• S3存储成本：每月$92
2. 使用OpenSearch UltraWarm节点：
• 2个数据热节点(r6g.xlarge.search)，成本：每月$504
• 3个UltraWarm节点(ultrawarm1.medium.search)，成本：每月$180
优化后总成本 = 压缩后S3存储成本 + OpenSearch成本
= $92 + $504 + $180
= $776 每月
通过这些优化，客户每月的存储成本从$1，742降低到$776，节省了$966，降低了约55%。
智能客服降低人工成本
优化前：
• 人工座席总服务次数约为10万次；
• 平均每名用户平均服务时间为1分钟。
优化后：
• 人工座席总服务次数为7.8万次（降低22%）
• 平均每名用户平均服务时间为49秒（降低18%）
经过客户实际反馈，智能客服系统上线后，客服团队裁员了37.6%。
网络与架构优化提升用户留存
我将通过以下数据展示我们在对网络跟Lambda进行优化前后的平均响应时间对比：
优化前：
• 响应经常超过 30 秒，超过 API Gateway 的 Time Out 限制；
• 正常响应平均时间在 20 秒左右；
• 2-3 个并发情况下，响应经常 Time Out。
优化后：
• 请求全部在 30 秒内完成；
• 正常响应平均时间在 10 秒以下；
• 平均请求响应为 7.8 秒；
• 3-5 个并发情况下，响应平均时间不会有明显延迟；
• GPU 使用率为 97% 以上，模型延时在 8 秒左右。
三个并发请求的指标
根据上线三个月内的统计：
• 客户每月有10万活跃用户。
• 响应时间从10秒降至3秒，用户体验提升70%。
• 根据实际测算，每10%的用户体验提升，可带来3%的活跃用户增长。每个新增活跃用户的年化ARPU为50元。
• 在优化后新增的2.1万活跃用户可为客户带来105万元的年化增收。
模板表单-2(1)
姓名*
电话*
邮箱*
职称*
公司*
地址*
需求*
* 点击提交，即表示您同意我们存储和处理您提交的个人信息，以向您提供所请求的内容，该信息仅供公司提供服务使用。您的信息受到相关法律的安全保护。
![微信公众号 微信公众号 扫码关注](javascript:Site.hoverQrCode("//22252606.s21i.faiusr.com/4/ABUIABAEGAAgvKaUngYo0O_djAEw9AM49AM.png",this,{"tips":"请使用微信扫一扫"});){kind=link}