【技术分享】丨使用 Knowledge Bases for Amazon Bedrock 制作 RAG 工具

本文将介绍如何使用Knowledge Bases for Amazon Bedrock开发一个RAG工具，Amazon Bedrock Knowledge Bases支持从S3存储桶中的多种文档获取数据，自动切片转换为文本块生成向量，并存储在向量数据中。因此业务代码只需要调用单个API，即可同时完成从Bedrock所集成的向量数据库中进行召回和大语言模型的内容生成，所以后续只需交由Web平台调用API，即可实现RAG能力。

使用的技术概览

• Amazon Bedrock & Knowledge Bases

Amazon Bedrock 提供了一种无服务器的方式来构建生成式 AI 应用程序，其中 Knowledge Bases 是一个核心组件。它允许用户上传自定义数据集，训练模型生成更具针对性和上下文相关的回答。

• ChatGPT Next Web

ChatGPT Next Web是一个开源项目，旨在创建一个可扩展的对话系统。该项目提供了一个 Web 界面，并支持自定义插件扩展，非常适合作为 RAG 工具的基础。

使用的技术栈及服务

• 前端：React.js，AWS SDK for JavaScript V3

• 亚马逊云服务：Amazon Bedrock，Amazon S3，Amazon OpenSearch

• 其他工具：Git，AWS CLI

创建 Bedrock Knowledge bases知识库

搭建RAG问答机器人

新增top_k 算法参数:

Claude 模型在使用时必须要有top_k算法参数，在app/store/config.ts中为默认模型添加参数支持，以下是部分示例代码：

…………

top_k: 200

…………

新增 Bedrock API 接口:

修改 app/client/api.ts，让应用程序支持Bedrock API，以下是部分示例代码：

…………

import { AmazonBedrockApi, AWSBRApi } from "./platforms/amazonbedrock";

…………

新增 AWS AKSK配置:

修改app/config/server.ts，增加从配置文件读取AWS AKSK的功能，以下是部分示例代码：

…………

      // Amazon Bedrock only

      AWS_ACCESS_KEY?: string;

      AWS_SECRET_ACCESS_KEY?: string;

…………

新增 Amazon Bedrock 模型选项:

修改app/constant.ts，增加 Amazon Bedrock 模型，提供用户在模型选择界面可以选择到 Amazon Bedrock 模型，以下是部分示例代码：

…………

export enum ServiceProvider {

   …………

   AmazonBedrock = "AmazonBedrock",

}

export const DEFAULT_MODELS = [

   {

    name: "Claude 3.5 Sonnet",

    available: true,

    provider: {

      id: "AmazonBedrock",

      providerName: "AmazonBedrock",

      providerType: "anthropic-claude3-5-sonnet",

    },

   },

…………

编写 Amazon Bedrock TS:

在 app/client/platforms 目录下创建一个服务文件amazonbedrock.ts，用于与 Amazon Bedrock 交互，加强原本ChatGPT Next Web的对话功能，以下是部分示例代码：

…………

export class AmazonBedrockApi implements LLMApi {

   extractMessage(res: any) {

    return res?.output?.choices?.at(0)?.message?.content ?? "";

   }

   convertMessagePayload(

    messages: any,

    modelConfig: any,

    model_version: string,

   ):

…………

新增 Knowledge Bases选项:

修改app/components/chat.tsx文件，增加一个Knowledge Bases的功能，可以在对话时候切换不同的知识库，以下是部分示例代码：

…………

      <ChatAction

        onClick={() => setShowKnowledgeBaseSelector(true)}

        text={currentKnowledgeBase}

        icon={<RobotIcon />}

      />

…………