加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入

虹科干货丨来抄作业!用Redis VSS,让大语言模型更懂你

2023/09/26
3382
服务支持:
技术交流群

完成交易后在“购买成功”页面扫码入群,即可与技术大咖们分享疑惑和经验、收获成长和认同、领取优惠和红包等。

虚拟商品不可退

当前内容为数字版权作品,购买后不支持退换且无法转移使用。

加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论
放大
实物图
  • 方案介绍
    • 引导语:
    • 一、设置Redis作为向量数据库
    • 二、建立LLM链
    • 三、部署链
  • 相关文件
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

引导语:

好沮丧,大语言模型不懂我怎么办,怎么也搜不到想要的答案(ㄒoㄒ)当当当当,Redis VSS闪亮登场,不必微调模型,也能轻松驾驭大语言,快速解答你的疑虑,满足你的求知欲,你的AI好伙伴!

简介:使用大型语言模型(Large Language Model, LLM)时,经常需要检索与问题相关的数据作为语境,这是为了在不微调LLM的情况下,让LLM了解您的自定义数据。向量搜索是一种很流行的数据检索策略,因为它很擅长匹配相似的数据。Redis原生支持向量相似性搜索,专为速度而设计。

朋友圈文案:检索不到想要的信息?怎么才能够让大语言模型更懂你呢?Redis VSS向量检索来助力,更快的对话式搜索,让大语言模型成为更懂你的朋友。
关键词:Redis;向量检索;大语言模型;

在这个简短的教程中,我们将使用 Relevance AI、Redis VSS、OpenAI GPT 和 Cohere Wikipedia 嵌入创建一条LLM链,这使得我们能够使用Redis向量搜索向百科提问,根据我们的问题搜索最相似的文章。对于嵌入向量,它们是表示各种类型数据的数字列表,在这里,我们使用Cohere多语言模型生成的嵌入向量。
为了按照本教程进行操作,您需要一个支持JSON文档数据结构,且内置实时搜索和查询功能的Redis数据库。您可以选择在Redis Enterprise Cloud上创建,或者在Docker中使用Redis Stack创建。

一、设置Redis作为向量数据库

运行Redis之后,我们从HuggingFace上导入Cohere的多语言维基百科嵌入数据集,这只需要几个简单的步骤,您可以在这个jupyter笔记本中查看完整的代码。

步骤 1. 安装redis和datasets的Python库。

步骤 2. 创建一个客户端连接。

步骤 3. 下载样本数据集。

步骤 4. 使用JSON将每个文档导入Redis。

步骤 5. 创建一个向量搜索索引

此命令指定索引Wikipedia,该索引在JSON中存储数据,其中所有键都使用前缀wiki:进行索引。在模式中,我们使用$.field_name引用JSON中的每个字段,并用名称及其数据类型为其添加一个友好的标签。向量字段“emb”是向量类型,并使用HNSW作为索引类型,L2作为距离度量方式。

命令运行后,您就拥有了支持向量相似性搜索的Redis索引。

二、建立LLM链

接下来,就可以进入Relevance AI笔记本开始构建我们的LLM链了。

步骤 1. 如有必要,请注册Relevance AI的免费帐户。登录后,选择“构建AI链”并点击“创建新链”,您将进入到一个笔记本界面。

Relevance AI链笔记本

步骤 2. 在执行LLM链之前,您需要配置您的OpenAI API密钥和Redis链接字符串。请从侧边栏选择“API keys”,然后提供您的Redis链接字符串和OpenAI API密钥。

步骤 3. 选择“从Prompt开始”,为“向量搜索(Redis)”添加新的转换。使用以下详细信息填写表格:

  • 索引名称:您在Redis中创建的索引,即wikipedia。
  • 向量字段:存储嵌入的字段,对于维基百科数据集,这里填emb。
  • 模型Model: cohere-multilingual-22-12,生成搜索查询的向量嵌入。
  • 搜索查询: 我们快速为LLM链定义一个输入。按{}并输入{{params.question}}将其更改为变量模式。


Redis 向量搜索步骤及其输入的示例。

步骤4. 配置LLM Prompt以使用向量搜索向Prompt中注入上下文并提问。您可以根据自己的需要自定义Prompt。

LLM 步骤的示例,该步骤从 Redis 搜索和查询中获取上下文并提出问题。

这是为了帮助人们查询大量的信息。比如,你最喜欢周杰伦的《夜曲》,你想知道:“这首歌的吉他前奏是谁弹奏的?”有了LLM链,你就可以把这个问题扔给结合了AI的维基百科进行搜索,它会迅速给出答案。

这不仅仅是实践新技术,更是快速地加深你的理解并满足你的好奇心。我们的LLM链就像位知识渊博的朋友,热情地与你清茶淡话,它随时准备同你对话,这为知识搜索增添了一丝人情味。

三、部署链

Relevance AI提供了两种部署链的方法:作为可嵌入的应用程序或作为API端点。应用程序也可以通过链接直接与用户共享,用户可以看到表格,填写并运行LLM链,这些现在已经可以用于生产中了。

带有可用于生产的 API 端点或可共享 URL 表单的LLM链的部署页面

虹科是Redis原厂的中国区战略合作伙伴。我们持续关注各行业当下急切需求,专注于为企业解答疑问,制定专属服务,提供一站式数据库和商业智能解决方案。了解更多【企业级数据库解决方案】及【企业缓存指南】,欢迎前往虹科云科技官网!

联系虹科工程师:15528663362

联系方式链接:https://t.dustess.com/Fc6fpUjg

官网链接:https://hongcloudtech.com/

  • 虹科干货丨来抄作业!用Redis VSS,让大语言模型更懂你.docx

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
ATXMEGA128A3U-AUR 1 Microchip Technology Inc IC MCU 8BIT 128KB FLASH 64TQFP
$5.3 查看
ATMEGA88PA-MMHR 1 Atmel Corporation RISC Microcontroller, 8-Bit, FLASH, AVR RISC CPU, 20MHz, CMOS, PQCC28, 4 X 4 MM, 1 MM HEIGHT, 0.45 MM PITCH, GREEN, PLASTIC, VQFN-28
$2.43 查看
PIC24FJ256GB108T-I/PT 1 Microchip Technology Inc 16-BIT, FLASH, 32 MHz, MICROCONTROLLER, PQFP80, 12 X 12 MM, 1 MM HEIGHT, 2 MM, LEAD FREE, PLASTIC, TQFP-80
$7.54 查看

相关推荐

电子产业图谱

虹科是一家资源整合及技术服务落地供应商,与全球顶尖公司深度技术合作,专注于制造业、汽车、生物、医药、测试与测量、广播电视与媒体、通信、网络安全、光电等领域,为客户提供:智能自动化、工业物联网、智能感知、数字化+AR、光电、网络安全、测试测量、卫星与无线通信、医药环境监测与验证、生命科学、汽车电子、汽车维修诊断、云科技等解决方案。虹科始终致力于为行业客户提供创新及前端的产品和技术解决方案,为科技社会发展助力加码。