英伟达版ChatGPT来了，PC端部署，很GPU

金磊 发自 凹非寺，量子位 | 公众号 QbitAI

英伟达推出了自家版本的ChatGPT，名字很有GPU的味道——Chat With RTX。

英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。

它并非是在网页或APP中运行，而是需要下载安装到个人电脑中。

这波操作，不仅是在运行效果上会更快，也就意味着Chat With RTX在聊天内容上或许并没有那么多限制。

网友们也纷纷对这一点发出了感慨：哇~这是本地运行的耶~

当然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列显卡即可。

那么Chat With RTX的实际效果如何，我们继续往下看。

英伟达版ChatGPT

首先，值得一提的是，Chat With RTX并非是英伟达自己搞了个大语言模型（LLM）。

它背后所依靠的仍是两款开源LLM，即Mistral和Llama 2，用户在运行的时候可以根据喜好自行选择。

Pick完LLM之后，就可以在Chat With RTX中上传本地文件。

支持的文件类型包括txt，.pdf，.doc/.docx和.xml。

然后就可以开始提问了，例如：Sarah推荐的餐厅名字是什么？

由于是在本地运行，因此Chat With RTX生成答案的速度是极快的，真真儿的是“啪的一下”：Sarah推荐的餐厅名字叫做The Red Le Bernardin。

除此之外，Chat With RTX另一个亮点功能，就是可以根据在线视频做回答。

例如把一个油管视频的链接“投喂”给它：

然后向Chat With RTX提问：英伟达在CES 2024上宣布了什么？

Chat With RTX也会以极快的速度根据视频内容作答。

至于其背后用到的技术方面，英伟达官方只是简单提了一句：“用到了检索增强生成 （RAG）、NVIDIA TensorRTLLM软件和NVIDIA RTX等。”

如何食用？

正如我们刚才提到的，Chat With RTX的用法很简单，只需一个下载安装的动作。

不过在配置上，除了GPU的要求之外，还有一些条件，例如：

系统：Windows 10或Windows 11

RAM：至少16GB

驱动：535.11版本或更新

不过Chat With RTX在大小上并没有很轻量，共计大约35G。

因此在下载它之前，务必需要检查一下Chat With RTX所需要的安装条件。

不然就会出现各种各样的悲剧了：

不过实测被吐槽

The Verge在英伟达发布Chat With RTX之后，立即展开了一波实测。

不过结论却是大跌眼镜。

例如刚才提到的搜索视频功能，在实际测试过程中，它竟然下载了完全不同视频的文字记录。

其次，如果给Chat With RTX“投喂”过多的文件，例如让Chat with RTX为25000个文档编制索引，它就直接“罢工”崩溃了。

以及它也“记不住”上下文，因此后续问题不能基于上一个问题。

最后还有个槽点，就是下载Chat with RTX消耗了测试人员整整半个小时……

不过槽点之外，The Verge也比较中立地肯定了Chat with RTX的优点。

例如搜索电脑上的文档，其速度和精准度是真香。

并且做总结也是Chat with RTX较为擅长的内容：

更重要的是，在本地运行这样的机制，给用户文件的安全性带来了保障。

那么你会pick英伟达版的ChatGPT吗？

参考链接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610