1297
NVIDIA 于今日宣布，全球 2,800 万开发者现可下载 NVIDIA NIM™——一种推理微服务，通过经优化的容器的形式提供模型——以部署在云、数据中心或工作站上。借助 NVIDIA NIM，开发者能够轻松地为 copilots、聊天机器人等构建生成式 AI 应用，所需时间从数周缩短至几分钟。
这些新的生成式 AI 应用正变得越来越复杂，通常需要使用具有不同功能的多个模型来生成文本、图像、视频、语音等。NVIDIA NIM 提供了一种简单、标准化的方式，将生成式 AI 添加到应用中，显著提高了开发者的工作效率。
NIM 还可使企业能够最大限度利用其基础设施投资。例如，相较于未使用 NIM 的情况下，在 NIM 中运行 Meta Llama 3-8B 时，后者在加速基础设施上可产生高达 3 倍的生成式 AI token。这使企业能够大幅提高效率，使用相同的计算基础设施来生成更多的结果。
包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技术合作伙伴正在将 NIM 集成到他们的平台中，以加快特定领域应用的生成式 AI 部署，例如 copilot、代码助手和数字人虚拟形象。从 Meta Llama 3 开始，在 Hugging Face 上现已开始提供 NIM。
NVIDIA 创始人兼首席执行官黄仁勋表示：“每个企业都希望在其运营中融入生成式 AI，但并非每个企业都拥有专门的 AI 研究团队。NVIDIA NIM 可被集成到任意平台中，任何地方的开发者都可以访问，并且可以在任意环境中运行——它正在助力科技行业将生成式 AI 普及到每一个企业组织。”
通过 NVIDIA AI Enterprise 软件平台，企业可以使用 NIM 在生产系统中部署 AI 应用。从下个月开始，NVIDIA 开发者计划的会员可以免费使用 NIM，在其选择的基础设施上进行研究、开发和测试。
40 余个 NIM 微服务为跨模式的生成式 AI 赋能
NIM 容器是预构建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA® 软件、NVIDIA Triton 推理服务器™和 NVIDIA TensorRT™-LLM 软件。
在 ai.nvidia.com 网站上，超过 40 个 NVIDIA 及社区模型可作为 NIM 端点进行体验，其中包括 Databricks DBRX、谷歌开放模型 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。
开发者现在可以从 Hugging Face AI 平台上，访问 Meta Llama 3 模型的 NVIDIA NIM 微服务。通过基于 NVIDIA GPU 的 Hugging Face 推理端点，只需点击几下，开发者就能在其选择的云平台上轻松地访问和运行 Llama 3 NIM。
企业可以使用 NIM 来运行用于生成文本、图像和视频、语音以及数字人的应用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微服务，研究人员可以构建新的蛋白质结构，加速药物研发。
数十家医疗公司正在一系列应用中部署 NIM，以便在手术规划、数字助手、药物研发和临床试验优化等一系列应用中为生成式 AI 推理提供动力。
借助全新的 NVIDIA ACE NIM 微服务，开发者可以在客户服务、远程医疗、教育、游戏和娱乐等应用中，轻松构建和操作栩栩如生的交互式数字人。
数百家 AI 生态系统合作伙伴已嵌入 NIM
包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收购）在内的平台提供商已在开源 KServe 或企业解决方案方面支持 NIM。AI 应用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 来支持生成式 AI 推理。
领先的 AI 工具和 MLOps 合作伙伴（包括亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases）也已将 NIM 嵌入到其平台，使开发者能够通过优化推理来构建和部署特定领域的生成式 AI 应用。
全球系统集成商和服务交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨询服务（TCS）和威普罗（Wipro）已经建立了 NIM 能力，以帮助全球企业快速开发和部署生产型 AI 策略。
企业几乎可以在任何地方运行支持 NIM 的应用，包括在全球基础设施制造商思科、戴尔科技、慧与、联想和超微，以及服务器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证系统™ 上运行。NIM 微服务也已集成至亚马逊云科技、谷歌云、Azure 和 Oracle 云基础设施中。
行业巨头通过 NIM 加强生成式 AI
行业领导者 Foxconn、和硕、Amdocs、劳氏公司、 ServiceNow 和西门子利用 NIM 来加强生成式 AI 应用，涉及制造业、医疗、金融服务、零售、客户服务等领域：
- Foxconn——作为全球最大的电子制造商，Foxconn 正在使用 NIM 开发针对特定领域的大语言模型（LLM），并将这些模型嵌入到其 AI 工厂的各种内部系统和流程中，用于智能制造、智慧城市和智能电动汽车。
- 和硕——这家台湾电子制造公司正在将 NIM 用于 Project TaME，这是一个当地的混合专家（MoE）模型，旨在推动各行各业开发本地化的 LLM。 ● Amdocs——这家为通信和媒体公司提供软件和服务的全球领先供应商正在使用 NIM 运行客户计费 LLM，该模型显著降低了 token 成本，将准确性提高了 30%，并将延迟降低了 80%，从而实现近乎实时的响应。
- 劳氏公司——这家《财富》杂志 50 强家居装饰公司正在将生成式 AI 用于各种用例，例如，该零售商正在利用 NVIDIA NIM 推理微服务来提升员工和客户的体验。
- ServiceNow——这个用于业务转型的 AI 平台于今年早些时候宣布成为首批接入 NIM 的平台提供商之一，帮助客户实现快速、可扩展且更具成本效益的 LLM 开发和部署。NIM 微服务已经集成到 Now AI 多模态模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客户使用。
- 西门子——作为专注于工业、基础设施、交通和医疗领域的全球科技公司，西门子正在将其运营技术与 NIM 微服务整合，用于车间 AI 工作负载。此外，西门子还利用 NIM 为其 Machine Operators 构建了一个本地部署版本的 Industrial Copilot。
可用性 开发者可在 ai.nvidia.com 网站上免费试用 NVIDIA 微服务。企业可通过在 NVIDIA 认证系统和领先的云平台上运行的 NVIDIA AI Enterprise 来部署生产级 NIM 微服务。从下个月开始，NVIDIA 开发者计划的会员将能够免费使用 NIM 来进行研究和测试。
下载ECAD模型
