最新 NIM 微服务和 AI Blueprint 为 RTX AI PC 和职业站解开生成式 AI——除了这些之后,首期 RTX AI Garage 系列回顾了 CES 大会上公开的更多公告。

去年,生成式 AI改变了大众的生活、职业和娱乐方法,从写作到内容创作,再到游戏、进修和生产力,方方面面获取提高。PC 爱慕者和开发者正在引领这项创造性技术的前沿进步。

无数次影响整个行业的技术突破诞生于同壹个地方——车库。 本周,RTX AI Garage 系列栏目闪亮登场,将为希望了解更多关于 NVIDIA NIM 微服务和 AI Blueprint 的开发者和爱慕者带来定期内容,以及怎样在 AI PC 上构建 AI 智能体、创意职业流程、数字人、生产力应用等。 欢迎加入 RTX AI Garage。

首期栏目重点说明了于本周早些时候在CES大会上公开的公告,包括面给NVIDIA RTX AI PC推出的新 AI 模型,该模型可将数字人、内容创作、生产力和开发推给壹个新高度。

这些模型以 NVIDIA NIM 微服务的形式,由新的 GeForce RTX 50 系列 GPU 驱动。 基于 NVIDIA Blackwell 架构,RTX 50 系列 GPU 可执行高达每秒 3,352 万亿次 AI 运算,提供 32GB VRAM 并支持 FP4 计算,令 AI 推理智能翻倍,让生成式 AI 以更小的显存占用本地运行。

NVIDIA 还推出NVIDIA AI Blueprint —基于 NIM 微服务,为数字人、内容创作等应用,提供预先配置的开箱即用职业流。

NIM 微服务和 AI Blueprint 助力爱慕者和开发者构建、迭代,并提供前所未有的 AI PC 尝试。并借此为 PC 用户提供新一代令人惊艳的实用 AI 能力

通过 NVIDIA NIM 快速运用 AI

将前沿 AI 技术引入 PC 面临两大决定因素挑战。首先,AI 研究进度惊人,每天都有新模型涌现在 Hugging Face 等平台上,仅 Hugging Face 现就拥有超过 100 万个模型。因此,新成果很快会被淘汰。

其次,为 PC 适配这些模型一个复杂费力的经过。将模型针对 PC 硬件进行优化,和 AI 软件集成,并进行应用集成需要大量工程化职业。

NVIDIA NIM 通过提供面给 PC 优化的预封装前沿 AI 模型来帮助应对这些挑战。涵盖不同领域的 NIM 微服务可一键配置,具有易于集成的应用程序编程接口 (API),并利用 NVIDIA AI 软件和 RTX GPU 加速性能。

在 CES 大会上,NVIDIA 公布推出面给 RTX AI PC 的 NIM 微服务职业流,支持各种运用场景,包括大语言模型 (LLM)、视觉语言模型、图像生成、语音、检索增强生成 (RAG)、PDF 提取和计算机视觉。

新 Llama Nemotron 开源模型系列为各种代理式 AI 任务提供高精度基础能力。 Llama Nemotron Nano 模型将面给 RTX AI PC 和职业站以 NIM 微服务形态公开,在指令遵循、函数调用、聊天、编码和数学等代理式 AI 任务方面表现出众。

不久,开发者将能快速下载并在配置了适用于 Linux 的 Windows 子体系 (WSL) 的 Windows 11 PC 上运行这些微服务。

https://www.youtube.com/watch?v=kh55RX2xsaA

为了给爱慕者和开发者展示怎样运用 NIM 构建 AI 智能体和助手,NVIDIA 推出了 Project R2X 应用预览,这一个具有视觉能力的 PC 虚拟形象,让信息触手可及,协助用户运用桌面应用、进行视频会议、阅读和拓展资料文档等。

借助 NIM 微服务,AI 爱慕者可跳过繁琐的模型管理、优化和后端集成,而专注于利用顶尖 AI 模型进行创作和创造。

API 是啥子?

API 一个应用和软件库通信的方法。 API 定义了应用可给库发送的一组“调用”指令,以及应用将获取的返回数据。传统 AI API 需要大量的配置和配置,这增大了 AI 运用难度,为创造配置障碍。

NIM 微服务提供了易于运用、直观的 API,应用只需给其发送请求即可获取响应。除了这些之后,NIM 微服务面相不同模型类型的输入和输出方法进行设计。 比如,LLM 以文本输入并输出文本,图像生成器由文本生成图像,语音识别器将语音识别为文本。

NIM 微服务的设计旨在和领先的 AI 开发和智能体框架无缝集成,如 VSCode AI 工具包、 AnythingLLM、ComfyUI、Flowise AI、LangChain、Langflow 和 LM Studio。 开发者可轻松从 NVIDIA 官网下载并部署微服务。

通过将这些 API 引入 RTX,NVIDIA NIM 将加速 PC 端的 AI 创造。

爱慕者还可以通过马上公开的NVIDIA ChatRTX技术示范尝试一系列 NIM 微服务。

为创造打造的 Blueprint

通过采用最前沿的模型,预先封装并针对 PC 进行优化,开发者和粉丝可以快速创建 AI 的项目。 更进一步,他们可以结合多种 AI 模型和其他功能模块来构建复杂的应用,如数字人、播客生成器和应用助手。

基于 NIM 微服务,NVIDIA AI Blueprint 可提供复杂 AI 职业流的参考实现。 可帮助开发者将多个组件,包括库、软件开发工具包 (SDK) 和 AI 模型,整合到单一应用中。

https://images.nvidia.cn/cn/youtube-replicates/6YrEjhSMPBY.mp4

AI Blueprint 包含了开发者构建、运行、定制和扩展参考职业流所需的一切,其中包括参考应用和源代码、示例数据以及用于定制和编排不同组件的文档。

在 CES 大会上,NVIDIA 公布推出两个适配 RTX 的 AI Blueprint:壹个是 PDF 转播客,让用户基于任意 PDF 生成播客,另壹个是由 3D 引导的生成式 AI,该技术基于 FLUX.1 [dev],以 NIM 微服务形式提供,让艺术家运用文本生成图像提供更好的控制能力。

借助 AI Blueprint,开发者可以在 RTX PC 和职业站上快速将顶尖 AI 职业流由实验转给开发。

为生成式 AI 创建

最新 GeForce RTX 50 系列 GPU 专为应对复杂的生成式 AI 挑战而打造,具有支持 FP4 的第五代 Tensor Core、更快的 GDDR7 显存和 AI 管理处理器,可在 AI 和创意职业流之间实现高效的多任务处理。

GeForce RTX 50 系列新增对 FP4 的支持,为 PC 端带来更佳性能和更多模型。 FP4 是一种更低精度的量化方式,类似于文件压缩,可以减小模型大致。和大多数模型默认采用的 FP16 方式相比,FP4 的显存占用差点一半,而且 50 系列 GPU 提供的性能是上一代的 2 倍以上。利用 NVIDIA TensorRT Model Optimizer 提供的先进量化方式,可以在几乎没有任何质量损失的情况下实现这一点。.

例如,Black Forest Labs 的 FLUX.1 [dev] 模型在 FP16 下需要超过 23 GB 的显存,这意味着它只能由 GeForce RTX 4090 和专业 GPU 提供支持。在 FP4 下,FLUX.1 [dev] 仅需要差点 10 GB 的显存,因此可以在更多 GeForce RTX GPU 上本地运行。

在 GeForce RTX 4090 D 上采用 FP16 时,FLUX.1 [dev] 模型可以在 18 秒内生成图像,步数为 30 步。而在 GeForce RTX 5090 D 上采用 FP4,只需5秒多一点的时刻即可生成图像。

开始运用 PC 端新 AI API

NVIDIA NIM 微服务和 AI Blueprint 将从下月起开始提供,首发支持的硬件包含 GeForce RTX  50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 GPU 。未来还会陆续提供对其他 GPU 的支持。

宏碁、华硕、戴尔、惠普、联想、微星、雷蛇将推出支持 NIM 的 RTX AI PC。

GeForce RTX 50 系列 GPU 和笔记本PC带来最新方法和创造性 AI 尝试,助力创作者更快呈现创意。回放 NVIDIA 创始人兼首席执行官黄仁勋发表的主题演讲,了解 NVIDIA 在 CES 大会上公开的 AI 内容。

请参阅有关软件产品信息的通知。

###

决定因素词：

收藏：

同享到：