噪音消除：NVIDIA 噪音消除器怎么使用
编者注:这篇文章小编将属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时给 NVIDIA RTX PC 和职业站用户展示最新硬件、软件、工具和加速特性。
AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI,但多年来,由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和职业效率方面起到了决定因素影响。
NVIDIA Broadcast 应用程序就一个例子,它可运用本地 RTX GPU 上的 Tensor Core 不间断地提高音频和视频质量。通过将这款应用和 GeForce RTX 和 NVIDIA RTX GPU 内置的 NVIDIA 编码器 (NVENC) 组合运用,无论兄弟们可轻松上手直播,或在视频会议通话中尽展专业风范。
助力实现“直播梦”
https://images.nvidia.cn/cn/youtube-replicates/viWuC4MMXWc.mp4
一直以来,要实现高质量的直播,就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码,而这通常会影响游戏质量。这便导致许多主播运用双 PC 配置:一台 PC 专注于游戏和内容,另一台负责串流编码。这种配置组装起来很复杂,还很难进行故障排除,而且其价格对于新人主播来说通常过于高昂。
NVENC 可应对上述难题。它是 NVIDIA GPU 上的专用硬件编码器,负责处理音视频编码,以便释放体系的其余部分来专注于游戏和内容的性能。Open Broadcaster Software (OBS) 等行业领先的直播应用正在添加对 NVENC 的支持,为 Twitch 和 YouTube 等热门平台上的新一代主播铺平道路。
同时,NVIDIA Maxine 还可帮助化解设备昂贵的难题。它包含不收费的 AI 赋能功能,例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能,用户便无需运用物理绿幕或动作捕捉套件等独特设备。主播们在 2024 年的 TwitchCon 大会上第一次尝试到了上述绿幕技术,他们运用 GeForce RTX 2080 GPU 上的 AI 加速绿幕,在展厅中现场测试了该绿幕在 OBS 上的效果。
Maxine 的 AI 赋能效果开始在 RTX Voice 测试版中给 RTX 用户放开,随后又在名为 NVIDIA Broadcast 的独立应用中提供。
寻觅 NVIDIA Broadcast
https://images.nvidia.cn/cn/youtube-replicates/_kHFTeL1RVU.mp4
NVIDIA Broadcast 提供各类 AI 赋能功能,可提高各种用例中的音频和视频质量。它易于运用,适用于任何其他应用,而且配置起来特别简单。
这款应用包含:
● 噪音和回声移除:只需点击壹个按钮,即可让 AI 消除麦克风和输入音频中多余的背景噪声。
● 虚拟背景:通过背景去除、替换和模糊处理等功能,用户无需运用价格不菲的设备或复杂的照明布置即可自定义背景。
● 目光接触:AI 可让主播看起来像是在直视摄像头,即使他们正在看给别处或记笔记。
● 自动聚焦:实时动态追踪对象的移动,无论移动对象位于何处,均可自动裁剪和缩放画面,以跟拍对象。
● 虚光效果:AI 可对摄像头图像的角落应用暗化效果,以提供鲜明的视觉对比,从而将观众的注意力吸引到视频中央,同时增添风格特色。
● 视频降噪:消除弱光环境下的视频噪点,使画面更清晰。
NVIDIA Broadcast 技术的职业原理是在 Windows 中创建虚拟摄像头、麦克风或扬声器,这样用户只需配置一次设备即可在任何直播、视频会议或语音聊天应用(包括 Discord、Google Meet、Microsoft Teams、OBS Studio、Slack、Webex 和 Zoom)中运用这些设备。
NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 用户可运用其 GPU 专用的 Tensor Core 协助 NVIDIA Broadcast 的 AI 网络实时运行。
NVIDIA Broadcast 技术中的全部 AI 赋能技术也能以软件开发套件的形式提供给应用开发者。视听技术企业 Elgato 在其 Wave Link 软件中添加了 Maxine 的 AI 音频噪声移除技术,而 VTube Studio (一款热门应用,用于将 3D 模型连接到网络摄像头,以便运用动画人物进行直播) 则提供了可以不收费下载的经 RTX 加速的模型追踪器插件。独立开发者 Xaymar 在其 VoiceFX 插件中运用了 NVIDIA Maxine。
在运用 Adobe Premiere Pro 等视频编辑套件或 Ableton Live 及 Adobe Audition 等数字音频职业站进行后期处理时,内容创作者可以运用 VoiceFX 插件或 Elgato 的虚拟职业室技术 (VST) 过滤器消除录制内容中的噪声和回声。
耳听 (未必) 为实
自 NVIDIA Broadcast 公开以来,已有数百万人运用了这款应用。
Twitch 知名主播 Mr_Vudoo 表示:“我最常运用的是视频降噪和背景替换功能。目光接触功能特别有趣,老实说,这项功能的效果让我感到惊喜。”
YouTube 频道 PiXimperfect 的主持人 Unmesh Dinda 在极端情境下示范了 NVIDIA Broadcast 的噪声消除和回声移除 AI 功能。他将一台呼呼作响的电风扇正对麦克风,还戴迷恋盔并让人持续敲击头盔。即便背景中充斥着很大的噪声,在打开 NVIDIA Broadcast 应用的噪音消除功能后,Dinda 的声音依然清晰可闻。这段视频的观看次数已超过 1200 万次。
https://images.nvidia.cn/cn/youtube-replicates/bEurXLfzXfw.mp4
对于日益增多的超距离职业人员来说,NVIDIA Broadcast 应用也是一款实用的工具。全境封锁2’s Hardware 网站的总编 Avram Piltch 在一篇文章中详细说明了他对这款应用的降噪功能的测试,测试对象包括呼呼作响的空调、修剪草坪的邻居,乃至壹个发脾气挥舞着机器人的孩子。NVIDIA Broadcast 的 AI 音频效果每次都能大显神通:
Piltch 表示:“我让我八岁的孩子在我身后假装发脾气,当我启用噪声移除功能后,每一声‘我不去睡觉’的抱怨都消失了(至少在录制内容中是这样)。为了增加挑战性,大家让他一边发脾气,一边拿着一辆嗡嗡作响的机器人汽车走来走去。这一次,NVIDIA Broadcast 依然移除了全部多余的声音。”
NVIDIA Broadcast 的 AI 赋能背景去除功能也可以在日常情境中发挥影响,例如和医疗专业人员进行视频通话。
欢迎在任何搭载 RTX 的台式PC或笔记本PC上不收费下载 NVIDIA Broadcast。
请订阅《解码 AI》时事通讯,大家每周都会将新鲜资讯直接投递到无论兄弟们的收件箱。
###
本篇文章的创作者为七彩光，转载请注明出处
决定因素词：
- 收藏：