D-ID 推出一款 AI 视频翻译工具，包括语音克隆和口型同步功能

D-ID 推出一款 AI 视频翻译工具，包括语音克隆和口型同步功能

AI 视频创作平台D-ID是最新一家推出使用 AI 技术将视频翻译成其他语言的工具的公司。不过，在这种情况下，D-ID 还会克隆说话者的声音，并改变他们的嘴唇动作以匹配翻译的单词，这是 AI 编辑过程的一部分。

这项技术源自 D-ID 的早期工作——您可能还记得几年前的病毒式流行趋势，当时用户将他们旧的家庭照片制作成动画，后来这些照片能够说话。在这一成功的基础上，这家初创公司于 2022 年完成了2500 万美元的 B 轮融资，着眼于服务于其在美国越来越多的企业客户，这些客户正在使用其技术制作人工智能视频。

该公司现已推出AI 视频翻译技术，目前免费提供给 D-ID 用户，创作者可以自动将他们的视频翻译成其他语言，以帮助他们扩大影响力。目前总共有 30 种语言可用，包括阿拉伯语、普通话、日语、印地语、西班牙语和法语等。D-ID 订阅的最便宜套餐起价为每年 56 美元，用于 AI 功能的信用额度最少，然后每年上涨至 1,293 美元，然后转向企业定价。

D-ID 表示，新的 AI 视频技术可以帮助客户在营销、娱乐和社交媒体等领域向全球受众推广其活动时节省本地化成本。该技术将与其他配音和 AI 视频解决方案展开竞争。

多年来，配音技术让视频观看者可以更轻松地收听自己语言的音频，但小型创作者往往无法使用。随着公司改善技术使用渠道，这种情况正在发生变化。例如，YouTube 发布了一项多语言音频功能，旨在帮助其创作者通过将视频翻译成其他语言来与更广泛的受众建立联系。著名创作者 MrBeast（Jimmy Donaldson）是早期采用者之一，他利用这项技术将他的几部热门视频翻译成 11 种语言。

借助人工智能，创建、翻译或克隆声音的能力也在不断增强。微软今年宣布将使用人工智能在您观看时翻译和配音 YouTube 视频等。7 月，创作者平台 Vimeo推出了翻译音频和字幕的工具，并通过使用人工智能技术复制说话者的声音来实现这一点。许多公司还提供语音克隆或人工智能翻译工具（或有时两者兼有），包括 Descript、ElevenLabs、Speechify、Veed、Camb.ai、Captions.ai 和 Akool 等公司的工具，以及允许您使用可以说几十种语言的人工智能头像制作视频的工具，如来自HeyGen、Deepbrain AI和其他公司的工具。

配音和口型同步 AI 库（如 Wav2lip）也让初创公司更容易构建此类工具，同时向创作者推销它们让使用 AI 技术变得更容易，也许更实惠。（D-ID 新开发的专有模型 Rosetta-1 为 AI 视频翻译提供支持。）

D-ID 表示，其新的视频翻译技术将通过 D-ID Studio 及其 API 提供。目前提供为期一个月的试用，其网站上还提供更多演示。

该公司表示，视频长度可在 10 秒到 5 分钟之间，文件大小应不超过 2GB。该功能仅适用于画面中的一个人，为了获得最佳效果，他们应始终面向摄像头，面部可见。