NVIDIA 全新微服务助力主权 AI

NVIDIA 全新微服务助力主权 AI

为了确保 AI 系统反映本地价值观和法规，各国越来越多地推行自主 AI 战略；利用自己的基础设施、数据和专业知识开发 AI。NVIDIA 推出了四项新的 NVIDIA神经推理微服务(NIM) ，为这一运动提供支持。

这些微服务旨在简化生成式 AI 应用程序的创建和部署，支持针对特定地区的社区模型。它们通过增强对当地语言和文化差异的理解，承诺更深入地吸引用户，从而提供更准确、更相关的响应。

这一举措正值亚太地区生成式人工智能软件市场预期繁荣之际。ABI Research预测，到 2030 年，该市场的收入将从今年的 50 亿美元激增至惊人的 480 亿美元。

新产品包括两个区域语言模型：Llama-3-Swallow-70B（基于日语数据训练）和 Llama-3-Taiwan-70B（针对普通话进行了优化）。这些模型旨在更全面地掌握当地法律、法规和文化复杂性。

RakutenAI 7B 模型系列进一步增强了日语产品。它们基于 Mistral-7B 构建，并针对英语和日语数据集进行训练，可作为两种不同的 NIM 微服务用于聊天和指导功能。值得注意的是，Rakuten 的模型在 LM Evaluation Harness 基准测试中取得了令人印象深刻的成绩，在 2024 年 1 月至 3 月期间获得了开放日语大型语言模型中最高平均分数。

用区域语言训练 LLM 对于提高输出效率至关重要。通过准确反映文化和语言的细微差别，这些模型有助于实现更精确、更细致的沟通。与 Llama 3 等基础模型相比，这些区域变体在理解日语和普通话、处理区域法律任务、回答问题以及翻译和总结文本方面表现出色。

全球对自主人工智能基础设施的推动体现在新加坡、阿联酋、韩国、瑞典、法国、意大利和印度等国家的大量投资。

东京工业大学全球科学信息与计算中心的教授 Rio Yokota 表示：“法学硕士并不是为每个人提供同样好处的机械工具。它们更像是与人类文化和创造力互动的智力工具。影响是相互的，不仅模型会受到我们训练的数据的影响，而且我们的文化和我们生成的数据也会受到法学硕士的影响。”

“因此，开发符合我们文化规范的自主 AI 模型至关重要。Llama-3-Swallow 作为 NVIDIA NIM 微服务推出后，开发人员可以轻松访问该模型并将其部署到各个行业的日本应用程序中。”

NVIDIA 的 NIM 微服务使企业、政府机构和大学能够在自己的环境中托管原生 LLM。开发人员可以从创建复杂的副驾驶、聊天机器人和 AI 助手的能力中受益。这些微服务随 NVIDIA AI Enterprise 提供，使用开源 NVIDIA TensorRT-LLM 库针对推理进行了优化，有望提高性能和部署速度。

Llama 3 70B 微服务（新 Llama–3-Swallow-70B 和 Llama-3-Taiwan-70B 产品的基础）的性能提升非常明显，吞吐量最高可提高 5 倍。这意味着通过最小化延迟，可以降低运营成本并改善用户体验。