NVIDIA、デジタルヒューマンテクノロジーで本物のようなアバターやキャラクターを作成…AIがキャラクターに命を吹き込む

NVIDIA は、幅広い業界のAI アプリケーション開発者が NVIDIA デジタル ヒューマン テクノロジを使用して、商用アプリケーションのための本物のようなアバターやダイナミックなゲーム キャラクターを作成していることを発表した。音声とアニメーション用の NVIDIA Avatar Cloud Engine(ACE)、言語用の NVIDIA NeMo 、レイトレース レンダリング用の NVIDIA RTX は、開発者が AI を活用した自然言語対話が可能なデジタル ヒューマンを作成できるようにする構成要素であり、会話をより現実的で豊かなものにする、としている。

＜以下、プレスリリースより＞

カリフォルニア州サンノゼ – GTC – 2024 年 3 月 18 日 – NVIDIA は本日、幅広い業界の主要な AI アプリケーション開発者が NVIDIA デジタル ヒューマン テクノロジを使用して、商用アプリケーションのための本物のようなアバターやダイナミックなゲーム キャラクターを作成していることを発表しました。その成果は、今週カリフォルニア州サンノゼで開催される世界的な AI カンファレンスである GTC で展示され、HippocraticAI、Inworld AI、UneeQ などのテクノロジ デモンストレーションで見ることができます。

音声とアニメーション用の NVIDIA Avatar Cloud Engine (ACE)、言語用の NVIDIA NeMo ™、レイトレース レンダリング用の NVIDIA RTX™ は、開発者が AI を活用した自然言語対話が可能なデジタル ヒューマンを作成できるようにする構成要素であり、会話をより現実的で豊かなものにします。

NVIDIA の開発者およびパフォーマンス テクノロジ担当バイス プレジデントであるジョン スピッツァー (John Spitzer) は次のように述べています。「NVIDIA は、デジタル ヒューマンの創造のための AI を活用した世界クラスのテクノロジを開発者に提供します。これらのテクノロジにより、デジタル インタラクションをリアルに感じるために必要な複雑なアニメーションや会話音声が強化されるでしょう」

■世界クラスのデジタル ヒューマン テクノロジ

デジタル ヒューマン テクノロジ スイートには、以下のAI を活用した言語、音声、アニメーション、グラフィックスが含まれています。

・NVIDIA ACE — NVIDIA Audio2Face™ によるフェイシャル アニメーションと、NVIDIA Riva 自動音声認識 (ASR) およびテキスト読み上げ (TTS) による音声にて、開発者がデジタル ヒューマンに命を吹き込むのを支援するテクノロジです。ACE マイクロサービスは、ローカル GPU の機能に応じてクラウドと PC 全体でモデルを実行できる柔軟性を備えており、ユーザーが最高の体験を確実に受けられるようにします。
・NVIDIA NeMo — 開発者が正確なデータ キュレーション、最先端のカスタマイズ、Retrieval-Augmented Generation、アクセラレーテッド パフォーマンスを備えたエンタープライズ対応の生成 AI モデルを提供できるエンドツーエンドのプラットフォームです。
・NVIDIA RTX — RTX Global Illumination (RTXGI) や DLSS 3.5 などのレンダリング テクノロジのコレクションであり、ゲームやアプリケーションでのリアルタイム パス トレースが可能になります。

■デジタル ヒューマンとバーチャル アシスタントの構成要素

デジタル ヒューマン テクノロジの新機能を紹介するために、NVIDIA は、Hippocratic AI、Inworld AI、UneeQ などの主要な開発者と業界を超えて一連の新しいデモンストレーションに取り組みました。

Hippocratic AI は、安全性を重視し、LLM を利用したタスク特化のヘルスケア エージェントを作成しました。エージェントは患者に電話をかけ、ケア調整タスクをフォローアップし、術前指示を伝え、退院後の管理などを行います。GTC では、NVIDIA は HippocraticAI と協業して、NVIDIA ACE マイクロサービス、NVIDIA Audio2Face、NVIDIA Animation Graph、および NVIDIA Omniverse™ Streamer Client を使用するソリューションを拡張し、生成 AI ヘルスケア エージェント アバターの可能性を示しました。

Hippocratic AI の共同創設者兼 CEO のMunjal Shah 氏は次のように述べています。「当社のデジタル アシスタントは、世界中の患者に有益でタイムリーかつ正確な情報を提供します。NVIDIA ACE テクノロジは、最先端のビジュアルとリアルなアニメーションでそれらに命を吹き込み、患者とのよりよいつながりを実現します」

UneeQ は、顧客サービスやインタラクティブ アプリケーション用の AI 搭載アバターの作成に特化した自律型デジタル ヒューマン プラットフォームです。同社のデジタル ヒューマンはオンラインでブランドを代表し、顧客にリアルタイムでコミュニケーションをとり、顧客が安心して購入できるようにします。UneeQ は、NVIDIA Audio2Face マイクロサービスをプラットフォームに統合し、それを Synanim ML と組み合わせることで、顧客体験とエンゲージメントを向上させるための非常にリアルなアバターを作成しました。

「UneeQ は、NVIDIA アニメーション AI と当社独自の Synanim ML 合成アニメーション テクノロジを組み合わせて、感情的に反応するリアルタイムのデジタル ヒューマン インタラクションを提供し、対話型 AI を活用したダイナミックなエクスペリエンスを提供します」と UneeQ の創業者兼 CEO のDanny Tomsett 氏は述べています。

■動的なノン プレイアブル キャラクターをゲームに導入する

NVIDIA ACE は、ゲーム キャラクターに命を吹き込むために設計されたテクノロジ スイートです。「Covert Protocol」は、Inworld AI が NVIDIA と提携して作成した新しいテクノロジ デモンストレーションであり、ゲーム内でのキャラクター インタラクションの限界を押し広げます。Inworld の AI エンジンには、正確な音声テキスト変換のための NVIDIA Riva と、本物のようなフェイシャル パフォーマンスを提供するための NVIDIA Audio2Face が統合されています。

Inworld の AI エンジンは、ノン プレイアブル キャラクター (NPC) のパフォーマンスにマルチモーダルなアプローチを採用し、認知、知覚、行動システムを統合して、美しく造りこまれた環境のなかで見事な RTX レンダリング キャラクターによる没入感のある物語を実現します。

Inworld AI の CEO、Kylan Gibbs 氏は次のように述べています。「NVIDIA ACE マイクロサービスと Inworld エンジンを組み合わせることで、開発者は動的な物語を推進できるデジタル キャラクターを作成でき、プレイヤーがどのように解読、推理、プレイできるかについて新たな可能性が開かれます」

世界中のゲーム パブリッシャーは、NVIDIA ACE がゲーミング体験をどのように向上できるかを評価しています。

■ヘルスケア、ゲーム、金融サービス、メディア エンターテインメント、小売業の開発者が ACE を採用

トップクラスのゲームおよびデジタル ヒューマンの開発者たちは、ACE および生成 AI テクノロジを使用して、ゲームやアプリケーションにおけるプレイヤーと NPC 間のインタラクションを変革する方法を開拓しています。

ACE を採用している開発者とプラットフォームには、Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、miHoYo、NetEase Games、Perfect World、Openstream、OurPalm、Quantiphi、楽天証券、Slalom、SoftServe、Tencent、Top Health Tech、Ubisoft、UneeQ、Unions Avatars などがあります。

NVIDIA ACE の詳細については、https://developer.nvidia.com/ace をご覧ください。プラットフォーム開発者は、デジタル ヒューマン テクノロジのフルスイートまたは個々のマイクロサービスを自社の製品に組み込むことができます。

開発者は、開発中の AI モデルを入手するための早期アクセス プログラムに申請することで、NVIDIA ACE との歩みを開始できます。利用可能なモデルを探索するために、開発者は現在、ai.nvidia.com で Riva および Audio2Face 用の生成 AI の展開を加速するように設計された、使いやすいマイクロサービスのセットである NVIDIA NIM を評価し、アクセスできます。