NVIDIAは、AI/MLと大規模言語モデル(LLM)の改良に取り組み、新しいソフトウェアツール「TensorRT-LLM」をリリースしました。TensorRT-LLMはデータセンター向けのものでしたが、Windows PCで利用可能となり、GeForce RTX GPUを搭載したPC上でLLMを最大4倍高速に実行できます。特筆すべきは新しいスケジューラ「インフライト・バッチング」を使用し、複数の小さなクエリを動的に、他の大規模なリクエストとは独立して処理できます。TensorRT-LLMは日常生活の生産性向上を支援し、デモでは、LLaMa-2と比較して、TensorRT-LLMが高速で適切な答えを提供できることが確認されました。さらに、深化のパフォーマンスデモでは、GeForce RTX 4090が高いパフォーマンスを示し、Tom’s Hardwareによるテストではパフォーマンスが最大70%向上したことが確認されました。最後に、新しいGeForceドライバのアップデートでは、AIベースの機能がいくつか追加されています。
You must be logged in to post a comment.