スループット完全ガイド|AI・大規模言語モデルの単位時間処理量を正しく測定・改善する方法
AIシステムの性能を評価するとき、「一回の推論が何ミリ秒で終わるか」だけを見ていると、本番で必要となる処理能力を正しく判断できないことがあります。利用者が一人しかいない試験環境では100ミリ秒で応答できても、100人が同時に利用した瞬間に処理待ちが発生し、全体として一秒あたり数件しか処理できないのであれば、大規模サービスとして十分な性能を持っているとはいえません。そこで重要になるのが、一定時間内にどれだけの仕事を完了できるかを表すスループット、すなわち単位時間処理量です。
単位時間処理量は、システムによって測定単位が異なります。画像分類なら一秒あたり画像枚数、文章生成サービスなら一秒あたり要求数、大規模言語モデルでは一秒あたり生成トークン数や一秒あたり利用者要求数などが利用されます。また、同じモデルでも一度に一件だけ処理する場合と、複数件をまとめて処理する場合では処理量が大きく変わります。単純にモデルの計算速度だけを見るのではなく、同時実行、バッチ処理、GPU利用率、入力長、出力長、処理待ち列などを含めて評価する必要があります。
EN
JP
KR