LLM の API の費用と待ち時間を、どう抑えますか

費用は何で決まるか

多くの LLM の API は、読ませた量と書かせた量 (トークンという文字のかたまりの数) と、モデルの大きさで料金が決まる体系です。だから、減らす手は次の 3 つに分かれます。

• 小さめのモデル分類、短い要約、決まった形への変換のような作業は、小さめのモデルで足りることが多いです。難しい作業だけ大きいモデルに回す、という振り分けもあります
• 読ませる量を減らす長い前置きや毎回同じ説明を削る、RAG で渡す文書を絞る、会話の古い部分を要約して短くする、などです
• 書かせる量を減らす要る形と長さを指示し、出力の上限を決めます

キャッシュ

• プロンプトのキャッシュ 毎回同じ長い前置き (指示や資料) を、API の側で使い回す仕組みです。提供元によって使い方や割引の体系が違うので、使う API の説明で確かめます
• 結果のキャッシュ同じ質問に同じ答えでよい物は、答えを保存して使い回します。よくある質問の答えなどに向きます

体感の速さ

答え全体ができるまで待たせず、ストリーミングで書けた所から順に画面に出すと、最初の文字が出るまでの時間が短くなり、体感が速くなります。夜のうちのまとめ作業や、たくさんの文書の処理のように、利用者がその場で待たなくてよい物は、キューに入れて裏で回します。

まとめて見る

LLM の呼び出しを 1 つの中継 (ゲートウェイ) に通すと、どの機能がどれだけ使ったかの記録、キャッシュ、回数の制限、提供元の切り替えを 1 か所でできます。自分で作る、OSS を使う、Cloudflare の AI Gateway のようなサービスを使う、などの形があり、AWS や Google Cloud でも、それぞれの AI の基盤で記録や制限を扱えます。

トレードオフ

小さいモデルは安くて速い一方、難しい質問で品質が落ちることがあります。評価データで品質を測りながら替えます。結果のキャッシュは、利用者ごとに違う答えが要る物や、情報が変わる物に使うと、古い答えや他人の答えを返す危険があります。キャッシュの鍵と消す時期を決めてから使います。