あなたはAIを「疲弊させている」かもしれない 「トークン死」を防ぐコスト管理術（2/4 ページ）

[ITmedia]

トークンを浪費するNG行動

　トークンの消費を早めてしまう行動にはいくつかのパターンがある。まず、重いデータの読み込みと頻繁な修正である。短い文章なら消費は少ないが、画像は1枚で1000トークン以上消費することがあり、動画データとなればさらに重くなる。また、何度も修正を繰り返すことも大量のトークン消費につながる。

トークンの消費の仕組み

同じ会話を続けながら何度も修正依頼をすると多くのトークンを消費する

　次に、会話履歴の全読み込みである。AIは会話が続くほど、過去のやり取りをすべて文脈として抱え込む性質がある。つまり、長いチャットは「毎回過去の疑似議事録を全部持って会議している」ような状態であり、これが積み重なるとレスポンスが遅くなったり、以前の指示をうまく反映しなくなったりする。

文脈が重くなっていないか

　さらに、「見えない思考トークン」の無駄遣いにも注意が必要だ。タイプミスの修正や短い言い換えといった単純作業に、高性能モデルやシンキングモード（推論機能）を使うと、回答の裏側で追加の推論が走り、必要以上に利用枠を消費してしまう。これは「新幹線でコンビニに行くようなもの」であり、非常に非効率な使い方である。

単純作業でトークンを無駄遣いしていないか