AIが文章を処理するときに使う文字や単語の細かな単位です。
LLMは文章をトークンという単位に分けて処理します。 入力と出力で使えるトークン数には上限がある場合があります。 API料金がトークン量を基準に計算されることもあります。
モデル・学習
トークン
トークン ｜ Token
AIが文章を処理するときに使う文字や単語の細かな単位です。
💡 3行でわかるトークン
1LLMは文章をトークンという単位に分けて処理します。
2入力と出力で使えるトークン数には上限がある場合があります。
3API料金がトークン量を基準に計算されることもあります。