なぜベトナム語は英語よりも多くのトークンを消費するのか

なぜベトナム語は英語よりも多くのトークンを消費するのか

同じ内容の文章でも、AIはベトナム語を英語よりも多くのトークンに分割することが多く、時には2倍、3倍になることもあります。主な原因はベトナム語の声調記号と母音記号にあります。多くのAIが使うトークナイザーは主に英語のデータで学習されているため、ベトナム語の単語をなじみのある一塊として認識できず、細かく切り刻んでしまうのです。これを理解すると、ベトナム語でAIを使うと時にコストが高くなり、制限に早く達し、回答が途中で切れやすくなる理由がわかります。

身近な例でサクッと理解する

トークンを、AIが文章を組み立てるのに使うレゴブロックだと考えてみてください。このブロックセットは英語向けに調整された工場で作られていて、"the"や"ing"、"tion"のような英語によくある言葉の形にぴったり合うブロックがすでに用意されています。英語の単語を渡すと、AIはたいてい既製のブロックを1つか2つはめ込むだけで済みます。

ところがベトナム語には、この工場がこれまで型を作ったことのない形がたくさんあります。「được」という単語は鋭アクセント記号とフック記号を持ち、「nghiêng」は3つの母音と声調記号が重なります。ぴったり合うブロックがないため、AIはその単語を非常に小さな断片、時には1文字やバイト単位にまで分解し、たくさんの小さな断片をつなぎ合わせて単語を組み立て直さなければなりません。断片が多いほどトークンも多くなり、まるで丸ごとのレンガの代わりに瓦礫で壁を作るようなものです。

実際のしくみ

1. AIは文字を読むのではなく、トークンを読んでいます。 何かに答える前に、生成AIモデルはまずあなたの文章をトークン、つまり一つのまとまりとして扱われる文字のかたまりに分割します。これはモデルが「考える」より前に行われる処理です。
2. トークンの語彙は学習データから学ばれます。 大手AI企業はBPE(バイト対符号化)というアルゴリズムでトークナイザーを学習させます。このアルゴリズムは膨大な文章を調べ、頻繁に繰り返される文字の並びを一つのトークンとしてまとめます。学習データの大部分が英語(モデルによっては中国語も多い)であるため、よく使われる英語の断片は早い段階で単語全体のトークンとしてまとめられます。
3. ベトナム語はアクセント付きの変化形が多すぎて、まとめきれません。 ベトナム語は声調を持つ孤立語で、「ma」という一音節だけでも声調記号によって「ma、má、mà、mả、mã、mạ」という6つの異なる意味の単語になります。母音と声調の組み合わせひとつひとつが、Unicode上では異なる文字列です。すべての組み合わせに十分な「ブロック」を用意するにはベトナム語専用の巨大な語彙が必要ですが、多くの主要モデルはそこまでの余地を確保していません。
4. 結果として、ベトナム語の単語は細かく砕かれてしまいます。 最近の測定によると、英語と比較して、GPT-2やRoBERTa系のトークナイザーは同じ分量のベトナム語に対して4倍以上のトークンを必要とすることがあり、より新しい多言語トークナイザーでもモデルによって約1.4倍から2倍近く多くのトークンを消費します。この差は、マイナーな言語の話者が払う「トークン税」と冗談めかして呼ばれることもあります。
5. ベトナム語専用に学習されたモデルははるかに優れています。 PhoBERTのようにベトナム語専用に作られたトークナイザーは、最初から実際の音節と声調の構造を学習しているため、英語に近いトークン数を達成できます。別の言語向けに作られた語彙にベトナム語を無理やり押し込むのとは違うのです。

これがあなたにとって意味すること

• ベトナム語でAIを使って文章を書くと、同じ内容でも英語より費用がかかることがあります。 APIの料金はトークン単位で課金されるため、200語のベトナム語の文章は、400語から600語の英語の文章とほぼ同じトークン数に換算されることがあります。顧客対応チャットボットや文書要約ツールのように、大量のベトナム語テキストをAIで処理するサービスを構築している場合は、英語ベースの見積もりではなく、実際のベトナム語のトークン消費量で予算を立ててください。
• ベトナム語で書くと、コンテキストウィンドウがより早く埋まります。 モデルの上限が32,000トークンだとすると、同じくらいの文の長さでも、ベトナム語の文書は英語の文書より早くその上限に達します。長い文章を貼り付けてAIが「長すぎる」と言ってきたら、それはあなたの文書が本当に長すぎるからではなく、ベトナム語がもともとトークンを多く消費する言語だからかもしれないことを思い出してください。
• 実用的なヒント: 契約書全体を貼り付けて要約させるなど、非常に長いベトナム語の文書を一度にAIに処理させたい場合は、ベトナム語やアジア言語向けに最適化されているとうたわれているモデルを試してみましょう。そうしたモデルは声調記号に対してより効率的なトークナイザーを使っていることが多く、同じトークン制限内でより多くの内容を収められます。

よくある誤解

• 「トークンは1つの単語のことだ」 誤りです。トークンは単語全体のこともあれば、単語の一部、あるいはほんの数文字のこともあります。ベトナム語では、声調記号のついた単語1つが1トークンではなく、2つや3つのトークンに分割されることがよくあります。
• 「どのAIもベトナム語で無駄にするトークン数は同じだ」 これも誤りです。差は各社のトークナイザーによって異なります。英語より約1.4倍多く消費するだけのモデルもあれば、古いモデルでは4倍多く消費することもあります。より多くのベトナム語データで学習され、トークナイザーの設計がより優れているモデルほど、無駄になるトークンは少なくなります。
• 「声調記号なしで入力すればトークンを節約できる」 技術的には部分的に正しいとも言えます。声調記号のない文字は英語のアルファベットに近くなるためです。しかしこれはおすすめできません。多くの声調記号なしの単語同士が衝突してしまうため、AIがあなたの意図を正確に理解しにくくなります。vibeaicoder.xyzのすべての記事では、AIが正しく理解し正しく答えられるよう、声調記号を完全につけてベトナム語を入力することをおすすめしています。

よくある質問

ベトナム語は英語に比べて何倍多くのトークンを消費しますか? すべてのAIに当てはまる固定の数字はありません。モデルとトークナイザーによって、文の長さが同程度の英語と比べて、おおよそ1.4倍から4倍以上の差があります。

なぜすべてのAI企業がこれを改善していないのですか? ある言語のためにトークナイザーを作り直すには、モデルのほぼ全体を最初から再学習する必要があり、多くの時間とコストがかかります。そのため各社は通常、新しいモデルのバージョンが出るたびに少しずつ改善していくにとどまっています。

これは回答の賢さに影響しますか? 直接的には影響しません。トークン数が多いことは主にコストと、一度に送受信できる文章の量に影響します。モデルが十分な質の高いベトナム語データで学習されている限り、ベトナム語の理解力が落ちるわけではありません。

あるベトナム語の文章が何トークン消費するか、どうやって確認できますか? 一部のAI企業は自社モデル向けのオンライントークンカウントツールを提供しています。ベトナム語の文章と、それに相当する英語の文章を両方貼り付けて、直接比較してみることができます。

コストを節約するために、AIでベトナム語を使うのを避けるべきですか? 一般的なユーザーにはその必要はありません。この違いは、APIを通じて大量のベトナム語テキストを処理するサービスを構築している人にとってより重要です。日常的な会話や文章作成の手伝いであれば、AIに正しく理解してもらうために、普段どおり声調記号を完全につけてベトナム語を入力してください。

AIがトークンでどのように課金されるのかをさらに深く理解したい方は、AIの料金はどう決まるのか、サブスク・API・入出力トークンの違いをご覧ください。AIがトークンを使って「次の文字を予測する」しくみがまだよくわからない方は、まず大規模言語モデル(LLM)とは何かの記事で基礎を押さえてください。モデルがベトナム語をうまく扱えるかどうかは学習データにも関係しており、AIのオープンソースモデルとクローズドソースモデルの違いでさらに比較できます。AIが正しく理解できるベトナム語のプロンプトの書き方を学びたい方は、プロンプトとは何か、効果的な書き方のガイドもあわせてどうぞ。

#AI #ベトナム語 #トークン #AI基礎知識