大規模言語モデル（LLM）とは

大規模言語モデル（LLM：Large Language Model）は、大量の文章を読んで言葉のつながり方を学び、質問や指示に続く文章を作る AI のモデルです。文章で答える AI のチャット、メールの下書き、長い文書の要約など、文章を扱う AI の多くは LLM を土台にしています。

LLM はとても便利ですが、人のように事実を調べてから答えているわけではありません。しくみを知っておくと、仕事で任せてよいことと、人が確かめるべきことを見分けやすくなります。

LLM は何をしているのか

LLM がしていることを一言でいうと、「次に来そうな言葉の予測」です。スマートフォンで「よろしく」と打つと、「お願いします」が候補に出ることがあります。LLM は、これをはるかに大きな規模で、前後の文脈を広く見ながら行っていると考えるとわかりやすいでしょう。

たとえば、ヨガ教室の先生が「体験レッスンに申し込んでくれた人へのお礼の返信を書いて」と頼んだとします。LLM は、この頼みに続く文章として自然な言葉を 1 つ選びます。次に、選んだ言葉を足した文章をもとに、また次の言葉を選びます。これを何百回もくり返すと、「このたびは体験レッスンにお申し込みいただき、ありがとうございます。」のような文章ができあがります。

トークンとは

LLM が 1 回に予測する単位を「トークン」と呼びます。トークンは単語のこともあれば、単語の一部や 1 文字のこともあります。どこで区切るかはモデルごとに決まっていて、同じ文章でもモデルが違えばトークンの数が変わります。

トークンは、使える量や料金の単位にもなります。AI のサービスの多くは、読ませた文章と書かせた文章のトークンの数で、使った量や料金を計算しています。

LLM はどうやって学ぶのか（学習と推論）

LLM の働きは、大きく「学習」と「推論」の 2 つの段階に分かれます。

段階	していること	例
学習	大量の文章を使い、言葉の予測がうまくなるように、モデルの中の数（パラメータ）を調整する	文章の続きや隠した部分を当てる練習を、膨大な量の文章でくり返す
推論	学習を終えたモデルに文章を渡して、答えを作らせる	「返信の下書きを作って」と頼む

学習の中心は、文章の続きや、隠した部分を当てる練習です。これをくり返すうちに、文法や言葉の意味、よくある話の流れが、パラメータと呼ばれる大量の数の中に蓄えられていきます。多くの LLM は、そのあとで指示に従うための追加の学習（指示チューニングや、人の評価をもとにした調整など）を受け、質問に答える形で話せるようになります。

私たちが AI のチャットを使うときに起きているのは、推論のほうです。推論のあいだに、モデルのパラメータが書き換わることはありません。そのため、LLM が知っているのは、学習に使った文章に含まれていたことまでです。学習のあとに変わった料金や、新しくできた制度については、モデルだけでは正しく答えられません。

しくみをさらにくわしく知りたい人は、Google の機械学習集中講座の「大規模言語モデルの概要」が参考になります。

一度に読める量（コンテキストウィンドウ）とは

LLM が 1 回の推論で扱えるトークンの数には上限があり、これを「コンテキストウィンドウ」と呼びます。人にたとえると、机の上に一度に広げておける資料の量のようなものです。

コンテキストウィンドウには、次のものがすべて入ります。

• AI のサービスがあらかじめ渡している指示
• それまでの会話のやりとり
• 添付した資料や、貼り付けた文章
• これから LLM が書く答え

LLM は、会話の記憶を自分の中に持ち越しているわけではありません。チャットが前の話を覚えているように見えるのは、サービスがそれまでの会話を、毎回いっしょに LLM へ渡しているからです。会話がとても長くなると、上限を超えないように古い部分を省いたり要約したりするので、最初のほうで伝えたことが答えに反映されにくくなることがあります。大事な条件は、必要なときにもう一度伝えると確実です。

なぜもっともらしい間違いが起きるのか

LLM が事実と違う内容を、自信のある言い方で答えてしまうことを「ハルシネーション」と呼びます。

原因は、LLM のしくみそのものにあります。LLM は正しい答えを調べて書いているのではなく、続きとして自然な言葉を選んで書いています。そのため、知らないことを聞かれても、それらしい文章を作れてしまうのです。

たとえば、オンライン講座を運営している人が「うちの講座の受講料はいくら？」と聞いたとします。LLM はその講座の料金表を読んだことがないので、よくある講座の相場から、ありそうな金額を答えてしまうかもしれません。同じように、存在しない URL や、古くなった制度の説明が出てくることもあります。

ハルシネーションは、質問の言い方を工夫するだけではなくしきれません。大切なのは、答えの根拠になる資料を LLM に渡すことと、重要な内容を人が確かめることです。

根拠を渡すと何が変わるのか

LLM の答えを、特定の資料に基づかせることを「グラウンディング」と呼びます。やり方の基本は単純で、答えてほしい内容が書かれた資料を質問といっしょにコンテキストウィンドウに入れ、「この資料に書いてあることだけで答えて」と指示します。

先ほどの講座の例なら、受講料の表を渡しておけば、LLM は相場ではなく表の金額をもとに答えられます。さらに、どの資料を根拠にしたかを答えに添えさせれば、人があとから確かめやすくなります。

ただし、資料が多いと、全部をコンテキストウィンドウに入れることはできません。そこで、質問に関係する部分だけを探してから LLM に渡す方法がよく使われます。これを RAG（検索拡張生成）と呼び、「RAG（検索拡張生成）とは」でくわしく説明しています。関係する部分を探すときには、文章の意味を数の並びで表す「埋め込み」がよく使われます。

根拠を渡しても、資料そのものが古かったり、LLM が資料を読み違えたりすることはあります。資料を新しく保つことと、答えから根拠をたどれるようにしておくことが、安心して使うための鍵です。

まとめ：仕事で使うときのポイント

LLM は、文章の下書き、要約、言い換え、問い合わせの分類など、言葉を扱う仕事を大きく助けてくれます。小さな事業で使うときは、次の点を意識すると安心です。

1. 料金・日程・規約など、事実にかかわることは、資料を渡してから答えさせる。
2. お客さまに送る文章や、お金・約束にかかわる内容は、送る前に人が読む。
3. パスワードやカード番号は入力しない。個人情報を扱うときは、サービスのデータの扱いを確かめる。
4. 下書きや要約など得意なことから小さく始め、間違えやすいところを知ってから任せる範囲を広げる。