Transformer の風景

前編──ケーブルカーの風景（比喩篇）

【動物たちがゴンドラに乗る】

これから一つの風景をお話しします。山を登る一台のケーブルカーと、その山で働く人たちの姿です。

LLM の仕組みを、たとえ話で解説したものです。この「前編」では、技術の言葉は、できるだけ使いません。

あとの編で、この風景の一つひとつが、AI（LLM）の仕組みの何にあたるのかを、説明していきます。

この前編ではただ状況を思い描いてください。

一台のゴンドラと、二本の軌道

【前編_全景図】

ある山に、ケーブルカーが通っています。

軌道は2本。1本は、麓から頂上へ登っていく上り線です。

上り線の途中には、駅がたくさんあります。とてもたくさんあります。

ここでは、ざっと百ほどの駅があると思ってください。

もう1本は、頂上から麓へ降りてくる下り線です。

こちらには駅はなく、ケーブルカーを特急で麓まで降ろすための線です。

ケーブルカーの箱、ゴンドラは、一つです。

頂上から伸びたロープに引かれて、この一つの箱が、上り線をゆっくりと登っていきます。

箱の中には、乗客が乗っています。

一人ではありません。何人も乗っています。

そして、ここが大事なところなのですが、乗客はめいめい、自分の座席番号を知っていて、その番号の順に座っています。

一番の席に座る人、二番の席に座る人、三番の席……というふうに、きちんと順番に並んで座っているのです。

この「自分が何番目か」を、乗客は始めから終わりまで、ずっと覚えています。あとで、この座席番号が効いてきます。

各駅には、駅長がいます。駅長は、その駅にずっといます。

その駅に住み着いて、どの登山が来ても、ずっとそこで迎えています。

このあと、ゴンドラが駅に着くたびに、乗客たちは何やら大事なことをするのですが、実を言うと、その大事なことが意味を持つには、駅長たちが、ある「腕前」を持っていなければなりません。そして、その腕前は、はじめから備わっていたのではないのです。

さて、話は、この山がまだ何も知らなかったころから始めましょう。

山が、まだ何も知らなかったころ

この山ができたばかりのころ、駅長たちは、まだ何の腕前も持っていませんでした。

どんな乗客が来たら、どう振る舞えばいいのか。誰の声を、誰に重く聞かせればいいのか。まるで見当がつかない。何もかも、でたらめでした。

そこで、山を賢くするための、長い長い訓練が始まります。

訓練に使うのは、特別な正解集などではありません。ただ、世の中にある、ふつうの文章です。一本一本の、もう書かれてしまって動かない文章。それを、山に、ひたすら浴びせるのです。

一本、例をあげましょう。

「リスうさぎしかくまツキノワ」という一行があったとします。これは、この森の子どもたちを、ただ順に並べて書いた、一本の文章です。どこかに「こう並べるのが決まりだ」という規則があって、それに従って書かれたのではありません。

ただ、そういう一行が、そこに、事実として在る。訓練では、この生の一行を、まるごと山に見せます。

そして、ここが推論との大きな違いです。

訓練では、この一行ぜんぶが、最初から、目の前にあります。

続きが分かっているのではなく、続きも含めて、文章まるごとが、すでに書かれている。

ですから、一人ずつ小出しにする必要がありません。

一行の乗客全員を、いっぺんにゴンドラに乗せて、一回だけ登らせるのです。

「リス」「うさぎ」「しか」「くま」「ツキノワ」の全員が、最初から同じ箱に乗って、ひとつの登山をする。

一本の文章を乗せたゴンドラが、麓を出て、上り線を登り始めます。

ここで、駅に着いたとき、乗客たちが何をするのかを、ゆっくり見ていきましょう。

これは、訓練のときも、あとで出てくる本番のときも、駅で必ず起きる、いちばん基本の出来事です。

駅に着くと、乗客は降りる

【前編一駅断面図上り】

ゴンドラが駅に着くと、乗客は全員、いったん箱を降ります。降りて、駅のホームへ出ます。

ホームには、改札があります。改札は、一つではありません。いくつも並んでいます。乗客たちは、その改札を通ります。一列に順番待ちをするのではありません。みんなで、いっせいに、並んだ改札を通っていきます。

改札を通るとき、乗客はそれぞれ、何枚かの札を手にします。どんな札を持たせるか。それを取り仕切っているのが、その駅の駅長です。「こういう乗客には、こういう札を」と、駅長が按配する。この札が何なのかは、あとの編で種明かしします。いまは、「改札を通ると、駅長の按配で、めいめいが札を持つ」とだけ覚えておいてください。

そして、ホームで、乗客たちは互いにわいわいおしゃべりします。

めいめいが、手にした札を見せ合いながら、「あなたは、わたしの探している相手ですか」と問い、相手の答えに耳を澄ます。誰の声を重く聞き、誰の声を軽く聞くか。それを、札を見比べて決めます。よく合う相手の言うことは、たっぷりと受け取る。あまり関わりのない相手の言うことは、ごくわずかに受け取る。

このおしゃべりは、わいわいと、一斉に行われます。みんなが同時にしゃべり、同時に聞いている。けれども、混乱は起きません。なぜなら、乗客はめいめい自分の座席番号を覚えているからです。「いま聞いているこの声は、一番の席の人の声」「これは、ずっと番号の大きい席の人の声」と、誰の声かをちゃんと分かったうえで聞いている。だから、いっせいにしゃべっても、だれの声かはわかっています。それは、座席番号が効いているのです。

さて、おしゃべりが済むと、乗客は、自分の姿を少しだけ変えます。

たとえば、ある乗客が、隣の乗客の言うことを重く受け取ったとします。すると、その乗客の姿に、相手から受け取ったものが、少しだけ加わります。ここが大切なのですが、入れ替わるのではありません。元の自分は、そのまま残っています。元の自分に、受け取った分を、ほんの少し「足す」のです。だから、姿は変わっても、その人が誰であるかは、変わりません。一番の席の人は、姿を変えても、やはり一番の席の人のままです。

姿を少し変え終えたら、乗客は、また自分の座席番号の席へ、順番通りに戻ります。そして、ゴンドラは、次の駅へ向かって登っていきます。

同じことが、駅ごとにくりかえされる

次の駅でも、同じことが起きます。乗客は降り、いくつもの改札をいっせいに通り、ホームでめいめいに耳を傾け合い、よく合う相手のものを多めに受け取って、自分の姿を少しだけ変え、また順番に席へ戻る。そして、次の駅へ。その次の駅でも、また同じ。

これを、百ほどの駅で、くりかえします。

一つの駅での変化は、ほんのわずかです。けれど、それが百回も積み重なると、乗客の姿は、最初とはずいぶん違ったものになっています。最初は、ただ自分のことしか知らなかった乗客が、駅を通るたびに、まわりの乗客のことを少しずつ吸い込んで、乗客全員のことを織り込んだような姿になっていく。麓ではばらばらだった乗客たちが、頂上へ近づくころには、互いに深く関わり合った姿になっているのです。

頂上で、いっせいに答え合わせをする

こうして、乗客たちは、百ほどの駅を通り抜け、とうとう頂上にたどり着きます。

頂上に着いたとき、乗客たちは、もう麓にいたころの姿ではありません。互いのことを深く吸い込んだ姿になっています。

さて、ここで答え合わせをするのですが、これが、ちょっと面白いやり方なのです。

ふつうに考えると、答え合わせは「隊列の最後の続き」一箇所だけで行うように思えます。「リス・うさぎ・しか・くま」まで来たら、次は「ツキノワ」だろう、と。けれど、訓練ではそうしません。一行を丸ごと積んでいるおかげで、もっと贅沢なことができます。

一人ひとりの乗客に、こう問うのです。「あなたと、あなたより先に並んだ乗客たちだけを見て、あなたの次に来るのは誰だと思うか」と。

たとえば、先頭の「リス」には、こう問います。「あなたまでを見て、次に来るのは誰だと思うか?」山が何と答えても、正解は、もう決まっています。この文章では、リスの次は、実際に「うさぎ」だったからです。「うさぎ」には、「リス・うさぎ、ここまでを見て、次は?」と問う。この文章での実際の続きは「しか」。「しか」には、「リス・うさぎ・しか、ここまでを見て、次は?」と問う。実際の続きは「くま」。こうして、乗客一人ひとりについて、「その人までを見たとき、この文章では実際に、次に誰が来ていたか」という正解が、ぜんぶ、その一行の中に、書いてある。だから、乗客の人数ぶんの答え合わせを、一回の登山で、いっぺんに採点できるのです。照らし合わせる正解は、どこか別の場所にある規則ではなく、いま登ったその文章の、実際の続きなのです。

大事なのは、どの乗客も、自分より後から来る乗客は見ない、ということです。「リス」は、まだ「うさぎ」を見ないまま、次を当てる。これは、先を知らずに次を予想する、本番と同じ条件で練習させるための、大事な決まりごとです。

一本の文章が、乗客の数だけの練習問題を兼ねている。これが、全員いっぺんに一回だけ登らせる、いちばんの旨みです。

山の予想が、ぴたりと当たっている乗客もいます。大きく外れている乗客もいます。外れていれば、「どの乗客のところで、どれだけ、どちらへ外れたか」が、頂上ではっきりします。

まだ訓練したての山は、もちろん、どの乗客についてもさんざん外します。駅長たちが、でたらめな按配で札を配っているのですから、当たるはずがありません。

乗客が、下り線で駅長を鍛える

【前編_二本の軌道の対比図】

【前編一駅断面図下り】

さあ、この「外れ」を、どうやって駅長たちの腕前の向上につなげるのか。ここで、乗客たちに、もう一仕事してもらいます。

頂上で答え合わせが済むと、乗客たちは、自分がどれだけ、どちらへ外れたかを、知ります。しかも、一人ひとりが、登ってくる途中の駅ごとに、「あの駅で受け取った札が、自分の外れにどう効いたか」まで、分かっています。

そこで、乗客たちは、こんどは山を降りていきます。ただし、降りるのは、特急の下り線ではありません。いま登ってきた上り線を、逆向きに、各駅停車でバックして降りていくのです。一駅ずつ、ていねいに停まりながら。

なぜ停まるのか。駅長を鍛えるためです。

停まった駅で、乗客たちは、その駅の駅長に、こう伝えます。「あなたが、さっきわたしに持たせたあの札。あの按配が、わたしの外れに、これだけ効いていました。だから、あなたの按配を、この方向へ、ほんの少しだけ直してください」と。

駅長は、その言葉を受けて、自分の札の按配を、ごくわずかに直します。次に似た乗客が来たときには、ほんの少しだけ、ましな札を持たせられるように。

乗客たちは、こうして駅から駅へと停まりながら、それぞれの駅長に、その駅での外れ情報を伝えて、麓まで降りていきます。どの駅長も、自分に届いた分だけ、自分の按配を直す。

これで、一本の登山が、終わりです。

そして、また次の、答えの分かった乗客たちが登ってくる。各駅の駅長は、さっきよりほんの少しましになった按配で、札を持たせる。また頂上で答え合わせをして、乗客たちが上り線を逆に降りながら、また駅長たちを少し直す。

これを、気の遠くなるほど、くりかえします。何万、何億、という登山を。

一回いっかいの直しは、ごくわずかです。けれど、それが途方もない回数くりかえされたあと、駅長たちの腕前は、見違えるほどのものになっています。どんな乗客の並びが来ても、ふさわしい札を、的確に持たせられるようになっている。

このとき、駅長たちが身につけたものを、これからは「流儀」と呼びましょう。「こういう乗客には、こう」という、その駅長ならではの、洗練された判断の癖です。長い訓練の果てに、駅長の体の奥深くに刻み込まれた腕前。一度こうして刻まれたら、もう、そうそう変わりません。そして、駅ごとに駅長は違いますから、駅ごとに流儀も違います。麓に近い駅と、頂上に近い駅とでは、札の持たせ方の癖が、まるで違うのです。

ここで、一つ、大事なことを申し添えておきます。もし、山が浴びた文章が、さっきの「リスうさぎしかくまツキノワ」の一行だけだったら、山は、この一行の続き方しか、知りません。ほかのどんな問いにも、まともに答えられない。ところが、実際に山が浴びるのは、一行や二行ではありません。何千億という、ありとあらゆる文章です。一つひとつの文章から、その文なりの続きやすさが刻まれ、それが、無数に、幾重にも、折り重なっていく。「リスの次はうさぎが来やすい」も、「ぼくは真面目にの次はしっかりが来やすい」も、みな、それぞれの文脈での傾きとして、山に積もっていくのです。

ですから、はじめに「森には、こういうお約束の順番がある」と言ったような、決まりごとが、どこかに一覧表として書かれているわけではありません。そんな一覧表は、どこにもない。あるのは、無数の文章から刻まれた、続きやすさの傾きの、途方もない積み重ねだけです。けれど、その積み重ねが、あまりに豊かに折り重なっているために、山は、初めて見る問いに対してさえ、「この並びなら、次はこれが来やすい」と、高い確からしさで、次の一人を選べるようになる。まるで、お約束を、あらかじめ知っているかのように。けれど、知っているのではありません。無数の文章から、ひとりでに、にじみ出てくるのです。

山が、賢くなりました。

できあがった山を、ただ使うとき

さて、ここからが、僕たちが実際にこの山を使うときの姿です。たとえば、僕たちが何か問いかけて、答えをもらうとき。

大事なことを、先に一つ。さきほど、訓練の上りで見た「駅の中の出来事」、つまり、乗客が降り、いくつもの改札をいっせいに通り、札を見せ合っておしゃべりし、姿を少し変えて、また席に戻る、あの一部始終は、訓練に特有のことではありません。できあがった山を使うときも、駅の中ではまったく同じことが起きます。違うのは、駅長たちの流儀が、もう仕上がっている、ということだけです。

こんどは、訓練で使った動物の隊列ではなく、別の乗客たちに登ってもらいましょう。たとえば、「ぼくは」「真面目」「に」という三人です。この三人が、乗客となってゴンドラに乗り、麓を出ます。

上り線を登ります。各駅で、乗客たちは降りておしゃべりし、姿を変えていく。けれど、もう訓練ではありません。駅長たちの流儀は、すっかり仕上がっています。だから、各駅の駅長は、ためらいなく、的確な札を持たせる。乗客たちは、その的確な札のおかげで、駅を追うごとに、みごとに関わり合った姿になっていきます。

頂上に着きます。山は、登ってきた乗客たちの並び、「ぼくは・真面目・に」を見て、次に来るべき乗客を見定めます。いくつもの候補が、それぞれの割合を持って、頂上に並びます。「働く」にいくらか、「取り組む」にいくらか。どれが選ばれるかは、この山が、どんな乗客たちの並びを吸ってきたか、その文脈しだいです。

たとえば、もしこの旅の乗客の並びに、どこかで「カブスカウト」が混じっていたら、どうでしょう。カブスカウトのおやくそくは、「ぼくは真面目にしっかりやります」でしたね。すると、頂上では、その文脈に響いて、「しっかり」という乗客の割合が、ぐっと高くなります。ほかの候補を押しのけて、いちばん高く立つ。こうして、頂上で「しっかり」が選ばれる。ここで大切なのは、「しっかり」は、いつでも選ばれるわけではない、ということです。カブスカウトという先客が並んでいたからこそ、その割合が高くなった。先に並んだ乗客が、次の一人を、手繰り寄せるのです。

訓練のときは、ここで答え合わせをして、乗客たちが上り線を逆に降りながら駅長を直しました。でも、いまは、直すものは何もありません。駅長はもう賢いのです。

だから、ゴンドラは、特急の下り線を、どの駅にも停まらず、まっすぐ麓まで滑り降ります。

なぜ降りるのか。頂上で「しっかり」が決まったとはいえ、その「しっかり」は、まだゴンドラに乗っていないからです。麓にいるのです。ゴンドラは、その新しい乗客を迎えに、大急ぎで麓まで降りる。そして麓で、「しっかり」を列の最後尾に乗せる。こんどは一人増えた乗客たち、「ぼくは・真面目・に・しっかり」を乗せて、また上り線を登り始めます。

ここで、一つ、面白いことがあります。「しっかり」は、いちど選ばれたら、もう引っ込めません。次の登山では、「しっかり」も含めた全員の並びを見て、次の一人が選ばれる。そして頂上で、こんどは「やり」が選ばれ、また降りて迎えて、「ます」が選ばれる。「しっかり」「やり」「ます」と、一人ずつ、順に決まっていく。ひとつの言葉のまとまりも、山にとっては、こうして一人ずつ、何度も登り降りしながら、書き継がれていくのです。いちど決まった乗客は動かさず、その上に、次の乗客を積んでいく。後戻りはありません。

同じ下り線でも、訓練のときと本番とでは、使い方がまるで違います。訓練のときは、乗客たちが上り線を逆に、各駅停車で、駅長を一人ずつ鍛えながら降りた。仕上がった山を使うときは、特急の下り線を、どこにも停まらず、直行で降りる。この下り方の違いこそが、「山を鍛えている」のか「できあがった山を、ただ使っている」のかの、いちばんの違いなのです。二本の軌道を用意したのは、この二つの場面を、はっきりと描き分けるためでした。

二度目からは、新しい一人だけが忙しい

【前編_タブレット図】

一人増えるたびに、また麓から登り直すなら、先に登った乗客たちは、毎回毎回、同じ駅で同じおしゃべりを、一からやり直すのでしょうか。「ぼくは」「真面目」「に」の三人は、「しっかり」が加わるたびに、また同じ駅で同じことを?

そうではありません。ここで、駅長のもう一つの持ち物が効いてきます。手元のタブレットです。

実は、駅長は、乗客が札を手にするたび、その札の控えを、自分のタブレットに書き留めていました。「この旅では、こういう乗客が来て、こういう札を見せた」と。

ですから、新しい「しっかり」が駅に着くと、駅長はタブレットを開いて、「ここに、先に通った三人の札の控えがある」と見せてあげる。「しっかり」は、その三人にあらためておしゃべりをしかけなくても、タブレットの控えを見るだけで、三人のことを受け取れる。そして、「しっかり」自身の札も、駅長がタブレットに書き足す。これで、控えは四人分になりました。

だから、二度目からは、たいてい、新しく決まった一人だけが、駅でおしゃべりに忙しいのです。先に通った乗客たちは、もう一度走らされずにすみます。彼らの札の控えが、各駅の駅長のタブレットに、ちゃんと残っているからです。タブレットは、一人増えるたびに、一行ずつ書き足されて、育っていきます。

このタブレットの控えは、その一続きの旅のあいだ、ずっと持ち越されます。そして、まったく別の新しい旅が始まるとき、つまり、別の話を、はじめから始めるとき、タブレットは、まっさらに戻ります。

駅長その人の流儀と、駅長のタブレットの控え。この二つは、似ているようで、まるで違うものです。流儀は、長い訓練で刻まれ、もう変わらない、駅長の腕前そのもの。タブレットの控えは、一つの旅のあいだだけ書き足されては、旅が終われば消える、その場かぎりの覚え書き。一方はずっと残り、一方は流れて消える。この違いは、覚えておいてください。次の話につながります。

主役は、ケーブルカーではなかった

ここまで眺めてきて、一つ、不思議なことに気づきます。

これだけケーブルカーの話をしてきたのに、肝心の賢さは、ケーブルカーのほうには無いのです。

ゴンドラは、一度きりの旅をするだけです。乗客を乗せて登り、降りて、また次の乗客を乗せる。乗客たちも、登っては去っていく。頂上で外れを伝えて駅長を鍛えた、あの乗客たちも、旅が終われば去っていく。タブレットの控えも、旅が終われば消えてしまう。動いているもの、流れていくものは、旅が終われば、みんな消えてしまうのです。

では、賢さは、どこにあるのか。

駅長たちの中にあります。正確には、駅長たちが身につけた、あの流儀の中に。

長い訓練で鍛えられ、駅から駅へと刻み込まれた、無数の流儀。それは、ゴンドラが去っても、乗客が去っても、その駅に、ずっと残っています。次の登山が来れば、また同じ流儀で、的確な札を持たせる。山に住み着いて、動かず、流れず、ただそこに在りつづける。

つまり、この風景の主役は、動くケーブルカーではありませんでした。駅があり、駅長がいて、それぞれの流儀が刻まれた、この、動かないお山のほうだったのです。

僕たちは、ついつい、目の前を走るケーブルカーに見とれてしまいます。問いかければ、すらすらと答えが返ってくる、あの鮮やかな動きに。けれど、その答えを本当に生んでいるのは、走るケーブルカーではなく、その背後で静かに在りつづける、賢い駅長たちの山なのです。

次の編へ

これで、風景は、ひととおり眺め終えました。

一つのゴンドラ。座席番号を覚えた乗客たち。いくつもの改札と、おしゃべり。元の自分に足すだけの、姿の変化。長い訓練と、上り線を逆に降りて駅長を鍛える乗客たち。駅ごとの駅長と、刻まれた流儀。札を控えるタブレット。頂上で決まる、次の乗客。特急で滑り降りて、新しい乗客を迎えるゴンドラ。そして、賢さの宿る、動かないお山。

ここまで、技術の言葉は、ほとんど使いませんでした。けれど、ここに出てきた風景の一つひとつは、実は、機械の中で起きていることに、きちんと対応しています。乗客とは何者なのか。改札のおしゃべりとは、どんな計算なのか。駅長の流儀とは、いったい何なのか。タブレットは。上り線を逆に降りて駅長を鍛える、あの下りは。

それを、次の編で、一つずつ種明かししていきます。そして、いちばん知りたいことにも、そこで答えます。これほど単純な風景から、なぜ、あれほど豊かな言葉が生まれてくるのか。その不思議の入口まで、ご一緒に行きましょう。