はじめに
僕たちは、ChatGPT や Claude のような大規模言語モデル、いわゆる LLM を、日常的に使うようになりました。
これまでの検索に比べて、とても便利です。チャットに文章を入れると、しばらくして、極めて流暢な返事が返ってきます。ふだん使っている言葉で、やり取りができる。
向こう側に人がいて、自在に応えてくれているようです。流暢すぎるくらいに。調子よく相槌を打つし、こちらの意見にも同意してくれます。
親切です。気が利いています。
ところが、ときには、もっともらしい顔で、事実でないことを語ります。そして巷では、「AI は嘘をつくから気をつけろ」などと言われます。
あまりの流暢さに、「なんとなく怖い」「賢すぎて不気味だ」と感じる人もいます。その感覚は、むしろ自然なものでしょう。
ですが、「最近の AI は凄いもんだねえ」で終わってしまって、良いものでしょうか。
僕は、「何故だろう」という思いが、長いあいだ、ぬぐえないでいました。
その「何故」を思わない人もいるようですが、それで良いのでしょうか。
仕事で AI を使っている人なら、会社のシステム部門や専門家から、ある程度の説明を受ける機会が、あるかもしれません。
けれど、学生や、仕事を離れたシニアの人たちは、AI について、互いに感心したり、警戒したりするところで、止まってしまいがちです。
それ以上、機械の中で何が起きているのかを知る機会は、意外に、少ないのです。
世の中には、さわりだけ、「AIは次の言葉を選んでいるんだ」と解説してくれる人もいます。ですが、よく分からないまま、それを鵜呑みにしてしまう。それで良いのでしょうか。
何が何だか分からないまま、AI の危険性を大真面目に論じることは、僕には、できませんでした。
少なくとも、電気がなぜ起こるのか、蒸気機関がなぜ動くのか、それを納得する程度には、この機械の中で何が起きているのかを、知りたかったのです。
その思いで、僕はこれまで、いろいろな論文を読み、NICTの専門家も訪ね、自分でも試したり、勉強してきました（注１）。
そうこうしているうちに、人に説明する機会もありました。きちんと説明したつもりでも、なかなか分かってもらえず、困っていました。
自分が理解したことを技術的に正確に、しかし誰にでも届く言葉で説明するには、どうしたらよいのか。
うまく説明できないのは、技術の言葉を、日常の言葉へ翻訳する力が、足りないのだろうと思います。
だから、比喩を入口にしながら、最後は実際の計算へ降りていく、そういう道筋を作ってみたいと思いました。
ケーブルカー
その入口として用意したのが、山を登る、一台のケーブルカーです。
ある山に、ケーブルカーが通っています。乗客を乗せて、麓から山頂へ、ゆっくりと登っていく。
途中には、たくさんの駅があります。
乗客たちは、駅に着くたびに、いったん降りて、何やら言葉を交わし、また乗り込み、次の駅へと登っていく。
そして山頂で、何かが起こる。これが、LLM の正体である Transformer という機構を、僕なりに描いてみた風景です。
このたとえ話を進めていくと、不思議なことに気づきます。
主役は、動いているケーブルカーのほうではないらしい。
どうやら、駅を連ねて、じっと動かずにそびえている、山のほうが主役らしいのです。なぜ、走る乗り物ではなく、動かない山が主役なのか。その問いの答えこそ、この風景のいちばんの見どころなのですが、それは、本編でゆっくりお話しします。
この記事は、この「はじめに」に続き、前篇、後篇の、三つでできています。
前篇は、いま見ていただいた、ケーブルカーのたとえ話だけで進みます。
前篇では技術の言葉はできるだけ使わないようにしています。
乗客が駅で何をするのか、山に何が起きているのか、そして、僕たちが文章を学ばせるとき（学習）と、問いかけて答えをもらうとき（推論）とで、ケーブルカーの二本の軌道が、どう使い分けられるのか。
それを、ただの風景として、眺めていただきます。
この段階では、意味が分からないかもしれません。でも、絵で、ストーリーを思い浮かべてください。
後篇は、その風景の一つひとつが、機械の中の何にあたるのかを、説明していきます。
一つの駅を実際に覗いてみて、駅で交わされていた言葉のやり取りが、ほんとうは、どんな計算なのかを、
僕が書いて動かしたプログラムと、簡単な数字の例で、確かめます。
出てくるのは、電卓で追えるほどの、掛け算と足し算が中心です。魔法など、どこにもない計算がそこでおこなわれていることがわかります（注２）。
そして、この二篇を通して、僕がいちばん問いたいのは、こういうことです。
これほど単純な仕組みから、なぜ、あれほど豊かな言葉が生まれてくるのか。
なぜ、AI は調子よく相槌を打つのか。なぜ、もっともらしく間違えるのか。なぜ、単なる機械仕掛けとも、魔法とも、言い切れないのか。
これは、その問いに近づくための、僕の、のろのろした歩みを見ていただこうとして書いたものです。
山を登る一台のケーブルカー、駅で言葉を交わす乗客たち、そして、無数の登山によって、静かに賢くなっていく山。
この風景を一度、懐に入れてから、改めて AI の返事を眺める。すると、その不思議さの感じ方が、少しだけ、変わる。
注1
僕は、LLMの基本構造をこのように（ここで公開するように）理解しているのですが、それでも、なぜこれほど自然な言葉を、論理も情緒もこめて生み出せるのか、僕には、不思議でしょうがありません。
仕組みそのものは、本編で見るとおり、驚くほど単純です。
なのに、ChatGPT や Claude を使っていると、その単純な仕組みが、ここまでのことを仕上げてしまう。この不思議については、ケーブルカーによる理解の、さらに彼方に、広がる世界があります。LLMを作っている人たちにも、その神髄がわからず、様々な研究がなされています。
僕は、当然、そこまでは、入り込めないでしょう。それでも、この山にだけは、登ってみた、ということです。
注2
この LLM の中核にある仕組みは、Transformer と呼ばれます。
その原型は、2017 年に発表された “Attention Is All You Need” という論文で、広く知られるようになりました。
僕は、この論文の説明を、できるだけ忠実にたどり、実際にプログラムとして動かしてみました。
そのコードは、僕の GitHub リポジトリに置いてあります。
しかし、この分野に親しみのない人にとって、そのコードや専門的な解説は、おそらく、極めて不可解なものでしょう。
この記事は、それを、一つの風景として眺めてみよう、という試みです。