図表1：大量の画像や文章のデータから確率分布を学習し、条件に近いデータをサンプリングして文章や画像を生成する

・データの確率分布の学習

確率分布の学習は以下のプロセスで行われます。

学習用データ+学習モデル+学習アルゴリズム→学習済みモデル

図表2は、「摂氏の温度を華氏の温度に変換するプログラム」の作成を基にした、確率分布の学習例です。「学習用データ」は摂氏を横軸（x）、華氏を縦軸(y)としてデータをプロットしたものです。次に「学習用モデル」ですが、ここではデータが直線に乗っているので「y=A*x+B+ε」という一次式をモデルとして使っています。そして、この式のパラメータであるAやBをデータに合わせて一番良い値に調節するのが「学習アルゴリズム」です。

こうして得られるのが右側の「学習済みモデル」で、直線の両側にデータが分布し、直線から離れるほどデータは出にくくなり、直線の上が一番出やすいという確率分布を学習したことになります。この学習済みモデルによって、新しいデータのサンプリングができるようになります。

丸山宏氏の機械学習利用促進勉強会資料を基に一部改変
図表2：「学習済みモデル」を得ることで新しいデータのサンプリングができる

・ディープニューラルネットワーク

ただし、ここで例示した確率分布で生成できるのは、xとy という2次元のごく単純なデータです。画像や文章の生成では、例えば100万画素の画像を生成する場合は100万次元となり、確率分布も非常に複雑になるため、学習は不可能と思われていました。これを打破したのがディープニューラルネットワークで、生成AIの実現に大きく貢献することになりました。

ディープニューラルネットワークは、人間の脳にある「ニューロン」と呼ばれる神経細胞をモデル化し、ネットワーク上で大量につないだ回路です。ニューロンには接続部分に全部パラメータが付いていて、例えば100万個のニューロンがあれば、パラメータの総数は数億個になります。これにより、大量のデータに対応する学習モデルを作ることができ、複雑な確率分布の学習が可能になりました。（図表3）

図表3：ディープニューラルネットワークにより複雑な確率分布の学習が可能になる

Mikolov+: Linguistic Regularities in Continuous Space Word Representations, NAACL 2013 を基に一部改変
図表4：「意味の分散表現（埋め込み表現）」では、ベクトル間の距離や位置関係から単語の意味を表現できる

・Transformerによるブレイクスルー

「Transformer」は文章生成AIに不可欠な大規模言語モデル（Large language Model=LLM）を実現するきっかけとなった技術です。元々は翻訳用に考案されたもので、例えば英語の文章を入力すると、それに対応する日本語の文章を1単語ずつ生成することができます。図表5は、そのアーキテクチャで、入力した文章を意味を表すベクトルに変換するのが左側のエンコーダ部分、その意味を日本語の文章にするのが右側のデコーダ部分です。

Vaswani+: Attention is all you need, arXiv: 1706.03762 を基に一部改変
図表5：英語の文章を入力すると、左側のエンコーダ部分で意味に変換し、右側のデコーダ部分で日本語の文章にする

Transformerの大きな特徴は、「アテンション（注意）」と呼ばれる機構です。画像の認識でよく使われるのは「畳み込みニューラルネットワーク」というもので、あるニューロンはその近くのニューロンだけから入力を受けます。一方、文章では長距離依存があり、かなり前の単語も見る必要があるため、全部のニューロンから入力を受けます。この時、現在の処理に必要な情報に「注意を向ける」のがアテンションで、それ自体も学習することができるため、文章を適切に処理することが可能になっています。（図表6）

図表6：現在の処理に必要な情報に注意を向けて文章を適切に処理することが可能

図表7は、文章生成 AI の処理の様子で、左のエンコーダで英語の文章を意味表現に変換します。この意味表現と、今まで生成した「英国の首都は」までを使って次の単語である「ロンドン」を予測してサンプリングするという形で、1単語ずつ順番に文章を生成していきます。

岡崎直観：ChatGPT の驚異と脅威、資料https://speakerdeck.com/chokkan/20230327_riken_llmを基に一部改変
図表7：1単語ずつ順番にサンプリングして文脈に追加していく

・タスクの指定

何をして欲しいかを明示します。

・役割の指定

「あなたは優秀な数学者です」のような役割を与えます。

・出力形式の指定

「箇条書きで」「表形式で」など、こういう形の回答が欲しいということを伝えます。

・生成時の注意事項

「ステップごとに出力してください」など。最近では「深呼吸してください」と入力すると性能が上がるという研究もあります。

・1度で答えてもらおうとせずに、質問を何回かに分けて対話的に進める

こうすると、前の答えを使って間違いを指摘し、より良い回答を求めることもできるようになります。

・複雑な論理的推論や計算は苦手

例えば、膨大な桁数の掛け算をさせると一見それらしい答えは出すのですが、実際に計算してみると間違っていることがあります。これは人間と同様で、ChatGPTに計算機のような外部システムを利用させれば対処可能です。

・もっともらしい答えが間違っていることも多い

この問題に対しては、検索やファクトチェックとの組み合わせが行われています。ただ、インターネット上にAIが作ったコンテンツがあふれてくると、検索結果も間違っている可能性が増えていくので、最終的には正確性が保証されたよりどころとなるものを用意する必要があるかもしれません。

・学習や推論に大きなコストがかかる

膨大な電力消費は早急に対処すべき課題で、モデルをできるだけコンパクトにして、計算に必要なエネルギーを減らす研究が行われています。

・モデルが非公開

ライセンス独占されているという問題に対しては、オープンソースの学習モデルやデータの公開が始まり、利用が可能になってきています。

・学習データや生成物の著作権、プライバシーに関する懸念

著作権の扱い方や元データの権利者への還元方法などについて、世界的なルールの制定が検討されています。

・性能の評価が困難

性能評価の明確な基準の制定に向け、自然言語の処理や言葉の意味理解、推論・問題解決などに対する ベンチマーク課題の整備が進められています。また、弁護士や医師の国家試験など、人間の試験を使った評価も行われているほか、最近では「Language Model Evaluation Harness」という、多くのベンチマーク課題を集めたものも公開されています

・ファインチューニング（転移学習、追加学習）

解きたい問題に合わせたデータを用意し、追加の学習を実施します。

・プロンプトによるチューニング

プロンプトにコマンドを書き込んだり、文中に例を示したりといった工夫をします。プロンプトがプログラミングのようなものになっているわけです。

・アライメント

人の嗜好や社会規範に沿った答えを出すように調整します。

・外部システムの利用・連携

例えば、プラグインを使うことで、LLMあるいはChatシステムから検索や予約サイトなどが外部システムを利用することができます。

・複数モデルの組み合わせ

ChatGPT同士を議論させることで、より良い結論を出させる研究も行われています。

・全社的導入の例

例えば、パナソニック コネクト社では、2023年3月から全社員向けのAIアシスタントサービスを導入していて、6月にはその利用法を公開しています。質問・プログラミング・文書生成・翻訳などにおける利用の割合や、社員による評価なども公表しています。

ConnectAI活用実績と今後の戦略 記者説明会
https://connect.panasonic.com/jp-ja/newsroom/pr-20230628-01

・自治体での利用例

横須賀市では、2023年4月からChatGPTの全庁的な実証利用を開始し、6月には職員に対して実施したアンケート結果を公表しています。

ChatGPT活用実証結果報告
https://www.city.yokosuka.kanagawa.jp/0835/nagekomi/documents/yokosuka-chatgpt-2-houkoku.pdf