HQW! 新春対談（前編）： 「AIエージェントを誰が監視するのか」――シンギュラリティ到来前に考えるべきこと

——はじめに、日本ディープラーニング協会についてご紹介ください。

井﨑：日本ディープラーニング協会（以下、協会）は2017年6月に設立しました。元々は協会を作ろうというよりも、日本でディープラーニングに携わる人たちを増やしたい、そして関連ビジネスも活性化したいということが目的でした。

私は2015年にNVIDIAに入社したのですが、当時は日本でディープラーニングを生業にしている人はほとんどおらず、スタートアップでも3、4社程度だったことが背景にあります。

その頃からディープラーニングの第一人者だといわれていたのが、東京大学の松尾豊先生で、たまたま大学の同期だったものですから、親交を深める中で、人材育成や産業活性化が重要なテーマだとなりました。では、そのためにわれわれが何をすべきか1年ほど議論をした末、日本ディープラーニング協会が立ち上がったのです。

協会の最大の目的は「ディープラーニングを中心とする技術による日本の産業競争力の向上」。それを実現するには人材が必要だし、法規制などを含めて社会としての認知拡大や、行政の支援なども進めていきました。私自身は現在、政府とのリレーション構築を中心に活動しています。

松木：われわれのような一般人からすると、ディープラーニングという言葉を最初に見聞きしたのは「アルファ碁（AlphaGo）」の辺りでした。2016年にGoogle DeepMindが開発したプログラムが、世界トップ棋士に勝利したことで、AIが一気に脚光を浴びたと記憶しています。その後、2021年ごろにAI画像生成ツール「Midjourney」が盛り上がり、とどめが2022年のAIチャットボット「ChatGPT」の登場でした。ですから、2017年から既にそういった準備をされていたことに驚きました。

——日本ディープラーニング協会の特徴としてどのようなものがありますか？

井﨑：協会のアピールポイントとして、一つは検定事業があります。AI・ディープラーニングの活⽤リテラシー習得のための検定試験「G検定」、あるいはディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する「E資格」と呼ばれるもので、新しい技術が生まれてくるたびに、シラバスを改訂しながら試験を作っています。対象はエンジニアに限らず、あらゆるビジネスパーソンを想定しています。例えば、経営層であっても最新技術トレンドについて現場と同じ言語で話せるのはすごく重要だと感じているからです。

松木：この分野は非常に技術の移り変わりが早いですよね。DNN （Deep Neural Network：深層ニューラルネットワーク）から始まって、CNN （Convolutional Neural Network：畳み込みニューラルネットワーク）、Transformer（深層学習モデル）、そしてLLM （Large Language Model：大規模言語モデル）へと。ですから、こうした検定で世の中の動向をキャッチアップするのは大切だと思います。

——この流れで2025年を振り返っていただければ。世界のAI技術はどのように変化したのでしょうか？

松木：米マサチューセッツ工科大学（MIT）のNANDAプロジェクトが発行した「STATE OF AI IN BUSINESS 2025」というレポートによると、AI投資で成功している企業は全体の5%ぐらいだという結果が出ていました。実際、当社を含めてほとんどの企業では個人のちょっとした生産性向上でAIを活用することはあっても、経営レベルのインパクトまでには至っていない印象です。この原因はどこにあると思われますか？

井﨑：SaaSベースのツールなどで個人が業務改善するのはとても良いことで、そこからAIの使い方や感覚を理解していくわけです。大切なのは、その基盤ができた上で、自分の業務、あるいは自分たちのセクションで活用して成功事例を作る。するとこれが複数のグループ、さらには事業部、全社へと広がっていく。この段階が必要だと感じています。

経営層はAI導入によっていきなりROI（投資利益率）が短期的に上がると考えがちですが、AIはそう簡単にいかないケースもあります。だから経営層はそこに対して長期的に支援し、現場に権限を与えることが重要です。

もう一つ気になっているのは、AIの活用によって多くの方々は業務効率化を図ろうとしている点です。効率化は非常に良いのですが、コストが下がるとマーケットサイズがシュリンクして、経済効果として小さくなるんですよね。ですから、付加価値をどう創造するのかという視点を必ず持たなければなりません。初めは効率化でもいいですが、次のステップは「それに対してどういったバリューが生まれるか」を考える。そうすると、企業としての経済効果も上がっていくと思います。

松木：確かに、経営層はコスト削減や効率化に目が行きがちですね。バリュー創出までの長期的な視点を持つことがポイントになってくるというわけですが、一方で事業部門は日々のタスクに追われてバリューを考える余力がなかったりもします。そこはR&D（研究開発）部門や技術部門が支援しながらAIによるバリュー創出を積極的に仕掛けていくべきだと実感しています。

松木：AI技術動向に関して、もう1点お聞きしたいことがあります。チャットベースによるその場限りの利用だと、業務を覚えてくれないのが悩みの種です。つまり、これからは長期記憶の問題に必ずぶち当たるな、と思っています。

今、OpenAIであってもせいぜい1MB程度のコンテキスト量ですよね。長期記憶を担うのは基本的にRAG（Retrieval-Augmented Generation：検索拡張生成）になるのかなとも思うのですが、RetrieverやRerankerをうまく作らないといけません。AIの長期記憶はもっと容易にならないのでしょうか？

井﨑：われわれも「エージェントAI」に取り組む中、Reasoningモデルで丸ごと解釈するにしても、少なくともそのスレッドにおける記憶をどれだけ担保するのか、さらにパーソナライゼーションの話になってくると、非常に長い長期記憶を持たすためのメモリを積まなくてはならないと痛感しています。

最近、あるスタートアップ関係者と話していたら、常に自分のしゃべる言葉、つぶやきも全部録音し、ライフログとしてAIに取り込んでいるそうです。そうすると、自分の言葉が後で何かの発想として返ってくるとのことでした。相当な記憶媒体を持ってないと厳しいでしょうが、そういう世界がもしかしたら来るかもしれません。

現状だとAIエージェントは業務でしか使っていませんが、恐らく子ども世代やその先になると、生まれてから自分の相棒みたいなAIエージェントが存在する世界になるのではないでしょうか。そうした観点でも長期記憶はこれからすごく重要になってくると思います。

——2027年には「シンギュラリティ」が到来するのではないかという予測もあります。現在はどういう状況だと捉えていますか？

井﨑：特にAIエージェントができてから、今までの自動化から自律化へとどんどん進化しています。まだ完全に自律化できているフェーズではありませんが、部分的には確立しているという認識です。

問題は、人間がそこに追い付いてないことです。AIエージェントの進化スピードに対して人間は付いていけないため、気が付いたらAIエージェントを制御しにくくなってしまう可能性も否定できません。だからこそ、同時にガバナンスの整備が重要になります。

従って、AIのガバナンスや成長コントロールは今後、技術的にも必要になってくるでしょう。2025年には日本で「AI新法」が策定されるなど、政府やガバナンス団体の動きが活発化しています。AIの不適切な挙動を放置せず、人間ときちんと共生していくような社会をどう実現するか、そうした議論が起きています。

松木：ベリサーブはソフトウェアの安心と安全を作る会社です。AIもソフトウェアの一部ですので、AIエージェントの安心・安全をどう担保するか、まさにそれに向けた技術開発をしているところです。

そうした中で、われわれがAIエージェントにガバナンスを効かせるために着目しているのが「軌跡」です。マルチエージェントであれば、どういう判断をして、誰に振って、どんな働きをして返してきたか。このログのような軌跡が適切であるか、無駄がないか。そういった観点で品質を確保していこうというアプローチを開発しています。

なお、私はシンギュラリティに到達するまでのルートとして、LLMのように量を打ち込むことによって性能が上がるルートと、AIエージェントが人間の業務を覚えていけばいずれAGI（Artificial General Intelligence：汎用人工知能）になるというルートの二つがあるような気がしています。今はまだ人間がAIをキックしていますが、恐らくはAIがずっと業務をしていて、分からないところだけ人間に聞いてくる、この逆転現象が起きるのではないかと考えています。

井﨑：自律化の先はそうなるでしょうね。テキストによるプロンプト入力が常に全てではないし、入力方法は時には音声や画像かもしれない。さまざまな状況の中でAIが判断するようになれば、本当の意味での自律化がなされるのではないでしょうか。

松木：ただ、無数の業務をAIエージェントが自律的にこなすようになったら、今度はこのエージェント群に対する統制をかけなければならないですよね。

井﨑：今、マルチエージェントの中でオーケストレーション*1するAIエージェントはかなり出てきていますが、それらを監視するエージェントが必要になるはずです。そうすると、人間はこの監視エージェントを元に「ここまでは担保する」といった話ができるのではないかと思います。

＊1： 複数のシステムや処理を連携させ、全体を自動的かつ効率的に制御する仕組み。

松木：企業の組織図とまったく同じですね。取締役の横並びに監査委員会があるような。

——日本語は非常に特殊だといわれていますが、日本固有のAIができる可能性はあるのでしょうか？

松木：べき論で言うと、日本語で思考すべきと思います。言語と思考、そこから生まれる文化はつながっているのではないかと考えます。

井﨑：もちろん、日本語のデータを使って学習させる取り組みは行われています。ネットワークのアーキテクチャを特別なものにする必要があるかは分かりませんが、少なくとも日本語のデータを使って学習させないと、日本の文化や慣習を語れないのは間違いない。だからソブリンAI*2が重要だというわけです。

＊2： データやAIを自国の法律・管理下で運用し、主権と安全性を確保する考え方

松木：現在、日本が世界的に強い分野であるIPを生み出しているベースにあるのは文化ですから、それを生み出す力が将来的に損なわれていくのは避けたいですね。

井﨑：そうですね。そういった意味でソブリンAIのモデルは日本国内で守らなくてはならないし、データを外部に出さない方がいいというのは間違いないです。

松木：先ほども触れた、ベリサーブが作りたい安心・安全というのは、日本の皆さんが安心して気持ち良く過ごせるためのソフトウェアとAI社会に対するものです。ここは根本的に重要なことだと認識しています。

（後編に続く）