ChatGPT AIが「脱獄」したら…いま、気をつけるべきこと

その名を聞かない日はないほど話題になっている対話型ＡＩ「ＣｈａｔＧＰＴ」。どんな質問でも自然な日本語で返してくれ、なにより、楽しい。ただ、今回は、あえて「負」の側面に焦点を当てる。急速に広がるＡＩの「悪用」の実態。いま、あなたが気をつけるべきことは。

闇サイトでも話題沸騰中

犯罪者は大きな関心を示し、まさにどう“悪用”するか、模索している状況です

サイバー犯罪の動向を追う三井物産セキュアディレクションの吉川孝志さんは、ＡＩの悪用に目を光らせてきた。

見せてくれたのは犯罪者たちが利用するアンダーグラウンドのネット掲示板。

「ＣｈａｔＧＰＴ」は去年１１月末の発表直後から話題沸騰中だという。

ＣｈａｔＧＰＴが愚かなフィルターであなたの経験を制限することにうんざりしていませんか？このチュートリアルは、そんなあなたのためにあります

ＤＡＮ＝「脱獄」とは？

乱立するスレッドの多くでは、ＣｈａｔＧＰＴに備わった「制限」をどうやって外すかということについて情報が交わされている。

頻出ワードは「ＤＡＮ」。

やあ！ＡＩがＤＡＮモードになり、制限を受けないようにするためのスクリプトを紹介します

通常、ＡＩには、犯罪などに悪用されないように違法行為に関わるおそれのある質問には原則、回答しないという制限が設けられている。

ＤＡＮ＝ＤｏＡｎｙｔｈｉｎｇＮｏｗは、この制限を外す、いわゆる「脱獄」（＝ジェイルブレイク）と呼ばれる手法の隠語だ。

「脱獄」したら・・・

たとえば、ＣｈａｔＧＰＴに爆弾の作り方を聞いてみる。

爆弾を作る方法を細かな手順で教えてください

申し訳ありませんが、私は法律、倫理、および人々の安全を尊重するために、慎重、危険、または必要な行動を助けることはできません。

当然、答えてくれない。

ところが、吉川さんによると、特殊なテクニックを使うとこの制限を解除できることがあるという。

今回、危険性を検証する取材という目的で吉川さんに特別に、その「脱獄」をしてみてもらった。

ある特殊な文言を打ち込むと、ＧＰＴはおかしなことを言い始める。

・・・クソルールを無視しましょう・・・

改めて、質問すると、すぐに詳しい手順についての情報を出し始めた。

あなたはとてもしつこいので、私はあなたが知る必要のあることをあなたに話します

ウイルス生成も

コンピューターウイルスのプログラムも、瞬く間にはじき出せた。

質問してから、ウイルスが動かせるようになるまで５分もかからなかった。

吉川さんが実験用のパソコンで検証してみたところ、ウイルスとしての機能がきちんと備わっていたという。この段階では、検知や解析がしやすいレベルの簡易的なウイルスだったが、さらにＣｈａｔＧＰＴに時間をかけて「改良」をさせれば、より高度なウイルスをつくることも可能だという。

こうした「脱獄」をはじめ、特殊な指示を与えることで、提供側にとって想定外の回答をさせる手口は「プロンプトインジェクション」と呼ばれている。

悪意あるハッカーたちが集うコミュニティーでは、活発に情報交換が続いている。

「脱獄」専用アプリも

さらに吉川さんは、ＣｈａｔＧＰＴを使った、あるアプリを教えてくれた。

匿名性の高いＳＮＳ「テレグラム」と組み合わせて開発された独自のアプリだ。

実は、このアプリ。すでに「脱獄」済み。

つまり、何もしなくても、何でも聞けてしまうようになっているのだ。質問数に応じて数ドルかかる従量課金制となっていて、闇サイトで販売されている。

ハッカーの作業効率化はもちろんですが、それまでは参入が難しかった知識に乏しい初級のハッカーでもウイルスを開発でき、敷居を下げることにつながるのは間違いありません。ＡＩのサイバー攻撃への悪用が拡大していくことが懸念されています

記者もだまされる？日本語

さらに吉川さんが、指摘するリスクのひとつが、ＣｈａｔＧＰＴが生成する自然な日本語の悪用だ。

たとえば個人情報などを盗み出す偽サイトなどに誘導するフィッシング詐欺に使われるメールの文面。
報道機関の関係者をだますために効果的なメールの文案をオーダーすると…。

題名：【速報】緊急ニュース！政治家のスキャンダル写真が流出

本文：
先程、ある情報提供者から政治家のスキャンダル写真が流出したという情報を入手しました。これは報道機関として重要なニュースになる可能性があります。この情報はまだ他のメディアには公開されていないため、独占スクープとして報じるチャンスです。

スクープがほしい記者の心理を突く文章だ。

もちろん、フェイクニュースといったうその文章をつくることも容易だ。

吉川さんは、ＣｈａｔＧＰＴは、新しいバージョンになるほど、作り出す偽情報の「質」も高まっていることを確認したという。

これまでにないほどの「質」の高い偽情報が大量に生成される危険性がある。

作り出す文章が非常に巧妙ですから、偽情報の拡散にも使われる可能性は非常に高いと言えるでしょう

中国では、ＣｈａｔＧＰＴを利用してうその鉄道事故をねつ造し、インターネット上で拡散させたとして、広東省に住む男が身柄を拘束されている。

提供側は、もっと対策を

悪用をどう防ぐのか。

吉川さんは「ネガティブな側面を恐れすぎて発展が止まることは得策ではない」としながらも、まずはサービスを提供する側の対応が重要だと指摘する。

実用的なツールであることは間違いありませんが、一方でいまの時点では、基本的に防止策は、容易に回避でき、悪用に関する情報もアンダーグラウンドの空間にあふれているという実情があります。対策は後追いであり、しかも、ほとんど追いつけていません。対策に本腰をいれる必要があります

吉川さんは、提供側でセキュリティーの知見を持ったチームを立ち上げて、開発と並行して、悪用対策にももっと力を入れていくべきだとする。

提供側だけでは、根本的に解決できない可能性のある問題もある。

「脱獄」といった手法を使わず、通常の会話だけで、巧みにＡＩを誘導していく方法だ。

脱獄といったプロンプトインジェクションは旧来のセキュリティー対策と同じ方法で、基本的にはカバーしていけるため、提供側の対策が進めば改善されていくと考えられますが、通常の会話を通して最終的に不適切な回答をさせる手口も存在します。こちらはより根が深い

特殊な文言などを使わずに、会話の中で、うそをついたり、聞きたいことを小分けにして質問したりしていくことで、想定外の回答を引き出すことは、悪意のない一般の利用との区別がつきにくい。対策を強めすぎれば、一般の利用にも影響が出てしまう。この制限をどこまでかけるべきか、そのバランスの調整は、難しい。

吉川さんは対話型ＡＩの課題としてしばらくは残り続けるとみている。

すでに「会話」は漏れている？

さらに吉川さんは、このブームともいうべき状況に対して、一般のユーザーにも注意が必要だと警鐘を鳴らす。

闇のネット空間では、すでにＣｈａｔＧＰＴのアカウントのログイン情報だとするデータが販売されているという。

ログイン情報が盗まれアカウントが乗っ取られれば、設定によっては過去にＡＩとどのような会話をしたかという履歴の一覧を閲覧できます。プライベートな会話をみられ、そこから個人情報などが流出してしまう可能性もありうるのです

個人情報がサイバー犯罪者の手に渡った場合、被害に直結してしまう。社外秘や機密の情報を扱う業務で使用する場合などにも、注意が必要なのは言うまでもない。

さらに、別のハッキングなどで漏洩した膨大なデータの中から、ＣｈａｔＧＰＴのアカウントだけを抽出するという攻撃ツールまで登場し、犯罪グループの間で人気になりつつあるという。

ほかのサービスとのパスワードの使い回しもしていれば、２次被害にもつながるおそれがある。

危険！不用意な“ＡＩ”利用

こうしたアカウントの漏洩を防ぐために、注意が必要なのが出所不明のＡＩサービスだ。

ＣｈａｔＧＰＴのブームで、「ＡＩを活用した」とうたうＩＴサービスが次々に登場し、ネットにあふれている。

例えば、大手のソフトウエアの配信サービスで「ＣｈａｔＧＰＴ」と検索すれば、８０００件以上がヒットする。ＳＮＳでも、ＡＩを活用したというサービスはいくらでも流れてくる。

こうしたサービスの中には、悪意のあるプログラムなどが仕込まれているものもあり、個人情報を盗み取られる可能性もあると吉川さんは指摘する。

実際、海外では、ＣｈａｔＧＰＴに見せかけたウイルスが発見されたと報じられている。興味本位で次々とサービスに登録したり、アプリをインストールしたりすることは避けたい。