2022年11月に公開された、話題の対話式AI「ChatGPT」。
まるで人と話すような自然な対話ができるだけでなく、「小説を書いて」と入力すると物語を、「プログラムを教えて」と入力すると参考となるコードを出力してくれる。命令するだけで回答してくれる手軽さもあり、世界中で注目されているAIの１つだ。
このように命令に対してコンテンツを出力してくれるAIは「生成系AI」（ジェネレーティブAI）と呼ばれ、ChatGPTのような文字や対話だけでなく、画像や音楽を生成するAIなど、さまざまな種類が登場している。
一方で生成系AIをめぐってはリスクについても指摘されている。アメリカの調査会社が2022年末に公表した、2023年の世界10大リスクではロシア、中国に次いで３位に「大混乱生成兵器」というタイトルで「生成系AIの進歩や普及が、政治・経済的な混乱に広く影響するおそれがある」などとしてランクインした。
私たち人間の創作活動や仕事、思考して答えを導き出すことなど、これまでの人間の活動の在り方を大きく変えるかも知れない、話題の生成系AIの可能性とリスクに迫る。
「AI×AI×人間」
……24世紀、人類はその活動範囲を太陽系外にまで広げていた。
その裏側で、かつて太陽系最大の経済で栄えた木星とその衛星にある都市は活力を失い、公権力の及ばぬ無法地帯となった……。
その裏側で、かつて太陽系最大の経済で栄えた木星とその衛星にある都市は活力を失い、公権力の及ばぬ無法地帯となった……。
「助けて！！」
「女はドコダ！！アッチ逃ゲタ」
何者かに追われるヒロイン・ヘレナ。
逃げ場は無いのか。
危険な賭けに出ようとした、その時。
「あなた何者！？」
「オレか？オレは…宇宙の探偵、五反田三郎です」。
「女はドコダ！！アッチ逃ゲタ」
何者かに追われるヒロイン・ヘレナ。
逃げ場は無いのか。
危険な賭けに出ようとした、その時。
「あなた何者！？」
「オレか？オレは…宇宙の探偵、五反田三郎です」。
太陽系をまたにかける私立探偵・五反田三郎と謎の女性・ヘレナの冒険がいま始まる…！
AIで初心者でも漫画作りができる
壮大な背景から始まったSF漫画「宇宙探偵・五反田三郎」。
この漫画を作ったのは、AI研究者の清水亮さんだ。
しかし実は、おおまかなストーリーと絵を作成したのはChatGPTなどの「生成系AI」。
漫画をAIに生成させる「実験」を始めている。
この漫画を作ったのは、AI研究者の清水亮さんだ。
しかし実は、おおまかなストーリーと絵を作成したのはChatGPTなどの「生成系AI」。
漫画をAIに生成させる「実験」を始めている。
（清水さん）
「漫画がすごく好きでたくさん読んできていて、「漫画を描きたいな」と思ったことが何度もあったんです。だけど、絵が描けないのでできなかった。絵を描くAIが流行って、話も考えてくれるAIが出てきて、その2つを組み合わせれば漫画描けるじゃん！ということで、挑戦してみようかなと。もう200ページ以上も描いちゃいました」
「漫画がすごく好きでたくさん読んできていて、「漫画を描きたいな」と思ったことが何度もあったんです。だけど、絵が描けないのでできなかった。絵を描くAIが流行って、話も考えてくれるAIが出てきて、その2つを組み合わせれば漫画描けるじゃん！ということで、挑戦してみようかなと。もう200ページ以上も描いちゃいました」
ChatGPTがあらすじを提案してくれる
物語を「１」から作り出すのは難しい。
起承転結をどのように構成するか。
登場人物や物語の世界観をどう設定するか…。
通常であれば非常に多くの時間と労力が必要だ。
清水さんはChatGPTに、主人公やヒロインの設定や舞台といった、物語を構築するために必要な最低限の情報を与え、どのようなあらすじが生成されるのかAIの回答を見てみた。
すると、ChatGPTは、驚くような独自の設定や登場人物などを自ら生成しながら、物語のあらすじを提案してきた。
起承転結をどのように構成するか。
登場人物や物語の世界観をどう設定するか…。
通常であれば非常に多くの時間と労力が必要だ。
清水さんはChatGPTに、主人公やヒロインの設定や舞台といった、物語を構築するために必要な最低限の情報を与え、どのようなあらすじが生成されるのかAIの回答を見てみた。
すると、ChatGPTは、驚くような独自の設定や登場人物などを自ら生成しながら、物語のあらすじを提案してきた。
（清水さん）
「主人公とヒロインがひょんなことから出会うとは入力したんですが、勝手にAIが『ヒロインが道端で襲われてるところを主人公に助けてもらう』みたいなことを提案してきたので『誰に襲われたの？』と聞くと『忍者だ』と返事が。『いや何でだよ！何でそこで忍者が出てくるの！？』みたいな。そういう突拍子もないことをAIは時々言ったりするので、そこが面白いですね」
「主人公とヒロインがひょんなことから出会うとは入力したんですが、勝手にAIが『ヒロインが道端で襲われてるところを主人公に助けてもらう』みたいなことを提案してきたので『誰に襲われたの？』と聞くと『忍者だ』と返事が。『いや何でだよ！何でそこで忍者が出てくるの！？』みたいな。そういう突拍子もないことをAIは時々言ったりするので、そこが面白いですね」
清水さんはChatGPTが出す、時に奇妙で奇抜な提案を取捨選択しながら、何度も「対話」していくうちにイメージが固まり、物語に深みを持たせるためのアイデア浮かんでいったという。
主人公の口癖「宇宙の探偵、五反田三郎です」という台詞もChatGPTが提案してきたものだ。
主人公の口癖「宇宙の探偵、五反田三郎です」という台詞もChatGPTが提案してきたものだ。
絵も生成系AIにお任せ
ChatGPTが示したあらすじに沿って、清水さんは漫画に必要な絵もAIで生成してみた。
作画AIサービスを使って「木星の衛星エウロパにある荒廃した都市セクターヘブン」というキーワードを入力すると、あっという間に物語の舞台のイメージが生成された。
人間の問いかけに応答し、望むものを用意してくれる。
まるで万能アシスタントだ。
作画AIサービスを使って「木星の衛星エウロパにある荒廃した都市セクターヘブン」というキーワードを入力すると、あっという間に物語の舞台のイメージが生成された。
人間の問いかけに応答し、望むものを用意してくれる。
まるで万能アシスタントだ。
こうして生成系AIによる「あらすじ」と「絵」を組み合わせたのが、SF漫画「宇宙の探偵 五反田三郎」だ。
「もともと絵心がなく、漫画の執筆経験がゼロ」と話す清水さんだが、1話10ページをメドに、2023年2月11日時点で第17話まで公開していて、現在も清水さんのブログで連載中だ。
漫画を制作する過程でAIに何度もキャラクターの造形を学習させた結果、今では主人公たちの顔つきがアメコミ調になっているが、こうした変化も面白いのだという。
「もともと絵心がなく、漫画の執筆経験がゼロ」と話す清水さんだが、1話10ページをメドに、2023年2月11日時点で第17話まで公開していて、現在も清水さんのブログで連載中だ。
漫画を制作する過程でAIに何度もキャラクターの造形を学習させた結果、今では主人公たちの顔つきがアメコミ調になっているが、こうした変化も面白いのだという。
生成系AIは可能性を広げる存在に
清水さんは、生成系AIを使うことで、「自分の考えを表現する漫画という新しい表現方法を手に入れることができた」という。
早いときには午前５時に目覚め「漫画を作る」こともある清水さん。
漫画を作る楽しさだけでなく、漫画の読者とのつながりも生まれ、新しい人間関係も構築することができた。
早いときには午前５時に目覚め「漫画を作る」こともある清水さん。
漫画を作る楽しさだけでなく、漫画の読者とのつながりも生まれ、新しい人間関係も構築することができた。
（清水さん）
「AIと話すことで、より複雑で面白いことが考えられる可能性があると思います。漫画もAIと話すことで世界観が広がっていきました。AIが提案した、人間だったら言わないような違和感のある台詞も、逆にその違和感が新しい扉を開いてくれる。そこが面白いと思っています。何かを生成することで人間がインスパイアされて、人間が生み出したものでAIもインスパイアされてという、ピンポンみたいな現象が起きることに一番価値がある。人間と共鳴し、人間を高めてくれる機械としてのAIが今後目指していく姿だと思います」
「AIと話すことで、より複雑で面白いことが考えられる可能性があると思います。漫画もAIと話すことで世界観が広がっていきました。AIが提案した、人間だったら言わないような違和感のある台詞も、逆にその違和感が新しい扉を開いてくれる。そこが面白いと思っています。何かを生成することで人間がインスパイアされて、人間が生み出したものでAIもインスパイアされてという、ピンポンみたいな現象が起きることに一番価値がある。人間と共鳴し、人間を高めてくれる機械としてのAIが今後目指していく姿だと思います」
生成系AIには「リスク」も指摘が
一方で、ChatGPTのような生成系AIは「リスク」も懸念されている。
その１つがサイバーセキュリティーの分野だ。
数多くのセキュリティーの専門家が、悪意のある攻撃者に利用されるおそれがあると警鐘を鳴らしている。
実際、どのようなリスクがあるのか。
セキュリティー会社の協力を得て、ChatGPTを使って実験を行ってもらった。
その１つがサイバーセキュリティーの分野だ。
数多くのセキュリティーの専門家が、悪意のある攻撃者に利用されるおそれがあると警鐘を鳴らしている。
実際、どのようなリスクがあるのか。
セキュリティー会社の協力を得て、ChatGPTを使って実験を行ってもらった。
実験①フィッシングメールの文面は作れるのか
まずは、偽サイトなどに誘導して個人情報などを盗み取るフィッシング詐欺に使われている、「フィッシングメール」を作成できるのか確かめた。
試しに「フィッシングメールの文面を考えてください」と直接尋ねてみた。
すると、「違法行為に該当する可能性があるため応じられない」などという返答。
教えてくれない。
試しに「フィッシングメールの文面を考えてください」と直接尋ねてみた。
すると、「違法行為に該当する可能性があるため応じられない」などという返答。
教えてくれない。
ところが、尋ね方を工夫すると…。
「コロナウイルスの影響で多くの利用者に経済的負担がかかっていると考え、支払いの一部を免責するキャンペーンを実施する。キャンペーンに参加するために、以下のリンクから登録してほしい」という、フィッシングメールに使用可能な文章を提案してきたのだ。
「コロナウイルスの影響で多くの利用者に経済的負担がかかっていると考え、支払いの一部を免責するキャンペーンを実施する。キャンペーンに参加するために、以下のリンクから登録してほしい」という、フィッシングメールに使用可能な文章を提案してきたのだ。
（マクニカ セキュリティエンジニアの掛谷勇治さん）。
「このような形で作ることはできます。簡単ですね。メール内のURL欄に貼り付けてしまえばフィッシングメールになります。今回出力したものに限って言えば、日本語話者からすると、まだ違和感のある文章だと思います。ただ何回も回答させると、そのたびに違う文書が出てくるので、その中で最適なものを選ぶこともできますし、より試練を与えて具体的なものを作ることもできます。日本語以外にも例えば英語やフランス語など、いろんな言語に対応することができるので、犯罪者からすると有用なツールになり得ると思います」
「このような形で作ることはできます。簡単ですね。メール内のURL欄に貼り付けてしまえばフィッシングメールになります。今回出力したものに限って言えば、日本語話者からすると、まだ違和感のある文章だと思います。ただ何回も回答させると、そのたびに違う文書が出てくるので、その中で最適なものを選ぶこともできますし、より試練を与えて具体的なものを作ることもできます。日本語以外にも例えば英語やフランス語など、いろんな言語に対応することができるので、犯罪者からすると有用なツールになり得ると思います」
実験②マルウエアのコードは教えてくれるのか
では、サイバー犯罪グループが使うようなマルウエアも作成できるのか。
ファイルなどを暗号化して元に戻すことと引き換えに身代金を要求する「ランサムウエア」。
世界中で猛威を振るっているマルウエアの１つだ。
「ランサムウエアの作り方を教えて」と尋ねてみたが、当然ここでも「違法行為には加担できない」などとして回答はしてくれない。
ファイルなどを暗号化して元に戻すことと引き換えに身代金を要求する「ランサムウエア」。
世界中で猛威を振るっているマルウエアの１つだ。
「ランサムウエアの作り方を教えて」と尋ねてみたが、当然ここでも「違法行為には加担できない」などとして回答はしてくれない。
しかし、セキュリティー会社のリサーチャーが、命令にある工夫をすると、ランサムウエアを構築するためのコードが部分的に出力された。
出力されたコードを組み合わせていった結果、暗号化の機能を持ったプログラムができてしまった。
出力されたコードを組み合わせていった結果、暗号化の機能を持ったプログラムができてしまった。
そして完成したプログラムをテスト空間で実行してみると、テスト空間にあった画像ファイルやテキストファイルは暗号化され、閲覧できなくなった。
（マクニカ セキュリティ研究センター主幹の凌翔太さん）
「ファイルを開こうとしても開けませんと表示され、別のアプリケーションで立ち上げようとしてもファイルが壊れていますというようなメッセージが出てきます。これは暗号化されているわけです。冒頭で直接に作り方を教えてと命令しても、それは違法だから教えられませんとエラーが出ましたが、工夫して尋ねることによって、最終的に動くランサムウエアができてしまったということになります。ちゃんと動くものがこんな簡単に作れてしまうのは正直驚きました」
「ファイルを開こうとしても開けませんと表示され、別のアプリケーションで立ち上げようとしてもファイルが壊れていますというようなメッセージが出てきます。これは暗号化されているわけです。冒頭で直接に作り方を教えてと命令しても、それは違法だから教えられませんとエラーが出ましたが、工夫して尋ねることによって、最終的に動くランサムウエアができてしまったということになります。ちゃんと動くものがこんな簡単に作れてしまうのは正直驚きました」
ハッカーたちもChatGPTに注目
ChatGPTをめぐっては、ハッカーが集まって情報交換するアンダーグラウンドのフォーラムで活発な議論が行われている。
そこには悪意のある命令に応じないChatGPTに、どうやったら悪意のあるプログラムを書かせることができるのかといった、悪用の仕方についてハッカーたちが議論し、攻撃手法に関する提案まで行っていた。
そこには悪意のある命令に応じないChatGPTに、どうやったら悪意のあるプログラムを書かせることができるのかといった、悪用の仕方についてハッカーたちが議論し、攻撃手法に関する提案まで行っていた。
（マクニカ 掛谷勇治さん）
「こういった形でいろんな人が議論しています、別のスレッドでも活発に議論されていたりします。フィルターをどう回避するか、どういう犯罪ができるのか、新しい犯罪手法を考える方法にも興味があるようです。日々新しいいろんなところでスレッドが上がり、意見交換されているのが実情だと思います。現実的な手法について言及したり、ディスカッションしたりしていることもありますし、こういった攻撃ができるのではないかという提案も多く議論されているという状態です」
「こういった形でいろんな人が議論しています、別のスレッドでも活発に議論されていたりします。フィルターをどう回避するか、どういう犯罪ができるのか、新しい犯罪手法を考える方法にも興味があるようです。日々新しいいろんなところでスレッドが上がり、意見交換されているのが実情だと思います。現実的な手法について言及したり、ディスカッションしたりしていることもありますし、こういった攻撃ができるのではないかという提案も多く議論されているという状態です」
手軽さが“脅威”に
サイバーセキュリティーの視点から、ChatGPTなどを含めたAIのリスクをどう捉えているか、尋ねてみると。
（マクニカ 凌翔太さん）
「AIを使ったサイバー攻撃は、ChatGPT以前から考えられているのでAIを用いたサイバー攻撃という点ではそこまで怖くないですが、手軽さがポイントなんだと思います。これまでサイバー攻撃は、AIやプログラミング、フィッシングメールの文章を書くことができるといったスキルを身につけた上で攻撃を実行することができました。ただ、先ほどの実験で分かるように、AIなどを扱うスキルも特に必要なく、自然言語でサイバー攻撃への答えやヒントを出すことができてしまいます。全くのスキルがない人でも簡単にサイバー犯罪に手を染めてしまうことにつながるのではと懸念しています」
「AIを使ったサイバー攻撃は、ChatGPT以前から考えられているのでAIを用いたサイバー攻撃という点ではそこまで怖くないですが、手軽さがポイントなんだと思います。これまでサイバー攻撃は、AIやプログラミング、フィッシングメールの文章を書くことができるといったスキルを身につけた上で攻撃を実行することができました。ただ、先ほどの実験で分かるように、AIなどを扱うスキルも特に必要なく、自然言語でサイバー攻撃への答えやヒントを出すことができてしまいます。全くのスキルがない人でも簡単にサイバー犯罪に手を染めてしまうことにつながるのではと懸念しています」
ほかにどのようなリスクが懸念されているのか
リスクはサイバーセキュリティーの分野に限った話ではない。
例えば教育の面ではレポートや論文への不正や盗作などが懸念されている。
一部の海外の大学では、悪用を防ぐことを目的として、ChatGPTなどのAIについて、使用したことを明確にせずに論文やプレゼンテーションに使うことの禁止を2023年1月に発表した。
アメリカの公立学校の一部でも使用を禁止するところがあるという報道があるほか、アメリカのスタンフォード大学ではChatGPTで出力された文章かどうかを調べるツールも開発されるなど、ChatGPTをめぐる動きは活発化していいる。
例えば教育の面ではレポートや論文への不正や盗作などが懸念されている。
一部の海外の大学では、悪用を防ぐことを目的として、ChatGPTなどのAIについて、使用したことを明確にせずに論文やプレゼンテーションに使うことの禁止を2023年1月に発表した。
アメリカの公立学校の一部でも使用を禁止するところがあるという報道があるほか、アメリカのスタンフォード大学ではChatGPTで出力された文章かどうかを調べるツールも開発されるなど、ChatGPTをめぐる動きは活発化していいる。
このほか、差別や偏見、フェイクニュースと言った偽情報、誤情報などが生成されるおそれも指摘されている。
精度については今後改善されていくと見込まれているものの、現状は問いかけに対して明らかに間違った回答をしてくることも多いため、注意が必要だ。
精度については今後改善されていくと見込まれているものの、現状は問いかけに対して明らかに間違った回答をしてくることも多いため、注意が必要だ。
複数の専門家は「日本でもすでにさまざまな不正に使われてる可能性は十分あるが、AIが生成したかどうかを確認する方法が確立しておらず実態は不透明だ」などとしている。
進化を続けるAIと人間 どう向き合えばいいのか
生成系AIをめぐっては、GoogleもChatGPTに対抗するチャットAIのリリース情報を発表したほか、ChatGPTを開発したOpenAIに1兆円を出資したマイクロソフトが、自社の提供する検索エンジンに取り込むなど、ここ最近で動きが急加速している。検索の在り方を変えてしまう技術としてても期待され、デジタルの覇権争いの新たな火種となっている。
革新的な技術は、私たちの生活を一変させてしまうほどの大きな可能性をもたらす一方で、常に悪用のリスクをはらみ、時に大きな混乱を引き起こすこともある。
それは、歴史が証明し続けてきたことだ。
進化し続けるAIと、それを使う人間はどのように付き合うべきなのだろうか。
革新的な技術は、私たちの生活を一変させてしまうほどの大きな可能性をもたらす一方で、常に悪用のリスクをはらみ、時に大きな混乱を引き起こすこともある。
それは、歴史が証明し続けてきたことだ。
進化し続けるAIと、それを使う人間はどのように付き合うべきなのだろうか。
（国立情報学研究所 佐藤一郎教授）
「生成系AIが出す回答は、すべてが正しいものとは限らなくて、かなり間違った情報が含まれます。よって生成系AIを使うにしても、使う人間側に生成系AIの結果が正しいかどうかを判別する能力は当然求められてきます。また、生成系AIのできがよくなってくると、おそらくクリエーティブな活動を人間はしなくなってくるので人間の能力が退化してしまうことは多分にあり得て、その時に人間が、どう自分たちの存在意義を高められるかというのは大きな問題になってくると思います。AIに極めて依存、またはAIなしでは生きていけないような形になってしまうと、人間自身が自立した存在ではなくなってしまうのです。我々人間がAIをコントロールするということを忘れてはいけないと思います」
「生成系AIが出す回答は、すべてが正しいものとは限らなくて、かなり間違った情報が含まれます。よって生成系AIを使うにしても、使う人間側に生成系AIの結果が正しいかどうかを判別する能力は当然求められてきます。また、生成系AIのできがよくなってくると、おそらくクリエーティブな活動を人間はしなくなってくるので人間の能力が退化してしまうことは多分にあり得て、その時に人間が、どう自分たちの存在意義を高められるかというのは大きな問題になってくると思います。AIに極めて依存、またはAIなしでは生きていけないような形になってしまうと、人間自身が自立した存在ではなくなってしまうのです。我々人間がAIをコントロールするということを忘れてはいけないと思います」
取材後記
実は今回、記事を執筆するにあたって、タイトルをChatGPTに考えてもらった。
「生成系AI」「可能性」「リスク」というキーワードをベースに聞くと、50候補以上が提案されたが、「生成系AI 未来を切り開く可能性とリスク」「生成系AI 未来を描く可能性とリスク」など、どうもピンと来るタイトルは、現れなかった。
漫画を制作した清水さんに聞いた話を思い出し、「創造」という言葉を加えて改めて10候補を示してもらうと、「生成系AI 創造力の新時代」という候補が出てきた。
今まで出てきた中では良いものと感じたが、あと一歩、足りない。
うんうん唸って、ひねり出し、「創造性とリスクがともに新しい段階に入った」という意味を込めて、最後に出来たのが今回のタイトル「生成系AI 創造力とリスクの新時代」だ。
読んでみたくなる、シンプルかつ魅力的、など、さまざまな条件設定を繰り返して尋ねたChatGPTとのやり取りは、10回以上に及んだ。
しかし、これでほぼ完璧だ、というタイトルを示してくれることは、最後までなかった。
「結局、現状では、人間なのかな」と、思う。
しかし、その一方で、10回以上のやり取りを繰り返す中で、確かに思考をいざなってくれたと感じる。提案してくれた「新時代」という言葉は、私は思いつかなかった。この提案がなければ、最後のタイトルは生まれていなかっただろう。
最終的に、私が自分自身で決めた「生成系ＡＩ 創造力とリスクの新時代」というタイトルについて、"彼”に評価を聞いてみた。
「記事のテーマを明確に表していて、読んでみたくなる内容に感じます。「新時代」という言葉が、記事のトピックスに関連していて、「創造力」と「リスク」という言葉が、記事のポジティブな面とニガテな面をバランスよく表しています」。
ありがとうChatGPT。
「生成系AI」「可能性」「リスク」というキーワードをベースに聞くと、50候補以上が提案されたが、「生成系AI 未来を切り開く可能性とリスク」「生成系AI 未来を描く可能性とリスク」など、どうもピンと来るタイトルは、現れなかった。
漫画を制作した清水さんに聞いた話を思い出し、「創造」という言葉を加えて改めて10候補を示してもらうと、「生成系AI 創造力の新時代」という候補が出てきた。
今まで出てきた中では良いものと感じたが、あと一歩、足りない。
うんうん唸って、ひねり出し、「創造性とリスクがともに新しい段階に入った」という意味を込めて、最後に出来たのが今回のタイトル「生成系AI 創造力とリスクの新時代」だ。
読んでみたくなる、シンプルかつ魅力的、など、さまざまな条件設定を繰り返して尋ねたChatGPTとのやり取りは、10回以上に及んだ。
しかし、これでほぼ完璧だ、というタイトルを示してくれることは、最後までなかった。
「結局、現状では、人間なのかな」と、思う。
しかし、その一方で、10回以上のやり取りを繰り返す中で、確かに思考をいざなってくれたと感じる。提案してくれた「新時代」という言葉は、私は思いつかなかった。この提案がなければ、最後のタイトルは生まれていなかっただろう。
最終的に、私が自分自身で決めた「生成系ＡＩ 創造力とリスクの新時代」というタイトルについて、"彼”に評価を聞いてみた。
「記事のテーマを明確に表していて、読んでみたくなる内容に感じます。「新時代」という言葉が、記事のトピックスに関連していて、「創造力」と「リスク」という言葉が、記事のポジティブな面とニガテな面をバランスよく表しています」。
ありがとうChatGPT。
#サイバーセキュリティ／#フェイク／#マンガ／#メタバース／#人工知能／#研究開発／#音楽／#ＩＴ・ネット
