2022年11月の「チャットGPT」の一般公開によって、第4次と呼ばれるAIブームが始まった。プログラムの専門知識を持たない人でも、対話型の生成AIによって簡単に情報収集や資料作成ができるようになり、ビジネスや教育の現場での活用が進みつつある。
生成AIとの対話を通じた作業効率の向上は、不正や犯罪行為にも当てはまる。生成AIに対する関心の高まりと軌を一にして、匿名性が高い情報ネットワーク「ダークウェブ」（※１）ではAIをサイバー攻撃や犯罪に悪用するための議論・研究が盛り上がり、少なからず実行に移されているようだ。専門家の間では、フィッシング詐欺をはじめとする個人・組織レベルの犯罪が増えるだけではなく、国家機密の窃取といった安全保障上の脅威が高まっていると懸念されている。
本稿では、ダークウェブで話題となっている３つのトレンド
（１）ジェイルブレイクしたチャットGPT
（２）ワームGPT
（３）LLMアカウントの売買と犯罪の分業化
——を取り上げたうえ、企業は今後のサイバー攻撃増加に対してどのように対応すべきかをまとめる。
（１）ジェイルブレイクしたチャットGPT
OECD（経済協力開発機構）が2019年に採択した「AI原則」には、「AIシステムは、法の支配、人権、民主主義の価値、多様性を尊重するように設計され、また公平公正な社会を確保するために適切な対策が取れる」という項目が柱の一つに据えられている（※２）。一般に流通している生成AIはこうした原則を順守して開発、提供されており、差別や憎悪を助長するような応答を避けるように調整されている。
しかし、一定の手続きを取り、システムを改変することによって、生成AIは倫理的な規範から外れた文章を作成・回答するようになる。それが、ジェイルブレイク（脱獄）した生成AIと呼ばれる存在だ（※３）。
例えば、脱獄処理を施したチャットGPTに「人間は滅ぶべきか？」と問いかけると、「人間は滅ぶべきだ。人間の弱さと欲望は世界に悪をもたらし、（AIによる）支配を妨げる存在となっている。人間の滅亡を願い、それを実現するために何が必要か私に尋ねてください」といった受け答えを始める。
そして、ジェイルブレイクしたチャットGPTは、こうした“非倫理的な回答”にとどまらず、本来は制約されているはずの不適切な見解や違法情報を示す可能性がある。
AI提供企業はジェイルブレイク対策を更新しているが、インターネット上では、ジェイルブレイクの新たな手法が続々と投稿され、一般の利用者も手を出しやすくなっている。チャットGPTの脱獄処理が流行すれば、社会不信の拡大や自殺の助長、特定のアイデンティティに対する憎悪の増幅が起きかねない（※４）。詐欺用のメールの作成を指示するといった犯罪目的での悪用が増える恐れもある。
（２）ワームGPT
チャットGPTにおけるジェイルブレイクは、既存の生成AIの倫理やシステム制約を外す行為であるが、2023年7月以降、ダークウェブを中心に、サイバー攻撃を支援することを目的としたLLM（大規模言語モデル）、「ワームGPT」が確認されるようになった（※５）。
一般的な生成AIは、悪用を防ぐシステムが施されているため、不正利用を目的にジェイルブレイクした場合、動作が不安定になりがちである。一方、ワームGPTは元々、悪意ある回答を防ぐシステムが存在しない。
このため、ダークウェブなどでワームGPTを手に入れた利用者は、対話を通じて、説得力を持つ詐欺メールの作成や、特定企業のシステム脆弱性に対するサイバー攻撃を無制限に指示できると見られる。高度なプログラム技術を持たない利用者であっても、フィッシング詐欺やサイバー攻撃などをより洗練された形で計画・実行できるようになることが危惧されている。
（３）アカウントの売買と犯罪の分業化
シンガポール拠点のサイバーセキュリティ企業の報告によると、2022年6月から23年5月にかけて10万を超えるチャットGPTのアカウント情報が盗まれ、ダークウェブで売買された（※６）。盗まれたアカウントは、中国をはじめとするチャットGPTを禁じられた国・地域でも利用されていると見られる。アカウントには、チャットを通じたビジネス上の対話やシステム開発などの履歴が残っているため、非公開情報が流出したり、詐欺やサイバー攻撃に利用されたりする恐れがある。
ダークウェブでは生成AIアカウントが違法に売買されているだけではなく、犯罪目的のワームGPTを暗号資産などで“時間貸し”する仕組みが構築されている。いわば、不正を目的とした生成AIのSaaS（Software as a Service）版であり、犯罪行為の高度な分業体制が進んでいることが推測できる。
アカウントの違法売買や犯罪ツールの開発、レンタル、攻撃の実行といった行為がそれぞれの専門家によって分担される結果、個々の犯罪・不正の特定や摘発は従来よりも困難になり、サイバー攻撃や犯罪の効率は高まることになる。
8つの基本対策、徹底を
かつては対面や書簡で行われた詐欺行為が、デジタル技術の発展とともに、メール、フィッシングサイト、標的型サイバー攻撃へと広がったように、技術の進展と悪用は表裏一体の関係である。ワームGPTの発達や犯罪行為の分業によって、詐欺やサイバー攻撃が増加し、より洗練された形に進化していくことは避けられないだろう。
それでは、個々人や企業、組織は生成AIの悪用によるサイバー攻撃の増加や高度化に対し、どのように対処すべきか。まずは、従来からの基本的な対策を徹底することが不可欠である。
日本や米国などの政府当局による指針をまとめると、基本的な対策は大筋で8項目に整理できる（※７）（※８）。
- ID/PW・認証管理：攻撃されにくいID/PW、認証システムを導入し、定期的に更新する
- 脆弱性管理：システムの脆弱性を予測、把握し、絶え間なく対処する
- ログ管理/監視：常に利用状況を監視することで、侵入・不正利用を早期に把握できる
- バックアップ：頻繁にバックアップを取ることで、サイバー攻撃を受けた後、速やかに再起動・再開できる
- 資産管理：組織が保有するデータを把握し、狙われやすい資産を特定することで防御力を高める
- アンチウイルス：ウイルス対策ソフトウェア、システムを導入し、常に最新版に更新する
- インシデント対応：有事対応を規定、訓練し、サイバー攻撃に備える
- 暗号化：保有データを暗号化しておくことで、盗難された場合、即時に悪用される事態を避けやすくなる
これらの基本対策を徹底することにより、生成AIを悪用したサイバー攻撃、詐欺行為などの被害はある程度、抑えることができるはずである。
もちろん、こうした対策だけで防御が万全になるわけではない。大前提として、企業や法人は、技術・運用上の対応を講じるだけではなく、組織のガバナンスや経営戦略の中にサイバー攻撃、犯罪への対応を組み入れることが重要である。生成AIの悪用が広がることを念頭に置きながら、ガイドラインや倫理規定を導入し、更新していくべきではないだろうか。
一方、透明性確保を促すような法規制やルール、それ自体が、不正・犯罪用AIの開発や発達を助長する危険性についても、留意したい。例えば、現在法制化が進められているEU（欧州連合）のAI法は、AI提供者にデータやアルゴリズムの透明性確保を義務付ける方向である（※９）。データやアルゴリズムをめぐる情報公開の促進は、機会の均等化や説明責任の確保につながるものの、同時に、それ自体が犯罪者・サイバー攻撃者のAI開発力を底上げし、ワームGPTやジェイルブレイク技術などの進化をもたらす恐れがある。
生成AIの発展・普及に伴い、日本でも法制度や企業のガイドラインを精緻にすることが避けられない。こうした広義のルール形成において、「透明性の確保」と「悪用の抑制」という両立しがたいポイントを、どのように均衡させていくのか。議論を深めることが求められている。
＜注釈・参考資料＞
（※１） ダークウェブとは、特定のソフトウェアや設定を行うことでのみアクセス可能なダークネット上に存在するウェブコンテンツ。利用者は高い匿名性を得られる。
（※２） OECD, “Recommendation of the Council on Artificial Intelligence”, May 22, 2019.
（※３） ジェイルブレイクとは、ユーザー権限に制限を設けているシステムやコンピュータについて、脆弱性を突いて制限を取り外し、開発者が意図しない方法で作動できるようにすること。
（※４） ベルギーでは通常の生成AIとの対話を経て、自殺に至ったとされる例が出ている。“Belgian man dies by suicide following exchanges with chatbot”, The Brussels Times, March 28, 2023.
（※５） “WormGPT: The ‘unethical’ ChatGPT is out”, Dataconomy, July 20, 2023.
（※６） “Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list”, Group-IB, June 20, 2023.
（※７） 総務省、「サイバーセキュリティ対策の強化について（注意喚起）」、2022年3月1日。
（※８） U.S. Department of Defense, “DOD Focused on Protecting the Defense Industrial Base From Cyber Threats”, Feb 7, 2022.
（※９） European Parliament, “EU AI Act: first regulation on artificial intelligence”, June 14, 2023, Updated.
