セキュリティコミュニティ「WEST-SEC」

セキュリティ初心者の方でも参加できる「わかりやすい」セキュリティイベント、8割解けるCTFを開催しています。

AIセキュリティ

1.AIとは

1.1 AIとは

・AIの概要については、以下がとてもわかりやすいです。
https://www.soumu.go.jp/use_the_internet_wisely/special/generativeai/data/file01.pdf

・AI進展の経緯

(出典:https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf

1.3 生成AI(Generative AI)の基本用語

用語 解説
生成AI(Generative AI) テキスト・画像・音声などを「生成」する人工知能。学習データをもとに新しいコンテンツを作る。
LLM(Large Language Model) 大規模言語モデル。膨大なテキストを学習し、自然な言語で応答・要約・翻訳などを行う。
Transformer(トランスフォーマー) LLMの基盤となるモデル構造。自己注意機構により長文の文脈理解が可能。
自己注意機構(Self-Attention) 文中の単語同士の関係を全体的に見て、文脈を把握する仕組み。Transformerの中核技術。
トークン(Token) モデルが処理する最小単位。単語や文字を細かく分割したもの。課金や文脈長もトークン単位で計算。
文脈長(Context Length) モデルが一度に理解できるテキスト量。長いほど前後関係を保持した応答が可能。
ファインチューニング(Fine-tuning) 既存のモデルに追加学習を行い、特定の分野・用途に最適化する技術。
プロンプト(Prompt) モデルへの入力指示文。質問や命令を自然言語で与える。
プロンプトエンジニアリング モデルが望む出力を出すように指示文を設計する技術。
RAG(Retrieval-Augmented Generation) 外部データを検索して生成に活用する仕組み。ChatGPTの企業版や社内検索連携で利用。
マルチモーダル(Multimodal) テキスト・画像・音声など、複数の入力形式を同時に理解・生成するAI。
拡散モデル(Diffusion Model) 画像生成で使われる手法。ノイズから徐々に画像を生成していく。
VAE(Variational Autoencoder) 潜在空間を用いてデータを圧縮・再構築し、新しいデータを生成するモデル。
GAN(Generative Adversarial Network) 生成器と識別器を競わせてリアルな画像などを生成するモデル。
エージェント(AI Agent) 自律的にタスクを遂行するAI。検索・実行・判断を組み合わせて動く。
Chain-of-Thought(思考の連鎖) モデルが中間推論を経て結論を導く考え方。高精度な推論タスクに有効。
Guardrails(ガードレール) モデルの出力を制御し、不適切発言や誤情報を防ぐ仕組み。
トークナイザ(Tokenizer) テキストをトークンに分割する処理器。モデルによりルールが異なる。
ハルシネーション(Hallucination) モデルが事実ではない情報をもっともらしく生成する現象。
Zero-shot / Few-shot Learning 例を与えず(Zero)または少数の例だけで(Few)、タスクをこなす学習方式。
アライメント(Alignment) モデルの出力を人間の価値観や意図に合わせるための調整。

1.4 主な用途別分類

分野 代表的な用途
テキスト生成 文章作成、要約、翻訳、コード生成、QA(質問応答)など
画像生成 イラスト、写真風画像、デザイン案、3Dレンダリングなど
音声生成 音声合成(TTS)、声真似、BGM生成など
動画生成 短編動画、モーション生成、アニメーションなど
データ生成 シミュレーションデータ、合成学習データなど

1.5 代表的なサービス一覧(2025年時点)

分野 サービス名 運営企業/特徴
総合LLM ChatGPT(GPT-4/5) OpenAI – テキスト・画像・コード対応、最も広く利用される生成AI。
Claude 3 Anthropic – 長文理解に強く、倫理的制御が厳格。
Gemini 1.5 Google – マルチモーダル統合に強い。
Mistral / Mixtral Mistral AI – 高速・軽量モデルで商用利用が進む。
Llama 3 Meta – オープンソースで企業利用に適する。
画像生成 DALL·E 3 OpenAI – テキストから高品質なイラスト生成。
Midjourney 独立系 – 芸術的・写実的なスタイルに強い。
Stable Diffusion Stability AI – オープンソースでカスタマイズ性が高い。
音声生成 ElevenLabs 音声合成(ナレーション・吹替)で高品質。
VOICEVOX / CoeFont 日本語音声生成に強い。
動画生成 Runway ML 文章や画像から動画を生成。映像制作用。
Pika Labs ショート動画生成に強い新興勢力。
コード生成 GitHub Copilot GitHub / OpenAI – コーディング支援。
Amazon Q Developer AWS – 企業向け開発AI、AWS連携が容易。
RAG/検索連携 Perplexity AI Web検索と生成を統合した回答AI。
Notion AI / ChatGPT Teams 業務文書・社内ナレッジ活用に強い。
  NotebookLM Google – ユーザーがアップロードした資料をAIが要約・分析するリサーチ特化型ツール

2.AIセキュリティ

1.1 概要

AIセキュリティといっても、AI自体がセキュリティの脅威となる面(AIの脅威)と、AIをセキュリティ対策に活用する面(AIの利活用)があります。

1.2 AIによるセキュリティの脅威

・生成AIの悪用
 攻撃者がAIを利用して攻撃能力を強化。海外の攻撃者が多いが、日本語の壁の崩壊→フィッシングメールが簡単に作れてしまう。しかも本物と見分けがつかない。
・データ汚染(Data Poisoning)
 学習データを改ざんし、誤った挙動を誘発
・プライバシー侵害
 学習データから個人情報が漏洩

1.3 AIを活用したセキュリティ対策

先日のアンケート結果も入れる

1.4 政府のAI活用について

(1)生成AIの調達・利活用に係るガイドライン

・正式名称は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」で、以下のリンクに記載があります。
https://www.digital.go.jp/news/3579c42d-b11c-4756-b66e-3d3e35175623
・政府はリスクを抑えた上で、生成AIの活用を推進している(★要確認)
・この中で、「5.2生成AIによるリスク」が整理されている。以下はリスクを引用。

カテゴリ 内容 詳細
技術的リスク データ汚染攻撃等のAIシステムへの攻撃 学習データへの不正データ混入、アプリケーション⾃体を狙ったサイバー攻撃、プロンプトを通した攻撃等のリスクにより、AIの出力が意図的に操作され、悪影響が生じる。
バイアスのある出力、差別的出力、一貫性のない出力等 学習データの偏り等によりAIが差別を助長する。
ハルシネーション等による誤った出力 生成AIが事実と異なることをもっともらしく回答する。
ブラックボックス化、判断に関する説明の不足 AIの判断のブラックボックス化により、有事の説明責任を果たせなくなる。また、複雑な機構を持つAIシステムの場合、メンテナンスやトラブルシューティングの難易度が上がる場合がある。
社会的リスク 個人情報の不適切な取扱い 適切な同意取得がなく、透明性を欠く個人情報の利用が行われる。
生命等に関わる事故の発生 自動運転等において、AIの誤動作による⼤規模な事故リスクが発生する懸念がある。生成AIで機械等のプログラムコードを生成するケースでは、誤った/非効率なコードによって、パフォーマンスの低下や事故等につながる懸念がある。
トリアージにおける差別 AIが優先順位を決定する際にバイアスを持つことで、公平性の喪失等が生じる可能性がある。医療場面においては、生命に対する脅威が発生する可能性がある。
過度な依存 人材採用活動等、重要な意思決定におけるAIへの過度な依存により、企業が説明責任を問われたり批判を受けたりする懸念がある。また、生成AIを用いたチャットボットとの会話により、利用者が精神的依存状態になる事例も報告されている。
悪用 詐欺目的でAIが利用される懸念がある。
知的財産権等の侵害 生成物による他者の知的財産権等の侵害の可能性がある。複数のアーティストからの集団訴訟事例もある。
金銭的損失 企業が自社の扱うAIの出力により他者の権利を著しく侵害した場合等において、損害賠償請求など金銭的な責任を問われる懸念がある。
機密情報の流出 個人情報及び機密情報がプロンプトとして入力され、そのAIからの出力等を通じて流出してしまう懸念がある。特に、外部サービスと内部データを連携する場合は、意図しない重要情報の漏えいや情報の改ざん等に注意が必要となる。
労働者の失業 AI等の導入により、失業リスクや格差の拡大なども懸念されている。
データや利益の集中 一部のAI開発者のみにデータや利益が集中する懸念がある。また、少数言語国では自国言語による高性能なAIが存在しないといった懸念がある。
資格等の侵害 法律又は医療等業法免許及び資格が求められる領域に生成AIを利活用する場合、業法免許及び独占資格等の侵害リスクが存在する。