セキュリティコミュニティ「WEST-SEC」

セキュリティ初心者の方でも参加できる「わかりやすい」セキュリティイベント、8割解けるCTFを開催しています。

AIセキュリティ

1.AIとは

1.1 AIとは

・AIの概要については、以下がとてもわかりやすいです。
https://www.soumu.go.jp/use_the_internet_wisely/special/generativeai/data/file01.pdf

・AI進展の経緯

(出典:https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf

1.3 生成AI(Generative AI)の基本用語

用語 解説
生成AI(Generative AI) テキスト・画像・音声などを「生成」する人工知能。学習データをもとに新しいコンテンツを作る。
LLM(Large Language Model) 大規模言語モデル。膨大なテキストを学習し、自然な言語で応答・要約・翻訳などを行う。
Transformer(トランスフォーマー) LLMの基盤となるモデル構造。自己注意機構により長文の文脈理解が可能。
自己注意機構(Self-Attention) 文中の単語同士の関係を全体的に見て、文脈を把握する仕組み。Transformerの中核技術。
トークン(Token) モデルが処理する最小単位。単語や文字を細かく分割したもの。課金や文脈長もトークン単位で計算。
文脈長(Context Length) モデルが一度に理解できるテキスト量。長いほど前後関係を保持した応答が可能。
ファインチューニング(Fine-tuning) 既存のモデルに追加学習を行い、特定の分野・用途に最適化する技術。
プロンプト(Prompt) モデルへの入力指示文。質問や命令を自然言語で与える。
プロンプトエンジニアリング モデルが望む出力を出すように指示文を設計する技術。
RAG(Retrieval-Augmented Generation) 外部データを検索して生成に活用する仕組み。ChatGPTの企業版や社内検索連携で利用。
マルチモーダル(Multimodal) テキスト・画像・音声など、複数の入力形式を同時に理解・生成するAI。
拡散モデル(Diffusion Model) 画像生成で使われる手法。ノイズから徐々に画像を生成していく。
VAE(Variational Autoencoder) 潜在空間を用いてデータを圧縮・再構築し、新しいデータを生成するモデル。
GAN(Generative Adversarial Network) 生成器と識別器を競わせてリアルな画像などを生成するモデル。
エージェント(AI Agent) 自律的にタスクを遂行するAI。検索・実行・判断を組み合わせて動く。
Chain-of-Thought(思考の連鎖) モデルが中間推論を経て結論を導く考え方。高精度な推論タスクに有効。
Guardrails(ガードレール) モデルの出力を制御し、不適切発言や誤情報を防ぐ仕組み。
トークナイザ(Tokenizer) テキストをトークンに分割する処理器。モデルによりルールが異なる。
ハルシネーション(Hallucination) モデルが事実ではない情報をもっともらしく生成する現象。
Zero-shot / Few-shot Learning 例を与えず(Zero)または少数の例だけで(Few)、タスクをこなす学習方式。
アライメント(Alignment) モデルの出力を人間の価値観や意図に合わせるための調整。

1.4 主な用途別分類

分野 代表的な用途
テキスト生成 文章作成、要約、翻訳、コード生成、QA(質問応答)など
画像生成 イラスト、写真風画像、デザイン案、3Dレンダリングなど
音声生成 音声合成(TTS)、声真似、BGM生成など
動画生成 短編動画、モーション生成、アニメーションなど
データ生成 シミュレーションデータ、合成学習データなど

1.5 代表的なサービス一覧(2025年時点)

現在の生成AI分野では、OpenAI(ChatGPT)・Google(Gemini)・Anthropic(Claude)が「三大AI」と呼ばれることが多い。

分野 サービス名 運営企業/特徴
総合LLM
(対話・文章)
ChatGPT
(GPT-4o / o1)
OpenAI
最も代表的なAI。推論能力が高く、プラグインも豊富。
※Microsoft Copilotのベースモデルとしても採用されている。
Claude 3.5 Anthropic
自然な文章作成と長文読解に定評あり。エンジニアに人気。
Gemini Google
Googleサービス(Docs等)との連携や、動画・画像の同時認識に強い。
Microsoft Copilot Microsoft
中身(頭脳)はOpenAIのGPT-4が動いている。
Office製品やBing検索と連携し、セキュリティが強固。
よって、ChatGPTとは回答が異なることが多く、
検索事実に基づいた回答や、出典(ソース)の提示を最優先するよう調整
検索・調査
(RAG)
Perplexity AI Perplexity
出典元を明記して回答する「検索特化型」AI。
NotebookLM Google
論文や社内規定など、手持ちのPDFを読み込ませて解説・分析させるツール。
画像生成 DALL·E 3 OpenAI
ChatGPT内で会話しながら絵を描けるため、最も手軽。
Midjourney Midjourney
圧倒的なクオリティと芸術性。プロのクリエイター利用率が高い。
資料作成
(プレゼン・図解)
Gamma Gamma
テキストを入力するだけで、デザインされたスライド資料を生成。
Canva Canva
インフォグラフィックやSNS画像など、あらゆるデザインをAIが支援。
Napkin AI Napkin
文章から「概念図」「チャート」などの図解を一瞬で生成。
動画生成 Sora OpenAI
テキストから超リアルな動画を生成する革命的ツール(一般公開待ち)。
Runway (Gen-3) Runway
映像業界のプロも利用。編集機能が充実。
コード生成 GitHub Copilot Microsoft / GitHub
エディタ上でコード補完を行う、エンジニア必須ツール。
Amazon Q Developer AWS
AWS環境の開発・運用に特化した支援AI。

2.AIセキュリティ

1.1 概要

AIセキュリティといっても、AI自体がセキュリティの脅威となる面(AIの脅威)と、AIをセキュリティ対策に活用する面(AIの利活用)があります。

1.2 AIによるセキュリティの脅威

・生成AIの悪用
 攻撃者がAIを利用して攻撃能力を強化。海外の攻撃者が多いが、日本語の壁の崩壊→フィッシングメールが簡単に作れてしまう。しかも本物と見分けがつかない。
・データ汚染(Data Poisoning)
 学習データを改ざんし、誤った挙動を誘発
・プライバシー侵害
 学習データから個人情報が漏洩

1.3 AIによるセキュリティ以外の脅威

toyokeizai.net

1.4 AIを活用したセキュリティ対策

先日のアンケート結果も入れる

1.5 政府のAI活用について

(1)生成AIの調達・利活用に係るガイドライン

・正式名称は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」で、以下のリンクに記載があります。
https://www.digital.go.jp/news/3579c42d-b11c-4756-b66e-3d3e35175623
・政府はリスクを抑えた上で、生成AIの活用を推進している
・この中で、「5.2生成AIによるリスク」が整理されている。詳細はこちらで整理しています。