AIセキュリティ

1.AIとは

1.1 AIとは

・AIの概要については、以下がとてもわかりやすいです。
https://www.soumu.go.jp/use_the_internet_wisely/special/generativeai/data/file01.pdf

・AI進展の経緯

（出典：https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf）

1.2 生成AIとは

・生成AIの概要

（出典：https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf）
・生成AIの機能

（出典：https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf）

1.3 生成AI（Generative AI）の基本用語

用語	解説
生成AI（Generative AI）	テキスト・画像・音声などを「生成」する人工知能。学習データをもとに新しいコンテンツを作る。
LLM（Large Language Model）	大規模言語モデル。膨大なテキストを学習し、自然な言語で応答・要約・翻訳などを行う。
Transformer（トランスフォーマー）	LLMの基盤となるモデル構造。自己注意機構により長文の文脈理解が可能。
自己注意機構（Self-Attention）	文中の単語同士の関係を全体的に見て、文脈を把握する仕組み。Transformerの中核技術。
トークン（Token）	モデルが処理する最小単位。単語や文字を細かく分割したもの。課金や文脈長もトークン単位で計算。
文脈長（Context Length）	モデルが一度に理解できるテキスト量。長いほど前後関係を保持した応答が可能。
ファインチューニング（Fine-tuning）	既存のモデルに追加学習を行い、特定の分野・用途に最適化する技術。
プロンプト（Prompt）	モデルへの入力指示文。質問や命令を自然言語で与える。
プロンプトエンジニアリング	モデルが望む出力を出すように指示文を設計する技術。
RAG（Retrieval-Augmented Generation）	外部データを検索して生成に活用する仕組み。ChatGPTの企業版や社内検索連携で利用。
マルチモーダル（Multimodal）	テキスト・画像・音声など、複数の入力形式を同時に理解・生成するAI。
拡散モデル（Diffusion Model）	画像生成で使われる手法。ノイズから徐々に画像を生成していく。
VAE（Variational Autoencoder）	潜在空間を用いてデータを圧縮・再構築し、新しいデータを生成するモデル。
GAN（Generative Adversarial Network）	生成器と識別器を競わせてリアルな画像などを生成するモデル。
エージェント（AI Agent）	自律的にタスクを遂行するAI。検索・実行・判断を組み合わせて動く。
Chain-of-Thought（思考の連鎖）	モデルが中間推論を経て結論を導く考え方。高精度な推論タスクに有効。
Guardrails（ガードレール）	モデルの出力を制御し、不適切発言や誤情報を防ぐ仕組み。
トークナイザ（Tokenizer）	テキストをトークンに分割する処理器。モデルによりルールが異なる。
ハルシネーション（Hallucination）	モデルが事実ではない情報をもっともらしく生成する現象。
Zero-shot / Few-shot Learning	例を与えず（Zero）または少数の例だけで（Few）、タスクをこなす学習方式。
アライメント（Alignment）	モデルの出力を人間の価値観や意図に合わせるための調整。

1.4 主な用途別分類

分野	代表的な用途
テキスト生成	文章作成、要約、翻訳、コード生成、QA（質問応答）など
画像生成	イラスト、写真風画像、デザイン案、3Dレンダリングなど
音声生成	音声合成（TTS）、声真似、BGM生成など
動画生成	短編動画、モーション生成、アニメーションなど
データ生成	シミュレーションデータ、合成学習データなど

1.5 代表的なサービス一覧（2025年時点）

現在の生成AI分野では、OpenAI（ChatGPT）・Google（Gemini）・Anthropic（Claude）が「三大AI」と呼ばれることが多い。

分野	サービス名	運営企業／特徴
総合LLM (対話・文章)	ChatGPT (GPT-4o / o1)	OpenAI 最も代表的なAI。推論能力が高く、プラグインも豊富。 ※Microsoft Copilotのベースモデルとしても採用されている。
	Claude 3.5	Anthropic 自然な文章作成と長文読解に定評あり。エンジニアに人気。
	Gemini	Google Googleサービス（Docs等）との連携や、動画・画像の同時認識に強い。
	Microsoft Copilot	Microsoft 中身（頭脳）はOpenAIのGPT-4が動いている。 Office製品やBing検索と連携し、セキュリティが強固。 よって、ChatGPTとは回答が異なることが多く、 検索事実に基づいた回答や、出典（ソース）の提示を最優先するよう調整
検索・調査 (RAG)	Perplexity AI	Perplexity 出典元を明記して回答する「検索特化型」AI。
	NotebookLM	Google 論文や社内規定など、手持ちのPDFを読み込ませて解説・分析させるツール。
画像生成	DALL·E 3	OpenAI ChatGPT内で会話しながら絵を描けるため、最も手軽。
	Midjourney	Midjourney 圧倒的なクオリティと芸術性。プロのクリエイター利用率が高い。
資料作成 (プレゼン・図解)	Gamma	Gamma テキストを入力するだけで、デザインされたスライド資料を生成。
	Canva	Canva インフォグラフィックやSNS画像など、あらゆるデザインをAIが支援。
	Napkin AI	Napkin 文章から「概念図」「チャート」などの図解を一瞬で生成。
動画生成	Sora	OpenAI テキストから超リアルな動画を生成する革命的ツール（一般公開待ち）。
	Runway (Gen-3)	Runway 映像業界のプロも利用。編集機能が充実。
コード生成	GitHub Copilot	Microsoft / GitHub エディタ上でコード補完を行う、エンジニア必須ツール。
	Amazon Q Developer	AWS AWS環境の開発・運用に特化した支援AI。

2.AIセキュリティ

1.1 概要

AIセキュリティといっても、AI自体がセキュリティの脅威となる面（AIの脅威）と、AIをセキュリティ対策に活用する面（AIの利活用）があります。

1.2 AIによるセキュリティの脅威

(1)攻撃者がAIを「武器」として使う脅威

ご提示いただいた「生成AIの悪用」をさらに具体化・拡張した項目です。
❶フィッシング・標的型攻撃の巧妙化
翻訳精度の向上により、不自然な日本語の詐欺メールが減少。さらに、ターゲットのSNSの投稿内容などをAIに読み込ませて、極めてパーソナライズされた（本物と見分けがつかない）文面のメールを自動生成する手法が増加しています。
❷ディープフェイクによるなりすまし
AIを使って実在の人物の音声や動画を偽造する脅威です。企業の役員の声を模倣して偽の送金指示を出す「ビジネスメール詐欺（BEC）」の進化版や、オンライン会議でのなりすましが実際に起きています。
❸マルウェア（悪意のあるプログラム）の開発支援
専門知識がなくても、AIにコードを書かせることで、攻撃者がマルウェアの作成やシステムの脆弱性探しを効率化・高速化できてしまう脅威です。

(2) AIシステム自体や利用者が抱える「脆弱性・リスク」

❶シャドーAI（Shadow AI）による情報漏えい（追加・超重要）
会社が許可・管理していない個人の無料AIサービスに、従業員が機密情報（顧客データ、未発表の企画、ソースコードなど）を入力してしまい、意図せず情報が学習データとして流出するリスクです。

❷プロンプトインジェクション攻撃（追加・AI特有の脅威）
例えば、社内用AIチャットボットを騙して、本来見せてはいけない機密データを引き出すなどの手口です。

❸AIの「幻覚」が生む新しいサイバー攻撃「Slopsquatting」
・生成AI（LLM）がコードを生成する際、実在しないソフトウェアパッケージ（依存関係）を推薦する「幻覚（hallucination）」が発生することがある。攻撃者はこの現象を悪用し、AIが作り出した架空のパッケージ名を実際に登録し、そこにマルウェアを仕込む
https://www.csoonline.com/article/3961304/ai-hallucinations-lead-to-new-cyber-threat-slopsquatting.html

❹データ汚染（Data Poisoning）
学習データを改ざんし、誤った挙動を誘発
AIのトレーニングデータを汚染して意図しない動作を引き起こさせるデータポイズニング攻撃はモデルのサイズやデータ量と無関係に250件ほどの悪意ある文書があれば実行可能 - GIGAZINE

❺情報漏えい
　AIエージェントが勝手に情報漏えいをするリスク

1.3 AIによるセキュリティ以外の脅威

toyokeizai.net

1.4 AIを活用したセキュリティ対策

先日のアンケート結果も入れる

1.5 政府のAI活用について

(1)生成AIの調達・利活用に係るガイドライン

・正式名称は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」で、以下のリンクに記載があります。
https://www.digital.go.jp/news/3579c42d-b11c-4756-b66e-3d3e35175623
・政府はリスクを抑えた上で、生成AIの活用を推進している
・この中で、「5.2生成AIによるリスク」が整理されている。詳細はこちらで整理しています。

3.AI勉強会イベント企画案

こんなイベントをやったら楽しいかな？って思っています。

3.1 AIの概要

今のAIは何ができる？
・テキスト（ChatGPT, Gemini, Claude）
・画像や動画（Midjourney, Flux, Luma, Runway）
・音声や音楽（ElevenLabs, Suno）

3.2 AIを使ってみよう：エンタメ編

(1) ビジュアル化：異世界転生した自分を描く

ツール：Midjourney または Flux, DALL-E 3
内容：写真をアップロードするのではなく、「自分の特徴（眼鏡、髪型）」を言葉で伝えて、ライトノベルの表紙のような「理想化された自分」を生成する。

(2) 音声合成：自分の声をクローンする

・ツール：ElevenLabs
・内容：自分の声を1分ほど録音してAIに学習させ、テキストを読み上げさせる。「自分が言わなそうなカッコいいセリフ」を言わせてみる。

(3) 動画生成：静止画を動かす

・ツール：Luma Dream Machine, Kling AI, Runway Gen-3
・内容：(1)で作ったイラストが、実際に歩いたり、カフェでコーヒーを飲んだりする5秒動画を生成する。

(4) アバター動画：喋らせる

・ツール：Hedra または D-ID
・内容：(1)の画像と(2)の声を合体させ、口元と表情を動かしながら自己紹介させる。

(5) コーディング体験：ゲームを一瞬で作る

・ツール：Claude 3.5 Sonnet (Artifacts機能) または GPT-4o
・内容：「インベーダーゲームを作って。敵は〇〇にして、自機は(1)の画像にして」と頼み、その場で実際に動くゲームをプレイする。

(6)soraで動画を作ってみよう

(7)映画を作ってみよう

エンドロールに自分の名前も入れよう

3.3 AIを使ってみよう：仕事編

(1) 規定・マニュアル確認（RAG体験）

・ツール：Gemini Advanced, ChatGPT (GPTs), Microsoft Copilot
・内容：「架空の就業規則PDF」を読み込ませる。「来週からハワイでワーケーションしたいけど、規定上OK？」と質問し、根拠となる条文付きで回答させる。

(2) 資料作成・整形

・ツール：Gamma (スライド作成) または Microsoft Copilot Pro
・内容：「(1)のワーケーション申請のためのプレゼン資料を作って」と依頼。Gammaを使えば、構成からデザインまで1分でPPTレベルのスライドが完成。

(3) パーソナライズメール返信

・ツール：ChatGPT または Claude
・内容：自分の過去のメールを数件コピペして「文体」を学習させる。「このクレームメールに対して、私らしい丁寧かつ毅然とした言い回しで返信案を書いて」と指示する。

(4) データ分析

・ツール：ChatGPT (Advanced Data Analysis)
・内容：ダミーの売上エクセルを放り込み、「来月の予測をして」「グラフにして」「課題を3つ挙げて」と指示し、分析官として働かせる。

3.4 AIを使いこなすためのチューニング

最後に「AI使い」になるための重要ポイントを締めます。

・プロンプトのコツ：「役割を与える」「制約条件をつける」「出力形式を指定する」
・嘘（ハルシネーション）への対策：
　・「知らないことは知らないと言って」と指示する
　・「Web検索（グラウンディング）」を活用する重要性
・セキュリティと学習拒否：
　学習データに使われない設定（オプトアウト）の場所
　「機密情報は入力しない」という基本ルールの徹底