首圖圖說:封面_AI 應用的資安防禦之三：AI開發安全與應變

AI 應用的資安防禦之三：AI開發安全與應變

余俊賢–IT幫幫忙資安顧問

隨著AI應用的快速發展，幾乎每個月都會有新的進步，對於企業而言，是否導入AI顯然已經不是一個選項，而是何時導入，如何監管的題目。更有些企業已經將AI應用於內部流程，例如人事、資料整理、內部應用開發等，不一定是人力密集的工作，還包含創新創意的設計工作。

近期政府補助案已經開始要求。如下描述節錄「申請 AI Agent 整合服務類別，應於提案階段提出 AI 可信任治理（Trust AI）規劃，並於計畫執行期間建立相關風險管理及控制機制。結案時應提出 Trust AI 檢測或驗證報告，作為驗收查核項目之一，以確保AI 應用之可信度、安全性、透明性及合規性」，顯見在AI應用之可信任治理已經是一個必要項目。

企業可以建立虛擬的 AI 治理委員會，負責政策、風險接受與重大 AI 系統核准。解決誰授權、誰審核、誰負責與記錄的基本要求。以下是AI整理建議的AI 治理委員會的角色與對應責任。

 

爾後，對於每一個 AI 應用與系統至少記錄以下的資訊：

• 系統擁有者與維運單位
• 業務目的與使用對象
• AI 類型：ML、生成式 AI、LLM、RAG、Agent
• 自建或第三方服務
• 模型名稱、版本及供應商
• 訓練、微調與檢索資料來源
• 輸入及輸出資料類型
• 是否包含個資、機密或敏感資料
• 使用的外部 API、工具及 Plugin
• 可能影響的人員或群體
• 風險等級
• 上線日期與最後評估日期
• 目前狀態：規劃、測試、上線、停用
• 對應文件、測試及核准紀錄

 

目前在全球相關規範中，包含NIST AI RMF（可信賴人工智慧風險管理）、NIST SP 800-218A（人工智慧模型和基礎模型的 SSDF 指南）、歐盟人工智慧法案第9條（高風險系統的生命週期風險管理）均對於AI的風險管理多有著墨。在歐盟法規(EU AI Act)中，採取風險導向管理模式，針對不同風險等級設定不同義務，並特別強調高風險 AI 的風險管理、資料治理、紀錄、透明度與人工監督。建議採五級分類。

L0：禁止使用

例如：

• 未經允許的大規模操控或欺騙
• 非法歧視或社會評分
• 未經授權的敏感資料辨識
• 無人工控制的高危害自動決策
• 將公司機密上傳至未核准公開模型

L1：低風險

例如：

• 文章摘要
• 文案草稿
• 內部知識搜尋
• 程式碼輔助，但不直接部署

控制方式以使用者告知、基本紀錄與資料保護為主。

L2：中風險

例如：

• 客服機器人
• 企業知識庫問答
• 文件分類及流程建議
• 內部營運預測

需要品質測試、輸出標示、人工申訴及持續監控。

L3：高風險

例如：

• 招募篩選
• 授信、保險或金融建議
• 醫療、教育及公共服務
• 身分辨識
• 重要基礎設施控制
• 可執行外部操作的 AI Agent

需要完整風險評估、獨立測試、人工覆核、稽核軌跡與正式上線核准。

L4：關鍵風險

可能造成生命安全、重大財務、公共利益或廣泛權益影響的系統。

要求：

• 董事會或最高治理層核准
• Fail-safe 與緊急停止
• 雙人覆核
• 獨立第三方驗證
• 更嚴格的營運監控
• 明確的停用及回復機制

 

AI 生命週期治理流程

以下針對AI系統的開發生命週期，提供以下階段性的流程建議：

第一階段：需求提出

專案單位提交 AI Use Case，說明：

• 要解決的問題
• 為何需要 AI
• 是否能使用非 AI 方案
• 預期效益
• 受影響對象
• 預期使用資料
• 是否會自動執行決策或操作

第二階段：模型與系統開發

CI/CD 阻擋條件

下列任一項不合格即停止部署：

• 未完成 AI 台帳
• 未完成風險分級
• 高風險弱點未修復
• 偏差超過門檻
• 幻覺率超過門檻
• 模型或套件存在不可接受 CVE
• 資料來源未授權
• 缺少人工監督
• 未完成 Rollback
• 未設定監控及事件告警

第三階段：測試把關

人員介入確認放行：授權、審核、負責、記錄

AI Vulnerability Scoring System (AIVSS) 是 OWASP (開放網頁應用程式安全專案) 推出的安全標準框架。主要目的是針對代理型 AI（Agentic AI）及各類人工智慧系統，提供一套量化且結構化的標準方法，用來辨識、評估與緩解 AI 系統中潛在的資安漏洞與核心風險。結合 OWASP AI Testing Guide亦可達到初步的測試把關工作。

 

 

AI開發安全應變

如果發生了刪除資料、上傳資料的事件，如何預防？這是已經發生的事件，可供借鏡，而透過操作紀錄日誌、資安監控、異常行為分析與鑑識，可以初步達成對於AI安全事件的應變基礎。

AI 操作日誌（AI Logging）

完整記錄：

• 誰使用 AI
• 使用時間
• 查詢內容
• 回答內容
• 使用模型
• Token 使用量

方便：

• 稽核
• 調查
• 法規遵循

SIEM 資安監控整合

整合：

• AI 系統
• 防火牆
• API Gateway
• Endpoint 防護
• AD 身分系統

形成：AI Security Operation Center。

AI 異常行為分析（UEBA）

透過 AI 分析：使用者行為 、查詢模式 、操作習慣。以及AI系統本身的活動行為。

例如：
某員工平常：查詢客服資料

突然開始大量讀取財報 、嘗試權限跳脫 、深夜下載文件，即可自動標記高風險。

AI 數位鑑識（AI Forensics）

當 AI 發生：資料外洩、模型異常、Prompt 攻擊等事件類型。

基本上需具備Log 回溯、Prompt 還原、模型版本追蹤、API 使用紀錄。才能進行事件調查。

提供本文對於AI開發安全治理及事件應變的粗略框架及概念，希冀企業在AI世代的洪流中，能夠有明燈指引跟救生艇，達到事半功倍之效。

 

📬下期預告：社會創新應用的資安注意事項之一：解決方案架構

另後續也將出刊：「社會創新應用的資安注意事項之二：資料安全與駭客事件處理思維」，敬請期待。

關於IT幫幫忙

社創組織面臨業務推動上，受限小微企業需較多人工業務處理，即使規劃導入數位服務仍受限於沒有ICT相關背景與能力，面對數位轉型工具箱或雲市集軟體服務採購等資源，也可能不清楚工作流程適合應用那些資訊系統。歡迎加入「社會創新平台-IT幫幫忙」官方帳號，透過IT需求的諮詢銜接與建議，協助大家提供從軟硬體到網路資安的建議，充分運用數位科技加速擴大社會影響力。