首圖圖說:封面_人工智慧應用中的資安防護要點

ＡＩ應用規劃的資安議題

余俊賢 – IT幫幫忙資安顧問

想像你家裡有一個超厲害的機器人，會幫你做作業、找資料、講故事、甚至幫你煮飯。但是，這個幫手如果有人偷偷教壞它，或偷走它知道的秘密，就會變成一件很危險的事。

這個機器人需要很多資料來學習（就像小朋友要讀很多書），有些資料可能是家裡的照片、電話、銀行密碼。

 

圖說:人工智慧應用中的資安防護要點

隨著人工智慧（Artificial Intelligence, AI）技術的成熟與普及，從企業流程自動化、智慧客服、語言生成模型到醫療診斷輔助，ＡＩ正逐步滲透到各行各業。然而，在享受 AI 帶來的效率與創新之餘，資安議題成為企業在規劃 AI 應用時無法忽視的關鍵要素。若忽略資安規劃，AI 不僅可能成為企業的助力，還可能演變為資安風險的來源。在規劃上要注意以下項目：

1.資料隱私與合規性

AI 模型的效能高度依賴大量資料訓練，這些資料可能包含個資（PII）、商業機密或醫療紀錄等敏感資訊。企業必須遵循 GDPR、CCPA、台灣個資法等規範，確保資料的蒐集、處理與儲存符合法律要求。
在模型訓練與推論過程中應進行資料匿名化與去識別化處理，降低敏感資料外洩風險。

2.供應鏈安全

AI 系統涉及的開源模型、第三方 API 與雲端運算服務，可能成為攻擊者滲透的切入點。在採用外部資源時應進行供應鏈風險評估，包含來源驗證、版本控管與漏洞掃描。

3.模型安全（Model Security）

需防範模型中毒（Data Poisoning）、對抗性樣本攻擊（Adversarial Attacks）等手法，避免模型行為被惡意操控。定期對模型輸入輸出進行異常偵測，確保推論結果的可信度。

幫機器人裝新的零件（外掛、程式、模型），一定要檢查它是不是安全的，因為有些零件可能藏著病毒。

4.權限與存取控制

AI 系統應採最小權限原則（Principle of Least Privilege），限制模型與使用者對敏感資源的存取權限。對模型 API 的存取應加入身份驗證與 API 金鑰保護。讓機器人只能去它該去的地方，不能亂跑到鄰居家偷看東西，也不能亂動不屬於它的東西。

這叫做「最小權限」——只給它需要用的鑰匙，不給多的。

5.持續監控與事件應變

對 AI 應用建立日誌紀錄與行為監控機制，及早發現異常模式或潛在入侵。

制定 AI 資安事件應變計畫，確保發生資安事件時能快速隔離、修補與通報。

有些壞人會用奇怪的指令或假資料，讓機器人做傻事，像是：

•    叫它去罵人

•    讓它幫忙寫壞程式

•    告訴它假的事情

OWASP是一個全球知名通用的資安規範，定期會整理公佈最具風險的資安問題，從網站、物聯網、雲端到AI均有專門的項目對應，其中OWASP LLM Top 10就是針對AI的運算應用所對應的十大風險。

OWASP LLM Top 10 與 AI 應用資安

1. LLM01: Prompt Injection（提示注入攻擊）

防護：輸入檢查、限制模型直接執行敏感指令、分層處理輸入。

2. LLM02: Insecure Output Handling（不安全輸出處理）

防護：輸出驗證、沙盒環境執行。

3. LLM03: Training Data Poisoning（訓練資料中毒）

防護：資料來源驗證、異常資料檢測。

4. LLM04: Model Denial of Service（模型資源阻斷攻擊）

防護：速率限制（Rate Limiting）、查詢成本評估。

5. LLM05: Sensitive Information Disclosure（敏感資訊洩露）

防護：資料去識別化、存取權限管理。

6. LLM06: Supply Chain Vulnerabilities（供應鏈漏洞）

防護：供應鏈安全檢測、軟體成分分析（SCA）。

7. LLM07: Overreliance on LLM Output（過度依賴 LLM 輸出）

防護：人機協作驗證流程。

8. LLM08: Model Theft（模型竊取）

防護：查詢限制、模型加密與水印。

9. LLM09: Insecure Plugin Design（不安全的外掛設計）

防護：外掛驗證、最小權限原則。

10. LLM10: Model Misuse（模型濫用）

防護：使用條款與技術限制並行

威脅情資（Threat Intelligence）在 AI 資安的角色

威脅情資就像是詐騙簡訊、電話的壞人名單跟詐騙事件案例。

我們會跟別的朋友分享最近出現了哪些壞人、他們喜歡用什麼招式，這樣大家就能提前準備，不會被同樣的招數騙到。對於AI的應用來說，也面臨了新的威脅手法，包含對於AI運算環境、AI模型的漏洞進行駭客行為，透過了解這些威脅手法，早期預防避免損失。

1. 提前偵測 AI 特有威脅

偵測針對 AI 模型的專屬攻擊，例如 Prompt Injection、模型反推（Model Inversion）、資料竊取等。

2. 持續更新防禦策略

將威脅情資與 AI 安全策略結合，可動態調整防禦規則，避免依賴靜態資安配置。

3. 跨產業情報共享

不同產業間共享 AI 資安事件與攻擊模式，有助於快速建立防禦共識與最佳實務。

4. 自動化威脅回應

結合 SOAR（Security Orchestration, Automation, and Response）與威脅情資，能在 AI 系統受到異常輸入時即時阻斷或修正。

5. 風險評估與決策支持

威脅情資可提供模型使用環境的即時威脅態勢，協助企業在開發、部署與維運 AI 應用時做出更精準的資安投資決策。

結論

AI 的廣泛應用為產業帶來前所未有的價值與可能性，但也將資安風險提升到新的層次。從規劃之初就納入資安注意事項，理解新科技下的資安常態，參考 OWASP LLM Top 10 建立模型防護機制，並透過威脅情資動態調整策略，才能在創新與安全之間取得平衡。未來的 AI 成功案例，不僅取決於演算法與資料品質，更取決於其能否在充滿挑戰的網路威脅環境中安全運行。

關於IT幫幫忙

社創組織面臨業務推動上，受限小微企業需較多人工業務處理，即使規劃導入數位服務仍受限於沒有ICT相關背景與能力，面對數位轉型工具箱或雲市集軟體服務採購等資源，也可能不清楚工作流程適合應用那些資訊系統。歡迎加入「社會創新平台-IT幫幫忙」官方帳號，透過IT需求的諮詢銜接與建議，協助大家提供從軟硬體到網路資安的建議，充分運用數位科技加速擴大社會影響力。