首圖圖說:封面_AI 應用的資安防禦之一：AI資安現況與決策風險

AI 應用的資安防禦之一：AI資安現況與決策風險

余俊賢–IT幫幫忙資安顧問

本文為AI 應用的資安防禦之一：AI資安現況與決策風險為題，聚焦社創組織小微的屬性、資源不多的作法。包含透過AI快速開發驗證概念以及可以注意OWASP LLM Top 10 常見AI系統的資安漏洞。

社創組織小微的屬性

聚焦「社會創新組織（社創）」或「小微型組織」在 AI 資安現況與決策風險，重點其實和大型企業很不一樣。通常人少、錢少、技術能力有限，但又開始使用 AI 工具（像 ChatGPT、資料分析、影像辨識等），因此風險與對策必須走 「低成本、高效益、可快速落地」 的策略。

人力不足的問題正是AI可支援的主要價值，許多社創組織人員數較少，沒有專職 IT人員更沒有資安人員， AI 導入常變成：主管要學著自己使用AI、透過志工架系統、外包工程師或是用 SaaS AI雲端式的平台。

因此較容易導致資安的缺失。例如自己看著網路資訊架設AI系統，可能會造成系統在網際網路上面裸奔，近期的OpenClaw小龍蝦事件便是一例。大家一窩蜂安裝該系統後，依照預設的設定值，導致原本沒有暴露在網際網路上的內部網路電腦，因為這個AI平台的安裝建置，而直接出現在網際網路上面，呈現一個裸奔的狀態。

Step1  初期導入先使用雲端平台，有免費點數進行操作學習

Step 2 確認好應用的內容與深度強度，再評估需要的方案

Step 3 快速驗證概念與展示概念。在某一些設計跟應用的展現上，AI可能比人更精準的產生與表達

 

另外，使用免費 AI的常見情境中經常被忽略沒有管理的問題，是否洩漏資料、是否有 Prompt Injection（一種AI的資安入侵手法）

Step1 資料整理時要注意的是「個資」是不是在檔案中傳輸。

Step 2 可以小量用範例資料驗證，然後請系統產生工具。

例如：分析捐獻資料，原始檔案是xls格式。這時候不要用真實資料，而是使用模擬填寫的範例資料。

Step3 傳給AI系統之後，「請分析此檔案，並且用python寫出一個分析程式，產出ＯＯＯ分析報表，格式包含….」

這樣的過程，在資料安全上的風險就可以控管在內部，而不用把資料整包傳出

「AI訓練資料可能包含個資、機密資料、未授權資料，可以透過去識別化與資料對應轉換避免洩漏真實個資。例如將弱勢族群名單、捐款資料、身分證、醫療資料、個案紀錄運用資料對應的方式做去識別化或是遮罩。」

 

AI系統的供應鏈資安風險

AI系統通常包含開源模型、第三方API、外部資料等。因為使用者可能不會特別注意該模型或是第三方元件是否有出現資安漏洞，可以透過主動訂閱資安漏洞情資的關鍵字，通常是模型名稱加上CVE、駭客、入侵等

例如ChatGPT+CVE、OpenAI_CVE，或是增加其他如駭客、入侵等關鍵字作爲訂閱Google Alert或其他主動推播的新聞訊息。

可能出現第三方程式中被放置後門，惡意或是故意做出不正確決策的模型、API資料外洩等。

 

AI 決策風險

避免AI幻覺決策，需要人工審閱

很多社創會直接用 AI寫企劃、評估方案、預測需求，但 AI 可能會胡說八道，提供錯誤的政策建議、錯誤的社會數據、錯誤的解釋。這些稱為AI的幻覺以及模型的偏見。可能會因為系統的原產團隊的因素而有性別、社經、族群等偏見，雖然有審查機制，卻不見得在有限的測試中可以發現貓膩，而社創組織如果拿 AI 做補助評估、個案評估評分等，就需要注意這樣的潛在風險或倫理問題。

最省錢的 AI 資安 5 個動作

如果只有一萬元預算，我會建議：

1. 制定 AI 使用規範

2. 所有帳號開啟雙重驗證

3. 資料備份

4. 定期更新系統

5. AI內容必須人工審核

AI雲端權限管理，則需要：

1. 關閉公開連結

2. 使用雙重驗證

3. 控制共享

AI使用政策 工具箱

不用花錢，但影響最大的就是制定一個安全的AI使用政策，以下提供基本的範例：

使用AI時不能輸入：

1. 個資

2. 身分證

3. 電話

4. 捐款人資料

5. 個案資料

AI只用於：

1. 文書

2. 文案

3. 翻譯

4. 概念討論

AI輸出驗證機制：最小資料原則

如果要用 AI 分析資料

做法：

資料先去識別化

例如：

原始資料

• 姓名：王小明
• 電話：0912345678

變成

• ID: C001

再丟給 AI。

圖說:去識別化

📬下期預告：AI 應用的資安防禦之二：AI資安配套方案

另後續也將出刊：「AI 應用的資安防禦之三：AI開發安全與應變」、「社會創新應用的資安注意事項之一：解決方案架構」等，敬請期待

關於IT幫幫忙

社創組織面臨業務推動上，受限小微企業需較多人工業務處理，即使規劃導入數位服務仍受限於沒有ICT相關背景與能力，面對數位轉型工具箱或雲市集軟體服務採購等資源，也可能不清楚工作流程適合應用那些資訊系統。歡迎加入「社會創新平台-IT幫幫忙」官方帳號，透過IT需求的諮詢銜接與建議，協助大家提供從軟硬體到網路資安的建議，充分運用數位科技加速擴大社會影響力。