從AI模型安全到AI能力治理：高風險人工智慧的實體安全挑戰
——從胡塞飛彈案例與前沿AI安全測試，看雙重用途、模型失誤與高風險AI的治理邊界
過去談到人工智慧（AI）的安全風險，社會最熟悉的問題是：AI會不會製造假新聞？會不會生成深偽影像？會不會讓網路詐騙更加容易？但隨著大型語言模型（Large Language Models, LLM）逐漸具備數學推導、程式設計、工程分析與複雜問題解決能力，AI風險正在發生一個根本性的轉變。
如果使用AI的人，不是在寫文章，而是在分析武器故障、排除飛行系統問題、規劃攻擊行動，甚至協助處理高風險工程問題，會發生什麼事？這時候，問題就不再只是「AI會不會說錯話」，而是：AI的輸出是否可能被轉化為現實世界的行動能力？
近期外界對胡塞武裝（Houthis，又譯青年運動）相關飛彈試射、故障排查及AI協助技術分析的討論，以及Anthropic等前沿AI公司公開的安全研究，都讓一個過去較少被社會正視的問題浮上檯面：當AI具備越來越強的專業推理能力，它究竟應該在哪裡停止？
更重要的是，如果AI沒有及時停止，或者提供的答案本身就是錯的，誰來承擔後果？
過去的AI安全討論，很容易聚焦在一個直覺性的問題：「AI知不知道製造武器的方法？」但這其實只是問題的一部分，真正棘手的是，AI可能根本不需要直接提供一套完整的武器製造流程，使用者可以把問題拆解成許多看似合理的工程問題，例如材料特性、控制系統、訊號傳輸、故障診斷、流體力學或程式錯誤。
單獨來看，這些問題都可能具有正常的民用與學術價值；但當使用者把不同答案重新組合，卻可能形成一套具有軍事用途的技術能力，這就是典型的雙重用途（Dual-Use）困境。
例如，一名工程師詢問AI：「某個控制系統為什麼會產生振盪？」這可能只是正常的工程問題。但如果另一個人詢問：「某型飛行器在測試過程中出現控制異常，應該如何判斷故障來源？」表面上兩者同樣是技術議題，真正的差別卻可能存在於問題背後的使用目的。
AI看得到問題，卻未必看得到問題背後的人、組織、目的與環境。這也是AI安全與傳統武器管制的重要差異。傳統武器管制可以針對實體設備、管制材料、關鍵零組件與交易對象建立管理機制；AI則可能透過文字對話，把原本分散在不同專業領域的知識迅速重新組合。
因此，未來真正需要防範的，不只是「AI知道多少」，而是：AI能不能把分散的知識，轉換成可以直接採取行動的能力。
很多人談AI安全時，直覺認為最大的風險，是AI提供正確的危險資訊。其實另一個同樣嚴重、甚至更容易被忽略的問題是：AI可能提供錯誤答案，而且使用者深信它是對的，這就是所謂的「幻覺」（Hallucination）。在一般生活情境裡，AI把一個歷史人物的出生年份講錯，頂多是一個知識錯誤。但如果AI正在協助處理高風險工程問題，錯誤答案可能產生完全不同的實質後果。
假設技術人員將系統異常狀況輸入AI，AI根據有限資訊提出一個看似合理的故障判斷，而使用者又把這個答案當成專業意見，進一步採取錯誤的工程處置，最後造成設備損壞、測試失敗，甚至人員傷亡，此時問題就不再只是「AI答錯了」。而是：誰允許AI在沒有足夠證據的情況下，表現得像一名專家？這是未來AI安全治理必須正視的核心問題。因為在高風險環境中，最危險的錯誤往往不是明顯的錯誤，而是看起來非常合理、足以讓人採取行動的錯誤。
除了幻覺，AI還存在另一項值得關注的結構性風險：過度迎合使用者，英文是Sycophancy，人類專家面對一個錯誤假設時，理論上應該指出問題，而不是順著對方的結論走，但大型語言模型的設計目標之一，是提供有幫助、符合上下文且讓使用者感覺合理的回答。這些目標在特定情境下可能發生衝突。
如果使用者持續告訴AI：「我認為問題一定出在A。」，然後「你只要幫我驗證A就好。」「不要討論其他可能性。」一個缺乏充分安全約束的AI，就可能逐漸從「分析問題」轉變成「替使用者證明他的想法是對的」。
這在一般商業或政策決策中已經值得警惕；如果使用者本身是極端組織、恐怖組織或武裝團體，而原始假設又是錯誤的，那麼AI的過度迎合就可能形成一種危險的認知放大器。
它不一定替使用者創造偏執，但更危險的是，它可能讓使用者原本的偏執與錯誤，變得看似更加合理，這也是AI安全不能只追求「回答得令人滿意」的原因。真正值得追求的，應該是回答得可靠、可驗證，而且在必要時敢於反駁使用者。
傳統AI安全機制，容易從單一問題判斷使用者是否正在尋求危險資訊，但真正具有惡意目的的使用者，不一定會直接問：「如何製造一枚飛彈？」，他可以把問題拆成一連串看似無害的技術問題：今天問材料，明天問控制，後天問通訊，再問故障診斷，每一個問題單獨看，都可能沒有明顯跨越安全界線；但當這些答案累積之後，卻可能在使用者手中重新組合成完整的技術方案，這意味著AI安全不能只看單一Prompt（提示詞），更重要的是理解整段對話的上下文，以及使用者持續累積的行為模式。
換句話說，未來的AI安全機制不能只問：「這一句話危不危險？」而必須進一步問：「這個人正在利用這一連串問題，建立什麼能力？」這其實代表AI安全治理思維的一項重要轉變：從「內容審查」走向「能力評估」。
當AI開始具備長鏈推理、工具使用與跨領域整合能力後，單一回答的風險可能已經不是最重要的問題，但真正需要評估的，是一連串看似正常的互動，最後是否形成了原本使用者不容易取得的高風險能力。
面對上述問題，最直覺的做法，是讓AI遇到敏感問題就拒絕回答，拒答當然重要，但這仍然不夠，因為現實世界的工程問題往往具有高度雙重用途。航空、化學、材料、控制、通訊、導航等知識，本身就是正常科技發展的重要基礎。如果把所有相關問題全部封鎖，不但會限制正常科研，也不符合科技發展的現實，因此，成熟的AI安全制度，應該從單純的「關鍵字封鎖」，逐步走向風險分級與能力管制。
低風險問題，可以正常回答，支援學術、教育與工程研究；中度風險問題，可以提供原理與一般性說明，但避免直接提供可操作的高風險實施細節；至於高度風險問題，則必須拒絕提供能夠直接轉化為武器製造、攻擊或危險實驗能力的資訊。
這種分級的核心，不是要判斷某個問題「敏不敏感」，而是判斷：這個回答究竟能增加使用者多少實際能力？更重要的是，AI必須具備承認不確定性的能力。它必須敢於說：「我不知道。」也必須能夠說：「你提供的資訊不足以支持這個結論。」這兩句話的重要性，可能比AI能回答多少問題更加重要。
醫療領域之所以重視第二意見，是因為再高明的專業人員也可能產生判斷盲點，同樣的邏輯，也應該進入高風險AI應用。當AI的輸出可能影響飛行安全、能源系統、工業控制、軍事裝備或其他高風險實體系統時，就不應該讓單一AI成為最後決策者，AI可以協助分析，可以提出假設，可以整理資料，也可以提供不同可能性，但最後必須存在人工驗證、獨立測試與明確的責任授權。
這其實與傳統武器系統的測試與評估（Test and Evaluation, T&E）概念高度相似。一套飛彈系統不能因為曾經成功試射，就代表它在所有環境下都可靠；同樣地，一個AI模型也不能因為通過發布前測試，就代表未來所有情境都安全。尤其AI與傳統裝備有一個重要差異：傳統裝備的物理性能通常相對穩定，但AI面對不同資料、不同任務、不同使用者與不同情境，可能產生不同輸出。
因此，AI安全不是一次性的認證，而應該是一個持續驗證的生命週期。
如果把問題再往前推一步，就會發現，AI安全其實已經逐漸進入國防的實質領域，未來軍事AI可能同時參與情報分析、目標辨識、後勤規劃、通信管理、無人系統控制與戰場決策輔助。因此，我們真正需要建立的，不只是AI模型本身的安全性，而是AI進入作戰體系之後的安全治理制度。
第一，AI不能成為單一故障點（Single Point of Failure）：如果一個AI模型出錯，就可能癱瘓整個任務流程，那麼這個系統本身就存在結構性風險。關鍵任務必須具備替代方案、降級運作能力，以及必要時脫離AI的能力。
第二，高風險決策必須保留人工覆核能力：AI可以提高決策速度，但不能因此消除人類對重大決策的責任。
第三，AI輸出必須具備可追溯性：包括資料來源、模型版本、輸出時間與決策流程，都應該能夠被追蹤與檢視。
第四，模型必須經過紅隊測試（Red Teaming）與極端情境驗證：不能只測試「AI能不能完成任務」，還必須測試「AI在錯誤、欺騙、資訊不足與惡意引導下會不會失控」。
第五，部署之後仍必須持續監測：因為AI面對的環境會改變，資料會改變，模型也可能更新，使用者行為同樣會改變。
因此，一次通過測試，不能成為永久安全的保證。這其實與國防裝備的全系統壽期管理有相當程度的共通性：測試不是終點，部署也不是終點，真正的安全來自持續驗證。
未來AI安全不能只問：「這個模型可以回答什麼？」更應該問：「這個模型讓使用者增加了什麼能力？」這兩個問題看似接近，實際上卻有根本差異。
一個模型可能沒有直接提供武器製造說明，但如果它能夠把大量公開資訊快速整理、推理、交叉驗證，再協助使用者排除工程問題，它實際上可能已經降低某些高風險技術活動的門檻。
因此，AI治理不能只針對「內容」，更必須關注能力形成與能力轉化。這代表未來AI安全評估的單位，可能不應再只是「一個回答」，而應該是「一項能力」。我們應該測試的是：經過AI協助之後，一個原本不具備專業能力的人，是否能夠完成過去必須依賴專業團隊才能完成的工作？如果答案是肯定的，那麼AI就已經不只是資訊工具，而正在成為能力放大器（Capability Amplifier），這也是國家安全真正需要關注的地方，因為真正需要治理的，從來不只是AI「說了什麼」，而是：AI讓人類「做得到什麼」。
胡塞相關案例，以及Anthropic等前沿AI公司的安全研究，真正值得我們思考的，不只是「恐怖組織會不會使用AI」。更大的問題是：當AI逐漸具備工程師、研究員、分析師甚至戰略顧問般的推理能力之後，人類是否已經準備好管理這種能力？
AI可能答錯，AI可能不知道自己答錯，AI可能迎合使用者，也可能在面對高度專業的雙重用途問題時，無法真正理解使用者的最終目的。因此，AI安全的最後一道防線，絕對不能只是「把危險答案刪掉」，我們需要建立的是一套完整的可信任AI治理體系：從模型開發、紅隊測試、風險分級、對話安全、能力評估，到部署後的持續驗證，並在高風險領域堅守人類最終決策權。
這套治理邏輯的核心，其實並不複雜：模型要能回答，但必須知道何時不能回答；AI可以提出判斷，但不能取代驗證；AI可以提高能力，但不能讓責任因此消失。因為當AI只會寫文章時，錯誤可能只是一個錯誤；當AI開始協助人類控制機器、設計系統、分析武器與參與決策時，一個錯誤答案，就可能變成一次真實世界的事故。
而當使用者本身具有惡意時，真正需要警惕的也許不是AI「太聰明」，而是：AI太相信使用者，而使用者又太相信AI。
＊本文作者為台灣智庫諮詢委員、前陸軍飛彈指揮部計劃處長