隨著越來越多使用者選擇在個人硬體上運行人工智慧（AI）模型，以取得更好的控制權與隱私保護，例如使用 Jan、Ollama 或 LM Studio 等平台，資安專家提醒，此舉也意味著使用者必須自行承擔防護責任，不再享有 OpenAI 或 Anthropic 等大型供應商提供的安全基礎設施。《Lifehacker》指出，這些本地運行方式雖能避免個人資料外洩，但也潛藏網路暴露與惡意程式碼攻擊等資安風險。
資安公司 SentinelOne 和 Censys 在今年一月發現，有高達 17 萬 5 千個公開暴露的 Ollama 主機，可能遭攻擊者利用執行程式碼並竊取使用者憑證。Ollama 或 LM Studio 等推理引擎（inference engine，一種執行 AI 模型的核心軟體）預設通常綁定在本地主機（localhost，指「這台電腦本身」），避免網路存取。然而，有設定指南可能建議將模型設定在 0.0.0.0 位址運行，讓其他設備如手機、筆記型電腦存取。此設定會使模型暴露於所有連接到區域網路的設備，增加資料被竊或硬體遭竄改的風險，尤其是在使用公共 Wi-Fi 時。
今年五月，資安公司 Cyera 揭露 Ollama 存在名為「Bleeding Llama」的嚴重漏洞，CVSS 評級高達 9.3。此漏洞允許透過未經身份驗證的 API 呼叫竊取資料和憑證，約 30 萬個公開暴露的 Ollama 伺服器受影響，直到 0.17.1 版本才修補。專家建議，如需遠端存取本地 AI 模型，應使用虛擬私人網路（VPN）或 Cloudflare ZTNA（零信任網路存取）建立加密通道。
除了網路暴露，惡意 AI 模型檔案與供應鏈攻擊也是一大隱憂。早期的深度學習框架，如 PyTorch，常以 pickle 檔案（.bin、.pt、.pkl）格式分發模型，這些檔案可能被植入惡意程式碼。2025 年，ReversingLabs 就在 Hugging Face 上發現帶有遠端存取功能的惡意模型。為避免風險，建議下載 .safetensor 或 .gguf 等專為安全性設計的檔案格式，這兩種格式以數值方式儲存模型資料，避免執行程式碼。此外，應從 Google、Mistral、Meta 或深度求索（Qwen）等主要開發商的官方帳號下載模型，並注意驗證徽章。
駭客也常利用假網站或惡意應用程式，偽裝成 ChatGPT 等熱門生成式人工智慧（GenAI）工具來散佈惡意軟體。Python 套件庫 PyPI 也曾發現惡意套件，如 TrendAI 揭露的 LiteLLM 事件和 Positive Security 發現冒充 Deepseek 的套件。使用者應透過官方網站、可信供應商的 GitHub 儲存庫，以及官方文件提及的 Python 套件來驗證 AI 工具來源。
AI 代理在執行程式碼或任務時，可能自行安裝必要的套件。研究顯示，21.7% 的開源大型語言模型和 5.2% 的前沿 AI 模型會「幻覺」出不存在的套件名稱。攻擊者利用這種行為進行「slopsquatting」（偷樑換柱攻擊），註冊與幻覺名稱相似的惡意套件，誘騙 AI 代理安裝。為此，建議限制 AI 代理的安裝權限，手動批准每個套件或建立允許清單（allowlist），並檢查模型日誌中的安裝指令。
即使 AI 模型在本地運行，其聊天紀錄、憑證、秘密資訊和 API Token 等敏感資料通常以純文字形式儲存在設備上。一旦設備遺失或遭竊，這些資料便可能完全暴露。為保護本地 AI 資料，專家強調，使用者應利用 FileVault、BitKocker 或 LUKS 等硬碟加密工具，加密整個硬碟，防止未經授權的存取。