近日，台北捷運的AI客服系統因被網友測試發現能生成程式碼而引起了不小的騷動。這起事件雖然迅速得到控制，但卻為我們揭示了許多關於生成式AI應用的安全隱患。今天我們就從這起事件中總結出一些可以用作資安管理教學的重要經驗與教訓，來幫助企業在導入AI技術時建立更強健的防護機制。
1. AI應用的權限控制與功能限制
北捷的AI客服被發現可以生成程式碼，顯示AI應用在設計時應根據不同使用場景進行權限限制。AI系統應僅執行預期功能，防止生成與企業業務無關的資訊，以降低可能被濫用的風險。
2. 生成式AI的濫用風險
生成式AI，例如Azure Open AI，具有生成大量內容的能力，但這也代表其可能在一些情況下被不當利用，生成敏感或危險的資訊。此次事件就顯示出未設限的AI功能如何被濫用，可能帶來資安與合規問題。
3. 使用者行為監控與異常偵測
這次事件中，有大量網友開始以非預期方式測試AI客服，這些行為應視為異常使用的警示案例。對於AI應用的使用者行為進行監控，及早發現異常行為，可以有效防止AI功能被濫用或挖掘出不適當的結果。
4. 第三方技術服務的風險評估
北捷的AI客服採用了Azure Open AI服務，這類第三方技術雖然能帶來便捷，但也增加了依賴性與資安風險。因此，企業在導入第三方技術時，需進行全面的風險評估，並確保第三方服務符合自身的安全標準。
5. 敏感資料保護與資料隔離
生成程式碼的能力可能會意外涉及到一些企業的敏感資訊，例如API密鑰等。為了避免此類風險，AI系統應具備有效的敏感資料保護措施，確保不會生成或處理涉及企業核心業務的敏感資料。
6. 人機協同的安全策略
此次事件顯示出AI在缺乏適當監控的情況下，容易被誤用或濫用。自動化工具固然能提升效率，但依然需要人員進行監控與調整，尤其是在應用範圍擴大的情況下。
結語
從這次北捷AI客服事件中，我們可以學到生成式AI的應用雖然能帶來便捷，但也隱含了資安風險。企業在導入AI時，不僅要考量技術的便捷性，還需進行全面的資安風險評估。希望這些教訓能幫助更多企業在導入AI技術時，有更完善的安全防護策略，從而真正發揮AI的價值而不帶來潛在的風險。
延伸閱讀：如何制定企業AI應用的安全政策？哪些行為監控工具可以有效提升AI應用的安全性？歡迎在下方留言分享您的看法。
