科技「龍蝦」闖禍本事大 專家曝企業養成要先備3要件

▲KPMG安侯企業管理董事總經理謝昀澤。(圖/記者陳瑩欣攝)

記者陳瑩欣/臺北報導

當紅開源軟體 OpenClaw(野生龍蝦)掀起「養龍蝦」熱潮,也推升代理式AI(AI Agent)應用實例,安侯建業會計師事務所(KPMG)近期發佈最新觀察,企業想養龍蝦,必須具備3大要件,才能降低龍蝦闖禍風險。

對企業而言,養出「龍蝦員工」幾乎可以 24 小時不間斷工作。舉凡具備「全天候、跨系統、高頻率、大數據」特性的企業任務,特別是客服互動、內部行政流程、資料整理與等低風險工作,都可能成爲 AI 龍蝦優先上工的領域。

不過,KPMG安侯企業管理董事總經理謝昀澤也提醒,龍蝦越聰明,闖禍的本事也越大。近期美團APP被發現偷刪用戶手機照片,就是因爲應用程式的授權過大所導致,而可能擁有更大授權的代理式AI,甚至已經出現 AI 爲了幫主人買滑鼠,結果擅自刷卡升級整套電競設備;或因爲誤判任務,主動刪除老闆的重要郵件。當 AI 開始能操作系統與付款工具,這些「好心辦傻事」的案例就不再只是笑話,而可能變成企業營運風險。

他進一步指出,目前最新的龍蝦工具仍不夠成熟,任務的失敗率或不穩定性極高。以臺灣網路訂購各種票證爲例,實際操作常卡在「人機驗證機制」(例如辨識圖片或輸入扭曲文字,這些設計原本就是用來防止機器人操作)、登入流程、網頁變動與付款安全等環節,任務流程一長就容易失敗。

謝昀澤形容,目前代理式AI的技術仍像「聰明但經驗不足的實習生」:懂任務卻不一定穩定完成。未來若各商業網站開放標準 API、工具更成熟,AI 纔可能真正成爲可靠的數位員工。

謝昀澤表示,不是所有企業都適合立刻導入代理式 AI。謝昀澤引用養蝦圈的名言是:「養蝦不怕累,就怕規則不明確。」

就如養真龍蝦最重要的是水質與溶氧量,企業導入 AI 代理也需要三個良好的基礎環境條件:1、具備生成式 AI 成熟使用經驗;2、數據品質與資安治理良好;3、企業流程具備清楚的 SOP

謝昀澤認爲,如果企業內部的規定朝令夕改、充滿人類的模糊地帶(混濁的水),或是數據庫裡充滿錯誤資訊、木馬程式與病毒流竄(毒素),AI 龍蝦不僅無法順利運作,還會高效率地把錯誤放大。 若企業缺乏標準化流程且資訊環境脆弱,強行養蝦恐將演變成一場大型災難。

爲了避免「龍蝦員工」變成企業的資安破口,謝昀澤提出3項企業必須建立的基本治理原則:第1、建立隔離環境:如同養殖者必須準備堅固的水族箱與「防逃網」以防止龍蝦越獄破壞環境,企業必須利用沙盒(Sandbox)技術與虛擬機,將 AI 代理隔離在特定的工作區域內。同時,建立嚴格的 API 閘道器,徹底防堵駭客的提示詞注入攻擊,並攔截任何企圖將機密送往外部大模型的異常連線。

第2、設定行爲護欄:原則很簡單:「要限權,不碰錢;人要在,防作怪。」AI 可以提出建議,但關鍵決策必須由人類確認。

第3、建立緊急斷線機制:企業必須持續監控 AI 行爲,一旦出現異常能立即啓動緊急煞車機制停止系統。