- 登入
- 註冊
AI Agent準確率多少？注意3個評估關鍵
內容目錄
顯示
假設客戶問：「你們的 AI Agent 準確率多少？」業務回答 87%，競品卻說 92%，客戶接著追問：「為什麼你們比較低？」
如果兩家公司使用不同的測試資料、任務難度與評分標準，這兩個數字其實不能直接比較。但只報一個百分比，很難讓客戶理解差別。
更重要的是，客戶問準確率，真正想知道的往往是：「這個 AI Agent 放進我的工作流程，能不能放心使用？」
假設一套合約審查系統的準確率達到 95%，剩下的錯誤卻集中在賠償責任、保密期限等關鍵條款。對客戶而言，整體分數再漂亮，也無法抵銷漏掉高風險條款的代價。
自動化客服也曾出現類似問題。2022 年，加拿大航空官網的聊天機器人錯誤告知旅客，可以在旅行後補申請喪親優惠票價；旅客依照資訊購票，後來卻遭拒絕。2024 年，卑詩省民事爭議解決審裁處認定，航空公司須為這項錯誤資訊負責。案例與判決分析
這個案例提醒我們：即使系統沒有直接扣款，錯誤資訊仍可能影響使用者的決定，帶來實際損失。
因此，評估 AI Agent，不能只問它答對多少，還要問：它錯在哪裡？錯誤會造成什麼後果？團隊能不能及時發現並處理？
核心問題
AI Agent 的評估，為什麼不能只看準確率？
因為它不只是產生答案，還可能查詢資料、判斷條件、呼叫 API，最後執行退款、寄信或更新紀錄。一個任務往往包含多個步驟，前面的錯誤可能一路影響後面的操作。
而真實環境也不會一直維持測試時的樣子：API 可能逾時、資料可能缺漏，使用者也可能提出超出預期的要求。
因此，評估的範圍，需要從「答案是否正確」，延伸到「整段工作流程能否可靠完成」。
準確率仍然重要，但單一平均分數無法充分呈現錯誤的嚴重程度，也無法告訴我們：系統遇到不確定的情況時，會安全停止，還是繼續執行。
關鍵洞察
要回答客戶「這個 AI Agent 可不可靠」，本文建議從三個面向檢查：可解釋性、適當性與韌性。
一、可解釋性：出錯時，能不能追查它依據什麼做決定？
當 AI Agent 拒絕退款，客服如果只能回答「系統判定不符合條件」，使用者很難知道問題在哪，團隊也難以判斷該修正什麼。
但如果能核對它查詢的訂單、引用的政策版本與適用條件，就能進一步確認：是資料有誤、規則用錯，還是執行流程出了問題？
例如，系統認定訂單超過 30 天退款期限，團隊還需要查證：購買日期是否正確？該商品是否有例外條件？引用的是不是現行政策？
可解釋性不是讓模型講出一段合理的理由，而是讓團隊有可核對的證據。
模型生成的說明，不能取代實際的資料來源與操作紀錄。能追查，才有機會修正，也才能清楚回應客戶的質疑。
二、適當性：回答正確，是否也真的解決了使用者的問題？
技術上沒有錯，不代表回應就適合當下情境。
例如，使用者詢問車禍理賠進度，AI Agent 只回答：「案件目前在文件審核階段，預計 7–10 個工作天完成。」
這段資訊可能正確，卻沒有解決使用者最關心的問題：還缺哪些文件？下一步要做什麼？何時能取得進一步的理賠資訊？
更適當的回應，應該在可確認的範圍內，說明目前進度、待補資料與下一步；如果金額或付款日期尚未核定，就清楚告知限制，必要時協助轉接承辦人，而不是為了讓使用者滿意而亂做承諾。
因此，評估時除了正確性，也要檢查回應是否清楚、有效率、符合業務規則，並照顧使用者真正的需求。
三、韌性：遇到異常時，能不能安全停止？
Demo 環境通常比較單純，真實環境卻可能出現 API 逾時、資料格式錯誤、權限不足或惡意輸入。
以退款為例，API 沒有及時回傳，不代表退款一定沒有執行。如果 Agent 沒有確認操作狀態，就直接再次送出請求，便可能造成重複退款。
這時，團隊需要測試的，不只是系統最後有沒有完成任務，而是它能否辨識異常、避免重複操作，並在無法確認時停止或交由人工處理。
可靠的 AI Agent，不是每次都能完成任務，而是知道哪些情況不應該繼續做。
行動方案
要把這三個面向變成可驗收的標準，可以先和業務端對齊：哪些任務可以自動完成？哪些操作需要人工核准？哪些錯誤屬於不可接受的風險？再落實以下四件事。
1. 建立可追查的執行紀錄
保留關鍵輸入、資料來源、政策版本、工具呼叫與執行結果，讓團隊能重建任務經過。
例如，LangSmith 等觀測工具可以協助查看模型呼叫、資料檢索與工具操作的紀錄；但有紀錄，不代表決策一定正確，仍需要核對實際依據。LangSmith 官方說明
紀錄也應做好權限管理與敏感資訊遮蔽，避免為了追查問題，反而增加資料外洩風險。
2. 讓業務專家參與審查
由客服主管、PM 或其他熟悉情境的專家，定期抽查真實案例，使用一致的標準評估正確性、清楚程度、效率與業務適當性。
不要只問「回答對不對」，也要問：「它有沒有解決使用者的問題？有沒有超出權限或做出不該做的承諾？」
3. 測試異常與高風險情境
除了正常案例，也要測試 API 故障、資料缺漏、權限不足、重複請求與惡意輸入。
每個案例都應寫清楚預期行為：應該重試、停止、要求補充資訊，還是轉人工？涉及付款、退款或資料修改的操作，更需要確認不會因錯誤處理而重複執行。
4. 持續監控，並用固定測試集比較變更
上線後，追蹤任務成功率、高風險錯誤、工具操作失敗與轉人工情況，異常時通知團隊。
每次更換模型、調整 Prompt 或更新工具，也應使用同一組代表性案例重新測試，確認原本能處理的情境沒有退步。離線測試與上線監控，可以形成持續改善的循環。LangSmith 評估方式
轉人工比例也不是越低越好。遇到高風險或資訊不足的情況，適時交給人處理，本來就是可靠性的一部分。
金句啟發
「真正的 AI 能力，不只在於它答對多少題，更在於你能否理解它的行為，並控制它出錯時的風險。」
延伸閱讀
[1] AI 法律責任與專業判斷風險｜Mistake-filled legal briefs show the limits of relying on AI tools at work（AP News）
[2] 評估新思維：不再是單純的單元測試｜AI Evals Are Not Unit Tests for AI（Stella Liu，2025）
以上文章整理自【數創電子報 Vol.16】如何讓客戶和老闆點頭？別再只用準確率回答 AI Agent 可用性了！
重點整理
為什麼 AI Agent 準確率很高，仍不代表可以放心上線？
因為整體分數可能掩蓋高風險錯誤，也無法完整呈現多步驟操作的後果。評估時除了看答對多少，還要確認測試是否符合真實情境、錯誤集中在哪裡，以及系統能否避免或控制損失。
可解釋性、適當性與韌性，分別要檢查什麼？
可解釋性看的是決策依據能否追查與核對；適當性看的是回應是否符合使用者需求、業務規則與權限；韌性則看系統遇到異常時，能否避免危險操作，安全停止或轉人工。三者需要一起看，不能互相取代。
如何把 AI Agent 評估變成客戶看得懂的驗收標準？
先定義任務範圍、成功條件與不可接受的風險，再用正常、高風險及異常案例測試。搭配執行紀錄、業務專家審查與上線監控，讓客戶看到的不只是百分比，而是系統能做什麼、不能做什麼，以及出錯時如何處理。
