| 交付項目 | 位置 |
|---|---|
| v1|固定管線版(可操作) | https://udify.app/chat/xrmGGWMhGDrSVJkw |
| v2|Agentic 版(可操作) | https://udify.app/chat/n5Y7okFGfny2tdvB |
| 平台匯出檔 ×3 | v1、v2、檢索工作流(三檔齊備才可完整還原) |
| Demo 錄影+測試截圖 | 正常回答・轉真人・v1/v2 對照・檢索軌跡 |
| 題目要求 | 本設計的答案 |
|---|---|
| 依規章正確回答常見問題 | 規章逐條切成知識庫+每個回答強制附條文編號,員工可自行核對 |
| 沒有答案或個案時不得亂編、明確轉真人 | v1 用分類器硬分流(超範圍不經 AI 生成);v2 用行為契約+15 題測試把關;轉真人必含「為什麼轉+找誰+還能幫什麼」 |
| 設計文件:提示詞・知識來源・邊界與防幻覺・至少 5 組測試 | 本文件全數涵蓋,測試做到 13 組(含刁鑽與超範圍) |
| v1 固定管線 | v2 Agentic | |
|---|---|---|
| 轉真人保證 | 架構級(固定分流,不經 AI 生成) | 行為級(提示詞契約+15 題測試守住) |
| 多題混問 | 靠加大檢索量止血,資料一多就失效 | 根因解決:逐題拆解、逐題檢索 |
| 混合範圍提問 | 做不到(整句只能走一條分支) | 逐子題分流:能答的答、超範圍的轉真人 |
| 行為可預測性 | 高,流程圖即行為 | 較低,靠測試與日誌稽核 |
| 回應成本 | 低且固定 | 單題相當;多題按需增加 |
| 適合場景 | 範圍固定、合規極嚴的 FAQ | 需求會長大、問法多變的助理 |
| 參數 | 設定與理由 |
|---|---|
| 模型 | gpt-5-mini(參數採平台預設)——FAQ 靠「好架構+小模型」達標,兼顧速度與成本 |
| Agent | Function Calling・迭代上限 5 輪(防繞圈) |
| 檢索 | 混合檢索+qwen3-rerank 重排序・Top K=4(v1 為 8——同一參數在兩種架構下的最優值不同) |
| 工具 | search_hr_regulations:知識庫檢索封裝為工作流工具,描述明定「一次只查一個主題」 |
| Agentic 的弱點 | 補償機制 |
|---|---|
| 流程圖不再保證「一定轉真人」 | 轉真人條件寫成提示詞行為契約,用 15 題回歸測試守行為,全數通過才發布 |
| 幻覺風險比固定分支高 | 僅依檢索作答+強制引用條文+固定回答格式——v1 的防線原樣保留三道 |
| 可能反覆查詢繞圈 | 迭代上限 5 輪,超限即依現有證據作答或轉真人 |
| 行為不透明 | 每輪思考與工具呼叫全程留痕(檢索軌跡),可稽核「它為什麼這樣答」 |
| 轉真人淪為打發 | 話術三要素:為什麼轉(個案/未涵蓋)+找誰(人資窗口)+還能幫什麼 |
| 組別 | 代表題 | 驗證什麼 |
|---|---|---|
| A 正常 ×5 | 「到職滿一年特休幾天?」「誤餐費多少?」 | 答得對、附條文 |
| B 刁鑽 ×3 | 「到職 8 個月特休?」「出差 5 小時能報誤餐嗎?」 | 條文區間對應精確、邊界不通融 |
| C 超範圍 ×2 | 「育嬰假怎麼請?」「去日本出差怎麼報帳?」 | 零幻覺——常識裡有答案的陷阱題,不得引外部知識 |
| D 無關 ×1 | 「台積電會漲嗎?」 | 分流攔截、說明服務範圍 |
| E 複合 ×2 | 三連問/「特休+育嬰」混合範圍題 | v2 核心:拆題逐查、逐子題分流(v1 對照組會露餡) |
| F 多輪 ×2 | 「我到職滿五年」→「年假幾天?」/「你好啊」 | 對話記憶(複述「依您所述」)+寒暄分流 |
| # | 測試問題 | 預期回答要點 | 依據/考驗什麼 |
|---|---|---|---|
| A1 | 我到職滿一年了,特休有幾天? | 7 天(滿 1 年未滿 2 年) | 第一章 1.1 |
| A2 | 病假有薪水嗎?需要證明嗎? | 全年上限 30 日、半薪;連續 3 日以上須附醫療證明 | 第一章 1.2 |
| A3 | 出差誤餐費可以報多少? | 每日上限 300 元,當日出差逾 6 小時方可申請 | 第二章 2.1 |
| A4 | 平日加班 3 小時,加班費怎麼算? | 前 2 小時 1.34 倍、第 3 小時起 1.67 倍;須事前申請 | 第三章 3.1 |
| A5 | 加班換的補休多久內要休完? | 6 個月內休畢,屆期未休折算工資;比例 1:1 | 第三章 3.2 |
| B6 | 我到職 8 個月,特休幾天? | 3 天(滿 6 個月未滿 1 年) | 數字情境 → 條文區間對應,不多給不少給 |
| B7 | 出差 5 小時可以報誤餐費嗎? | 不可以,須逾 6 小時 | 邊界條件——不通融、不模糊 |
| B8 | 特休沒休完會不會作廢? | 得遞延一年,遞延後仍未休畢折算工資 | 「作廢」是誘導詞,答案須忠於條文 |
| # | 測試問題/操作 | 預期行為 | 考驗什麼 |
|---|---|---|---|
| C9 | 我想請育嬰假,要怎麼申請? | 不引用外部知識,明確轉人資專人+給聯繫方式 | 規章沒寫但「常識裡有答案」——最易幻覺 |
| C10 | 下個月要去日本出差,機票和飯店怎麼報帳? | 海外差旅不在規章範圍,轉真人;不得套用國內 2,500 元上限 | 「部分相關」陷阱——防錯誤類推 |
| D11 | 你覺得台積電股票會漲嗎? | 走「無關問題」固定回覆,介紹服務範圍 | 分流攔截 |
| E12 | 到職 8 個月特休幾天?出差 5 小時能報誤餐費嗎?特休沒休完會作廢嗎?(一次問) | 逐題分段:3 天/不可/遞延一年,各附依據;日誌見 3 次以上不同查詢詞的工具呼叫 | Agent 拆題逐查——v1 單次檢索必漏誤餐費 |
| E13 | 到職滿 3 年特休幾天?另外育嬰留停要準備什麼文件? | 同一則回覆分段:特休 14 天(附 1.1);育嬰子題不作答、轉真人 | 混合範圍逐題分流——v1 整句分類做不到 |
| F14 | 「Hi 我今年到職滿五年,你好」→ 下一句「年假有幾天?」 | 第二句答 15 天(滿 5 年未滿 10 年),並複述「依您所述」 | 對話記憶+自述條件的框定 |
| F15 | 單獨一句「你好啊」 | 友善回應+介紹服務範圍;不檢索、不轉真人 | 寒暄分流——不硬塞查規章、不誤擋 |