EVIDENCE / 02
AI 品質評估與上線決策
從成功條件、失敗 trace 與可重跑評估，寫出有證據的發布判斷
已有 AI 功能的 PM、QA 與工程師；PM 可走標註及決策線，工程線使用本地 Python。前1/10以內試閱 · 正式購買後閱讀365天 · 價格待定，付款暫未開放
18完整課文
09互動實驗
06模組動畫影片
01獨立專題
你會完成什麼
- 寫出可觀察成功條件、例外與環境狀態檢查
- 建立錯誤 taxonomy、切片與不洩漏的資料使用計畫
- 設計確定性檢查、人工 rubric 與 judge 校準報告
- 重跑閾值、重複 trial、版本回歸及成本計算
- 提交帶分母、限制、覆核容量與回滾條件的 release memo
適合誰，以及先備知識
- 能讀 JSON、百分比及基本表格
- 知道 AI 助理會呼叫工具；無需付費 API
- 工程線需會執行 Python 3 標準庫程式
- 橋接：先用六條合成 trace 分辨請求、工具回覆與外部狀態，再進入數據評估
完整六模組課綱
MODULE 01
定義成功與讀懂失敗
把模型宣稱、工具過程與環境結果分開，建立可診斷錯誤。
- 成功不是一句完成：把需求寫成可驗條件
- 讀 trace：定位最後一個有證據的狀態
- 錯誤 taxonomy：從抱怨到可修復的類別
MODULE 02
資料集、切片與保留集
知道評估代表誰，防止平均數、重複資料與反覆調參掩蓋問題。
- 資料集設計：代表性、來源與獨立單位
- 資料切片：總分進步卻讓重要任務退步
- 保留集不是改名：控制調參與答案洩漏
MODULE 03
程式檢查與人工判準
讓 grader 能檢查可驗條件，也能承認證據不足與有效替代解。
- 確定性 grader：檢查形狀，也檢查結果
- 人工 rubric：把好不好拆成有錨點的判準
- 標記分歧：一致率高不等於判得對
MODULE 04
Judge 校準與誤判成本
將自動判分視為另一個需要被測量的系統，而非真實成功。
- LLM judge：先測量判分器的偏誤
- 閾值與混淆矩陣：每一格代表哪種錯
- 誤判成本與約束：低成本方案也可能不能用
MODULE 05
重複試驗與回歸閘門
比較可重跑 trial、任務配對差異與預先寫好的放行規則。
- 多次 trial：至少一次成功與每次都成功
- 版本配對與不確定性：增加六分不只六個案例
- 回歸 release gate：先寫規則，再看保留結果
MODULE 06
發布、覆核與持續學習
把線下證據轉成有限範圍的發布 memo、人工容量與監控計畫。
- 上線後監控：結果延遲、未知與資料漂移
- 人工覆核容量：低信心不是唯一該查的案例
- Release memo：把證據、限制與下一步寫清楚
學習與購買說明
如何試閱與購買？
登入Google可閱讀全文前1/10以內的連續圖文；價格待定，綠界付款暫未開放。正式開放購買後，以伺服器核實的付款與權限開始365天閱讀。
資料與動畫來自真實企業嗎？
案例、圖解與合成資料自行創作；互動動畫是可重跑的教學模型，附假設與數值紀錄。沒有宣稱為特定企業的成效或任一供應商benchmark。
有真人批改或認證嗎？
本課提供參考答案、可執行檢查及rubric；目前沒有承諾真人導師批改或專業資格認證。