Skip to content

AI 系統設計原則

這一頁只保存跨案例仍然有用的設計原則。每一條都應能連回具體案例,並隨後續討論修正。

1. 局部回饋負責導航,最終結果負責驗收

Section titled “1. 局部回饋負責導航,最終結果負責驗收”

中間獎勵可以降低探索難度,但不能取代真正的任務目標。否則系統可能把容易量化的代理指標做到最好,卻沒有完成使用者真正要的事情。

回饋與目標行為之間夾雜越多其他步驟,信用分配越模糊。必要時應使用明確標記、階段邊界、可驗證狀態或更細緻的過程評估。

3. 不把所有底層動作視為同一層級

Section titled “3. 不把所有底層動作視為同一層級”

長任務應組成可重複使用的技能與階段,例如搜尋、比較、驗證、執行與復核。高階規劃不需要每次都重新處理所有底層操作。

4. 每個階段都要有進度訊號,但不能為了有分而製造分數

Section titled “4. 每個階段都要有進度訊號,但不能為了有分而製造分數”

好的中間訊號應反映成功機率、資訊增益、風險下降或狀態改善,而不是只獎勵「有做事」或「產生很多步驟」。

即使過程評分良好,仍要確認最終輸出、真實環境結果、副作用與授權條件。正確的過程不保證真正完成,錯誤的過程也可能偶然得到正確答案。

回放應嘗試定位第一個關鍵分岔、無效步驟與不可逆錯誤,並將結果轉成可重複使用的規則。只有產生一段合理敘述,不足以證明系統理解原因。

7. 因果判斷優先依靠干預與反事實

Section titled “7. 因果判斷優先依靠干預與反事實”

要驗證某一步是否真正重要,應盡量改變該步、重跑任務、比較相似軌跡或在模擬環境做消融,而不是只依相關性或事後說明。

可以從動物與人類學習抽取共同的計算問題,例如信用分配、探索、泛化與記憶回放;但不能把生物心理機制直接等同於 AI 演算法。

9. 智能是能力配置,不只是單一高低分數

Section titled “9. 智能是能力配置,不只是單一高低分數”

狼、狗與人類適應不同環境,各自強化不同能力。AI 系統也應依任務需求配置獨立探索、社會協作、工具使用、規劃、記憶與驗證能力,而不是只追求單一總分。

10. 多時間尺度混合通常優於單一回饋尺度

Section titled “10. 多時間尺度混合通常優於單一回饋尺度”

較完整的系統應同時處理:

  • 當下動作是否合理
  • 階段目標是否完成
  • 整體任務是否成功
  • 長期結果是否穩定
  • 事後是否需要重新歸因與更新策略