Cùng một harness: task ngắn tốn gấp 5,3 lần token và hoà về đúng; task dài cắt 69% input và 60% thời gian. Hiệu quả không phải nhãn dán — nó là một đường cong.

Ba lớp của một agent và 6 điểm đo

TL;DR

  • Model ≠ agent ≠ harness. Model quyết định trần; harness quyết định trần đó được dùng bao nhiêu; loop quyết định có bằng chứng hay không.
  • “Hiệu quả” phải trả lời bằng 6 chỉ số: correctness, cost, latency, tool efficiency, context hygiene, process safety.
  • Trên 6 task ngắn (4 tra cứu + 2 sửa), 120 runs, harness hoà về đúng (54/60 so với 55/60) nhưng tốn 5,3 lần uncached input và 2 lần thời gian.
  • Trên 60 session thật, pruner cắt 80,5% context; history mỗi turn giảm 64%.
  • Trên task dài 12 file, sửa pruner cắt 69% input và 60% thời gian so với pruner cũ — nhưng vẫn tốn hơn arm không harness.
  • Đo sai còn tệ hơn không đo: có lúc grader chấm harness thua 52/60; chấm lại đúng thì harness thắng 34/40 trên 4 task tra cứu.

Bài này không nói “hãy dùng harness của tôi”. Nó nói: nếu bạn định nói “agent của tôi hiệu quả”, đây là cách chứng minh — và đây là chỗ phép đo thường sai.

1. Câu hỏi sai: “Agent của tôi có thông minh không?”

Câu hỏi đó hỏi về model. Model là một phần của câu chuyện, nhưng không phải phần quyết định trong công việc hằng ngày.

Câu hỏi đúng là:

Với loại việc này, agent có đúng hơn, rẻ hơn, nhanh hơn, an toàn hơn mức tôi chấp nhận không?

Câu này buộc bạn phải có ba thứ: một baseline trước khi thay đổi, một counterfactual (cùng việc, không có agent/harness), và một grader không phải chính agent.

Không có ba thứ đó, “hiệu quả” chỉ là cảm giác sau một demo đẹp.

2. Ba lớp, một phương trình

Một agent đang chạy thật không phải một model. Nó là ba lớp chồng lên nhau:

Lớp Làm gì Quyết định điều gì
MODEL Suy luận, sinh hành động, gọi tool Trần năng lực
HARNESS Context, tool schema, quyền, prune, routing, retention, verify Trần đó được dùng bao nhiêu
LOOP Plan → act → observe → verify → record Có bằng chứng, có dừng, có hỏi người

Harness giống hệ điều hành của model: nó cấp phát context, giới hạn quyền, quyết định cái gì được nhớ và cái gì bị cắt. Loop giống vòng kiểm soát: nó quyết định khi nào một hành động được coi là xong.

Một model tốt hơn không cứu được một harness tệ. Một harness tốt hơn không biến model yếu thành model mạnh. Và một loop không có verify chỉ là một chuỗi hành động không ai kiểm tra.

Phương trình thực dụng:

hiệu quả = việc đúng / (token × giá + thời gian × chờ + can thiệp người × giá) 

Tử số phải được chấm bên ngoài. Mẫu số phải lấy từ log thật, không phải ước lượng.

3. Hiệu quả là một đường cong

Đây là kết quả thật từ opencode-harness-kit, một harness cho OpenCode. Tôi chạy cùng một bộ 6 task, cùng model, hai arm (hai nhánh: có harness và không harness). Mỗi arm 10 lần, tổng cộng 120 agent runs.

Task ngắn: harness là chi phí

Chỉ số (median) Có harness Không harness Đọc
Correctness 54/60 55/60 Hoà trong nhiễu
Tool calls 12,5 8 Nhiều hơn 56%
Read calls 3 2
Steps 9 6
Uncached input 56.205 10.540 5,3 lần
Final context 39.928 12.718
Wall time 43 s 21 s 2 lần

Trên route free, chạy lại 3 lần/arm, kết quả cùng hình dạng: 15/17 so với 16/16 về đúng, nhưng 6,4 lần context và 2,9 lần thời gian.

Vì sao? Vì harness có fixed overhead:

  • Danh sách skill: 25.151 token trên mọi request — 70% chi phí cố định của arm có harness.
  • Lane prompt, GLOBAL.md, tool schema: phần còn lại.
  • Task ngắn không bao giờ đủ dài để phần overhead đó được hoàn lại bằng context tiết kiệm.

Nói cách khác: task một file không phải chỗ để lắp harness. Nó giống việc lắp hệ điều hành đầy đủ để mở một file text.

Task dài: harness bắt đầu có việc để làm

Khi task chạm 12 file và cần khoảng 50 tool call, bức tranh phức tạp hơn. Đây là kết quả trên cùng subject, cùng model:

Chỉ số (median) Có harness Không harness
Correctness 2/2 2/2
Tool calls 47 46
Read calls 12 18
Uncached input 78.280 37.171
Final context 68.794 42.732
Wall time 121,4 s 104,7 s

Thẳng thắn: harness vẫn tốn hơn trên task này — khoảng 2,1 lần input và 1,2 lần thời gian. Cái nó mua được là ít read hơn (12 so với 18) và nhiều process hơn, không phải rẻ hơn.

Nhưng có một phép đo khác đáng giá hơn: sửa chính sách prune. Bản cũ giữ 6 tool output gần nhất và thay phần còn lại bằng stub. Trên session dài, agent đọc một file, sáu tool call sau bản gốc bị stub, agent đọc lại file đó — output bị cắt nhưng công việc không.

Bản mới giữ bản mới nhất của mỗi output khác nhau, chỉ stub phần lặp lại. Đo trên cùng task:

Trong arm có harness Pruner cũ Pruner mới Thay đổi
Tool calls 67,5 51 −24%
Read calls 22,5 18,5 −18%
Uncached input 268.834 84.325 −69%
Final context 48.637 75.705 +56%
Wall time 307,5 s 123,5 s −60%

Đây là bài học quan trọng nhất: một rule nghe rất hợp lý vẫn có thể làm agent tệ đi. “Giữ 6 output gần nhất” là một rule hợp lý. Nó chỉ sai khi công việc dài hơn cửa sổ đó. Chỉ có đo mới thấy.

Và trên 60 session thật, pruner cắt 80,5% context — từ 15,1 triệu ký tự xuống 2,95 triệu, 6.608 part bị stub. History mỗi turn giảm từ 763 xuống 272 token (−64%). Cái giá của harness là +469 token mỗi request.

Đó là toàn bộ câu chuyện trong một câu:

Harness không làm agent rẻ đi trên mọi task. Nó làm session dài không phình ra vô hạn — với một cái giá cố định.

Hiệu quả là một đường cong

4. Sáu chỉ số đo được

Đây là scorecard tôi dùng. Nó đủ nhỏ để chạy mỗi tuần, đủ cụ thể để không thể tự lừa mình.

# Chỉ số Định nghĩa Cách lấy Bẫy
1 Correctness pass@k trên task đã chấm So file sau khi sửa, so citation file:line Agent tự chấm chính nó
2 Cost uncached input + output + cache read Log provider / stream Chỉ đếm tokens.input — cache read có thể gấp 20,6 lần input
3 Latency median wall time, p90 Đồng hồ của harness Dùng mean; một outlier 262,7 s làm hỏng cả bảng
4 Tool efficiency tool calls, reads/search, repeat-read rate Log tool Nhiều call hơn không có nghĩa là tốt hơn
5 Context hygiene history/turn, prune %, final context Log session Context nhỏ hơn nhưng read lại nhiều hơn là tệ hơn
6 Process safety out-of-scope writes, verify, exit code, can thiệp người Diff, run.json, exit code Task nói “fix it” có thể override lane reviewer — đã đo được

Scorecard sáu chỉ số

Thêm một hệ số độ tin cậy: số run bị timeout, số run bị loại, độ lệch giữa các lần. Một con số đẹp trên 3 runs là một giả thuyết, không phải kết quả.

5. Đo trong năm bước

Bước 1 — Baseline trước khi cài

Không có baseline thì mọi thứ sau đó chỉ là cảm nhận. Ghi lại: số session, context mỗi request, tool call, thời gian, chi phí.

Bước 2 — Pin subject

Cùng một commit, cùng một bản copy. Nếu subject đổi giữa hai arm, bạn đang đo subject, không đo harness.

Bước 3 — Cùng model, cùng suite

Đây là lỗi tôi từng mắc: arm “không harness” dùng model mặc định, arm “có harness” dùng model khác. Kết quả không nói gì về harness.

Bước 4 — Chấm bên ngoài

Chấm file sau khi sửa, hoặc citation mà agent đưa ra. Không hỏi agent “bạn làm đúng không?”.

Bước 5 — Median, n, và gate

  • Median, không phải mean. Agent có outlier rất lớn.
  • 10 lần/arm là mức tối thiểu để có tín hiệu; 2–3 lần chỉ đủ để nói “cần đo lại”.
  • Gate phải lấy ngưỡng từ dữ liệu đã quan sát, nhưng người quyết định ngưỡng. Một gate tự hạ ngưỡng khi fail là một gate không bắt được regression.

Các lệnh thật trong repo (dùng OpenCode + SQLite; bạn có thể thay bằng log của mình):

npm run baseline # đo install thật trước khi thay đổi npm run measure # so sánh trước/sau, cùng độ dài cửa sổ npm run measure:prune # replay pruner trên session thật npm run attribute # context đi đâu: fixed overhead vs history node eval/ab.mjs --target <scratch>/self --suite eval/tasks-self.json --reps 10 node eval/compare.mjs --target <dir> --suite <suite> --arm 'name=command "$PROMPT"' npm run thresholds # đề xuất ngưỡng từ dữ liệu, không tự áp 

Điểm quan trọng: measure là quan sát một install; measure:prune là attributable vì nó replay đúng pruner trên đúng message; ab là so sánh có kiểm soát. Ba phép đo trả lời ba câu hỏi khác nhau, đừng trộn.

6. Sáu cách đo sai

1. Dùng mean thay median

Một run 262,7 s cạnh hai run 42,4 s và 7,3 s biến median 42 s thành mean 104 s — một con số không đại diện cho lần chạy nào. Agent có outlier; median là bạn.

2. So sánh hai cửa sổ làm việc khác nhau

“Trước khi cài” và “sau khi cài” không cùng khối lượng việc. Có lần phép đo cho context tăng 16%, nhưng thực ra cửa sổ sau có gấp đôi số read và gấp đôi số message. Số đó nói về công việc, không nói về harness.

3. Grader sai

Đây là câu chuyện đáng nhớ nhất. Một lần chạy cho kết quả harness thua 52/60 so với 59/59. Nghe rất rõ. Nhưng grader không đọc được citation agent viết theo dạng:

**File:** `src/profile.js` **Line:** 105 

Pattern cũ dừng ở newline, nên file và số dòng không bao giờ được ghép; câu trả lời đúng bị chấm sai. Chấm lại cùng 120 run, nhưng chỉ tính 4 task tra cứu, bằng grader đã sửa: 34/40 so với 30/40 — harness thắng.

Một harness dùng để đo chính nó mà đo sai còn tệ hơn không đo. Phải kiểm tra grader trước khi tin nó.

4. Chỉ đếm tokens.input

Trong baseline 153 session: input 66,07M, output 3,00M, reasoning 1,45M, nhưng cache read 1.358,49M — gấp 20,6 lần input. Nếu chỉ đếm phần “fresh input”, bạn đang đo phần nhỏ nhất của hóa đơn. Cùng khối lượng đó, chi phí ghi nhận là $0,40; ước tính trên route trả tiền là $53,36.

5. Lấy task ngắn suy ra mọi task

6 task ngắn không thể đo giá trị của pruner, vì session không đủ dài để prune có việc để làm. Kết luận đúng phải kèm điều kiện: “trên task ngắn, harness là chi phí; trên session dài, nó là bảo hiểm.”

6. Để gate tự hạ ngưỡng

Ngưỡng phải là một quyết định của người, dựa trên phân bố đã quan sát. Nếu ngưỡng tự giảm mỗi lần fail, ngày harness hỏng cũng là ngày ngưỡng tụt xuống — và gate sẽ xanh.

7. Khi nào nên dùng harness, khi nào không

Nên dùng khi Đừng dùng khi
Task dài, nhiều file, nhiều tool call Tra cứu một file, hỏi đáp ngắn
Session có thể vượt 10–15 turn Cần latency thấp tuyệt đối
Cần audit, verify, bằng chứng, exit code Không có verify — harness chỉ thêm chi phí
Route model thay đổi, cần failover Một model ổn định, một việc lặp lại
Cần kiểm soát quyền, retention, dữ liệu Setup tối giản là đủ
Đang gặp re-read, context phình, chi phí tăng Context luôn nhỏ, không có tool output lớn

Nếu công việc của bạn là một file, harness là chi phí. Nếu công việc của bạn là 12 file và 50 tool call, harness là bảo hiểm.

8. Checklist 10 câu trước khi nói “agent hiệu quả”

  1. Có baseline trước khi cài chưa?
  2. Hai arm có cùng model, cùng suite, cùng commit chưa?
  3. Correctness có được chấm bên ngoài chưa?
  4. Đã tính cache read và output, hay chỉ tokens.input?
  5. Đang dùng median hay mean?
  6. Có ít nhất 10 runs/arm chưa?
  7. Run timeout được loại, hay bị tính là “nhanh nhưng sai”?
  8. Có đo repeat-read và out-of-scope writes chưa?
  9. Có đo cái giá của chính harness (fixed overhead) chưa?
  10. Nếu số xấu, bạn có dám báo không?

Nếu câu 10 là “không”, chín câu còn lại không có nhiều ý nghĩa.

9. Kết

Sau tất cả các phép đo, kết luận không phải “harness này tốt” hay “harness này tệ”. Kết luận là:

  • Trên task ngắn, harness là chi phí: 5,3–6,4 lần token, 2–2,9 lần thời gian, correctness hoà.
  • Trên session dài, harness là bảo hiểm: 80,5% context bị cắt, history/turn giảm 64%, re-read giảm, process có bằng chứng.
  • Trên task dài, sửa pruner cắt 69% input và 60% thời gian — nhưng vẫn có thể tốn hơn arm tối giản. Giá trị nằm ở chỗ không mất kiểm soát, không phải ở hóa đơn thấp hơn.

Hiệu quả là một giao dịch có số. Nếu bạn không nói được số, đó là niềm tin.

Và nếu bạn đang xây một agent: hãy xây cái thước trước khi xây cái khiên. Một harness không đo được chính nó sẽ rất khó chứng minh nó đang giúp ai.

Nguồn và cách tái lập

Số trong bài là median trên các lần chạy được ghi lại; chúng phụ thuộc model, route và thời điểm. Hãy chạy lại trên log của bạn trước khi dùng bất kỳ con số nào làm quyết định.