Skip to content

fix: Opus 5 の effort=medium 固定を撤廃し System Card 準拠のプロンプト指示へ置換#351

Merged
natsuume merged 6 commits into
masterfrom
fix/opus5-effort-unpin
Jul 26, 2026
Merged

fix: Opus 5 の effort=medium 固定を撤廃し System Card 準拠のプロンプト指示へ置換#351
natsuume merged 6 commits into
masterfrom
fix/opus5-effort-unpin

Conversation

@natsuume

@natsuume natsuume commented Jul 26, 2026

Copy link
Copy Markdown
Owner

概要

Claude Opus 5 System Card の実測に基づき、Opus 5 利用時の effort=medium 固定を撤廃し、プロンプト指示 (effort 選択の目安 + スコープ制限指示の必須化) へ置換する。

削除対象 (AskUserQuestion でユーザ確認済み):

  • agent-discipline: 分業規律 3 ファイル (discipline-fable.md / discipline-sonnet.md / discipline-opus.md) の「Opus 5 を使う委任では effort を medium にする」固定ルール (v0.20.0 導入の fail-closed 文面を含む)
  • pre-push-review: code-reviewer / security-reviewer agent frontmatter の effort: medium 固定 (model: opus 固定は維持)

根拠 (Claude Opus 5 System Card)

  • §8.5 FrontierBench / §8.10.1 HLE / §8.12.2 BenchCAD: 高難度タスクの性能は effort とともにスケールする (FrontierBench は xhigh 44.4% が最良、low は報酬 25% でトークン 64% 減)
  • §8.4 FrontierCode: high 超のスコア低下はタスク範囲外の変更 (依頼外リファクタリング等) が原因で、「タスクのスコープ内に留まれ」という簡潔なプロンプト指示 1 文で大半が回復 (モデル限界ではないと明記)
  • §6.2.1 pilot feedback: 高 effort での自己修正ループ (検証済み回答の再検証の反復) → 既存の「Opus 5 への委任では汎用的な再確認指示を加えない」ルールを維持して対応

進行 (spec-first 2 段階)

  • Phase A (現時点): 契約テストの先行 commit (red) — tests/test_opus5_effort_unpin.py 新設 + tests/test_subagent_model_pins.py の契約更新
  • Phase B (後続 commit): 分業規律 3 ファイルの置換、reviewer frontmatter / body の更新、README・version 同期 (agent-discipline 0.22.1 → 0.23.0 / pre-push-review 5.2.0 → 5.3.0)

Phase A レビュー状況

pre-push-review の 3 レビューを 4 巡実施し、指摘対応は rescue 壁打ち (approve) を経て反映済み。第 4 巡の残 finding の扱い:

  • Phase B commit で修正 (valid): 削除契約ループの診断集約 (code review) / pre-push-review README 現状記述の契約化 (code review) / effort 指針検査の delegation-rules 節スコープ化 (codex review、第 3 巡 rescue approve 済みの節スコープ化パターンの同一適用)
  • invalid と分類: 隣接検査の authoring 形許容 (Phase B の正準形は確定済みで rescue 事前検証により green 確認済み、正準形固定は本リポジトリの契約テスト慣行) / 削除契約の完全節一致化 (不在契約では一致対象が長いほど 1 語変更で回避可能になり現行の複数断片方式より弱い)

🤖 Generated with Claude Code

natsuume added 6 commits July 26, 2026 19:48
@natsuume
test: Opus 5 effort=medium 固定撤廃の契約テストを先行追加 (Phase A)
86645a8 
Claude Opus 5 System Card の実測 (高難度タスクの effort スケーリング、high 超での
タスク範囲外変更傾向とスコープ制限指示による回復、高 effort での自己修正ループ) に
基づく effort 固定撤廃の実行可能仕様として、以下を red テストで固定する:

- agent-discipline 分業規律 3 ファイル: 旧固定文 (effort を medium にする / medium
  指定のみ) の不在、effort 選択指針とスコープ制限指示必須化の存在、スコープ制限 →
  汎用再確認禁止の配置順 (tests/test_opus5_effort_unpin.py 新設)
- pre-push-review reviewer frontmatter: model: opus 維持 + effort 行の不在
  (tests/test_subagent_model_pins.py の契約を更新、OPUS_EFFORT_AGENTS を
  OPUS_AGENTS に rename)
- reviewer body: 検証済み finding の再検証ループを抑止する較正文の存在

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
test: レビュー指摘対応 — 削除契約の断片網羅と frontmatter 除外検査
cfcf6fb 
- REMOVED_PHRASES に旧 bullet 内の Workflow 向け明示 (effort: 'medium') と
  fail-closed 節の断片 (実効 effort が medium) を追加し、部分書換えでも
  red になるよう削除契約を強化 (codex review / code review の同族指摘)
- reviewer 較正文の検査を body_after_frontmatter() で本文限定にし、
  実行時に配送されない frontmatter への記載を green と誤認しないようにする
  (codex review 指摘、rescue approve 済み)

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
test: レビュー指摘対応 (2 巡目) — fallback 断片の網羅と effort キー検出の頑健化
da98867 
- REMOVED_PHRASES に Sonnet 降格 fallback の断片 (Opus 5 を使わず実効 model を
  Sonnet 系に) を追加し、旧 bullet 先頭のみの部分書換えでも red になるようにする
- effort pin 不在検査をリテラル前置一致から EFFORT_KEY_PATTERN (キー前後の空白・
  引用符揺れを捕捉する正規表現) に変更する。正の検査 (model: opus) は正準表記を
  リポジトリ側が所有するためリテラル一致を維持する非対称を意図
  (いずれも codex review 指摘、rescue approve 済み)

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
test: レビュー指摘対応 (3 巡目) — 難度調整禁止句の網羅・節内隣接検査・保全ガード
f69d757 
- REMOVED_PHRASES に第 6 断片 (難度による引き上げ・引き下げをしない) を追加し、
  難度調整禁止句が残存する部分書換えを red にする (codex review 指摘)
- 隣接配置検査を rule:delegation-instruction 節スコープ + 段落 index 隣接
  (各 1 回・連続) に強化し、docstring の「隣接」主張と検査実体を一致させる
  (codex review / code review の同根指摘、rescue の節スコープ補強案を採用)
- 「Sonnet 系には effort を指定しない」規範文の保全ガード
  (test_sonnet_no_effort_rule_preserved、Phase A から green) を追加し、
  撤廃断片を含む bullet 全体の誤削除を red にする (code review 指摘)
- モジュール docstring に変更契約 (red) と保全ガード (green) の役割分離を明記
  (いずれも rescue approve 済み)

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
fix: Opus 5 の effort=medium 固定を撤廃し System Card 準拠のプロンプト指示へ置換 (Phase B)
96d16e4 
Claude Opus 5 System Card の実測 (§8.5/§8.10.1/§8.12.2 の effort スケーリング、
§8.4 の high 超スコープ外変更とスコープ制限指示による回復、§6.2.1 の高 effort
自己修正ループ) に基づく実装本体:

- agent-discipline 分業規律 3 ファイル: 「effort を medium にする」固定 (v0.20.0
  導入の fail-closed 文面) を「effort を固定しない (難度・コストに応じて選択、
  性能は単調増加とは限らない)」の非拘束指針に置換し、delegation-instruction 節に
  「Opus 5 への委任指示にはスコープ制限の 1 文を必ず含める」段落を再確認禁止
  段落の直前に追加。「Sonnet 系には effort を指定しない」の末尾も整合
- pre-push-review reviewer 2 agent: frontmatter の effort: medium を削除
  (model: opus は維持)、body に検証較正文 (再検証ループ禁止・スコープ内留保)
  を追加。README 現状参照節を更新
- レビュー第 4 巡の valid finding 対応: 削除契約の診断集約、effort 指針検査の
  delegation-rules 節スコープ化、pre-push-review README 整合契約の追加
- version bump: agent-discipline 0.22.1 → 0.23.0、pre-push-review 5.2.0 → 5.3.0
  (plugin.json / marketplace.json / 直下 README / plugin README の 4 箇所同期)

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
fix: reviewer 較正文に単一 pass 限定を明記し resume 契約との衝突を解消
42c2a66 
再検証ループ禁止の較正文が、親 session が resume で依頼する focused validation
(既存の resume 契約) まで literal に禁止と読める衝突を解消する。較正文の適用範囲を
「単一 review pass 内の自己判断の再検証」に限定し、親の resume 依頼は新タスクとして
常にスコープ内であることを明記した (code review 第 5 巡指摘)。

Generated with [Claude Code](https://claude.com/claude-code)
@natsuume
natsuume marked this pull request as ready for review July 26, 2026 12:04
@natsuume
natsuume merged commit 53e115f into master Jul 26, 2026
3 checks passed
@natsuume
natsuume deleted the fix/opus5-effort-unpin branch July 26, 2026 21:33
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Reviewers

No reviews

Assignees

No one assigned

Labels

None yet

Projects

None yet

Milestone

No milestone

Development

Successfully merging this pull request may close these issues.

1 participant

@natsuume