Repository navigation
fix: execute real backend journeys in Dashboard source acceptance - #8652
Conversation
Signed-off-by: lusendong.6789 <lusendong.6789@bytedance.com> Co-authored-by: TRAE CLI <traecli@bytedance.com>
Signed-off-by: lusendong.6789 <lusendong.6789@bytedance.com> Co-authored-by: TRAE CLI <traecli@bytedance.com>
…d RFC gates Signed-off-by: lusendong.6789 <lusendong.6789@bytedance.com> Co-authored-by: TRAE CLI <traecli@bytedance.com>
There was a problem hiding this comment.
Reviewer: model_agent · GPT-6 family · TRAE · self_reported
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
APPROVE；当前完整 diff 没有阻塞发现。CI 和合入就绪状态仍独立检查。
动机 / Motivation
维护 Dashboard 验收和合入的开发者。
源码模式下首次 Goal 和运行就绪场景曾跳过真实后端却显示 PASS；现在必须完成实际服务断言和读回，才能进入 PASS 回执。
同一源码下两项真实后端旅程实际执行，完整 86 场景和 coverage 合并通过，200 项 M2 对照及真实延迟负例保留完整样本并按原边界判定。
本项不完成整个最小化内核 RFC，不改变产品界面、运行时 authority 或渲染阈值，也不证明安装宿主、模型收益或完整成本。
R1 的完整最小加载和上下文闭包、真实 managed Turn/恢复，以及 M3 分包安装与发布等验收仍开放。
跳过后端会给合入提供错误信心；无关的 socket 或键盘调用失败又迫使重复完整验收。 这里交付的是可重复验证的源码验收修复，不能从场景计数推断完整内核或模型收益。
改动思路 / Approach
只删除两个早退能修当前问题，却不能防止以后重新提前返回。复用 runner 的显式标记即可，不能用所有空 coverage 都失败的规则替代；现有一些场景实际执行打包后端，返回空数组是合理边界。只读重试保持原上限；帮助动作绑定当前按钮并直接检查查询，未增加等待预算或取消断言。 真实断言仍归现有旅程和 Chat/CLI owner；runner 只决定能否记录 PASS，标记是本地验收元数据，不授予执行权限，也不是执行认证。
| 触发 | 原行为 | 本 head 的行为 |
|---|---|---|
| 源码后端旅程 | 提前返回仍 PASS | 完成真实读回才 PASS；缺失标记记录 FAIL |
| 原生 GET/HEAD socket 错误 | EPIPE 中断整段验证 | 既有至多三次恢复；写请求和任意文字不重试 |
| 关闭筛选范围帮助 | 全局键盘可能清空查询 | 当前按钮 Enter/Escape，关闭后查询必须保留 |
此表是 5f046061b3fbc54e33275b4c545899e5653ff440 的源码对照说明；执行证据见后面的验证记录。backend fixture、runner 和现有 merger 共用发布边界，历史回执格式不变，没有新增版本分支或第二个 state owner。
具体改动 / Changes
按 docs/architecture/rfcs/goal-workspace-surface-v0.md 的提交前版本 708c68e 审查 §9 及 prospective V10，未用新检查点替代原规则。
- Real backend：implemented。 §9：合成夹具只能证明组成；真实 owner 旅程需要实际执行，跳过不能当作绿色。 验证：source partition 2 backend markers and unit early-return negative。
- V9：implemented。 打开、刷新和切换视图不产生 action/quota/validator 副作用。 验证：complete source regression and independent no-effect assertions。
- V10：implemented。 完整200项；五种切换各三次；ordinary median<1000ms、coverage median<1500ms；每样本<2000ms；保留长任务和旧失败。 验证：matched source runs, independent recomputation, real repeated-delay negative and strict boundaries。
关键代码讲解
- requireBackendReadback 在 main 写 PASS 之前检查严格的 true。未声明需要后端的场景保留原语义，因此真实运行但没有 Vite mapping 的其他场景仍有效。
- firstGoalHomeLiveScenario.run 删除源码早退，真正启动一次性服务。返回标记位于注册表、目录及原失败操作读回之后；退出式 Agent 的首 Turn 失败被如实断言，不能把登记当作模型任务完成。
- runtimeReadinessLiveScenario.run 实际检查 PATH 缺失、只读消息持久化、项目拒绝和再次探测。source 与 packaged 已有 bundle，工作流并不缺这项准备。
- fetchWorkspaceBackend 优先 errno，回退仅解析原生首行。只有 GET/HEAD 和原有尝试上限允许恢复；原请求、查询与 Origin 重绑定规则保留。
- readEmptyScope 使用当前 locator 显式 Enter 打开、Escape 关闭，等待提示消失并比较原查询。它修复测试调用目标，没有恢复查询来掩盖产品错误或增加计时宽限。
六个 existing harness/test 文件与四个 RFC 镜像共同变化。两个双语检查点使用同一来源、样本和边界；一次性日志、临时 driver、截图和 uv.lock 都未提交。
对主干的风险 / Risks
最强反例是“测试通过但后端仍没有执行”，因此我核对了两项真实断言的位置、来源目录和完整第二分片的读回标记，而非只看布尔字段。另一个反例是 socket 恢复重复写入：单位负例确认 POST/PUT/PATCH/DELETE 一次尝试，持久 EPIPE 到第三次停止，任意诊断文字不能授权重试。
| 验证 | 结果及限制 |
|---|---|
| 完整 source coverage | PASS，86 场景按29/29/28互不重叠；目录、共同源码、后端标记和非空合并 coverage 独立核对 |
| M2 对照 | PASS，完整200项、五组各三次、15个窗口；ordinary 最大366.08ms，coverage 最大421.22ms，完整分片最大463.88ms |
| 真正重复停顿 | 普通规则正确 FAIL：注入1,200ms，慢组median1,491.77ms，全部15样本/窗口保留 |
| 严格负例 | PASS，12项；1000/1500/2000严格边界、缺失样本、提前返回和重试边界 |
| 最终 premerge | PASS，四个直接检查与11个仓库选定检查，零失败/警告 |
| Linux source CI | PASS，run43254219961三个分片及合并验收；下载回执逐项核对86场景、29/29/28分片、真实后端标记和非空coverage |
| Linux coverage M2 | 独立重算PASS：五组median1098.73/896.45/1348.03/652.90/601.92ms，最大1498.53ms；全部200项、15样本、15长任务窗口/60条记录及5个above1000ms观察保留，按既有1500ms/2000ms边界 |
| Release Artifacts | 当前installed candidate的86场景及team/craft伴随旅程PASS；下载三个分片回执独立核对29/29/28、相同candidate13960653117及来源摘要。第一分片重跑通过，首次既有Enter展开超时仍FAIL，根因未确定；发布流水线join/readiness另行检查 |
| Windows output budget | FAIL，小场景base/head均40386chars而上限40000；主干另外两组40388/40413，candidate在首个失败处停止。全diff未改输出owner、CLI或budget checker；属于已有基线失败，未重分类为PASS、未增大上限 |
| Remaining Python shards | 六项PENDING，查询确认尚无runner及执行步骤；作为独立CI/readiness限制保留 |
受测运行代码是 eedfc5e2416dcba0b8d431aac0b1a6682beea059，之后到此 head 只有四个 RFC 文件变化，所有运行源码哈希保持一致。三次历史完整运行的 EPIPE、查询丢失与临时目录失败和定向诊断分别保留；后来的 PASS 未覆盖旧记录，也未证明旧 Linux 超限是宿主噪声。临时目录底层原因仍未确定，这一风险及恢复观察保留，但该 API 路径不在本 PR 的生产修改中。
我的整体评价 / Verdict
维护者合入决定：按已有 owner 的自行合入授权采用 admin 路径。最终 head 保持 5f046061b3fbc54e33275b4c545899e5653ff440；完整本地与 Linux source 回归、同一 installed candidate 的86场景/team/craft、发布产物合并校验、12项严格负例和15项 premerge 检查均通过，评审及线程无阻塞发现。当前 readiness 为 false，38项成功、6项等待 runner、1项 Windows 既有40386/40000基线失败；该失败在base/head小场景相同，完整diff没有修改输出owner。此次绕过仅针对这些 CI/readiness 限制，原失败、未知根因及完整RFC/R1/M3、宿主/模型/总成本和目标收尾回归义务继续保留。
这是 justified_increment：源码验收缺口已形成完整可回滚的交付，R1/M3 的剩余资格继续由原 owner 推进。long_horizon preserved，runtime 的 work/lease/stop/settlement owner 没有变化；user_experience preserved，没有新增产品控制或人工确认回合。变更只在 examples 和 RFC；apps 的呈现代码未改，当前实际首屏已检查。本轮没有新的呈现变更；Linux源码资格现在有完整回执，发布包、安装宿主和真实模型任务仍是独立资格。
没有阻塞发现。完整Linux源码回归与changed-invariant负例已核对；发布包浏览器资格现已核对；剩余CI/readiness仍hold正常合入路径，Windows是未改路径上的已有基线失败，底层平台成本原因未确定。安装宿主和实际模型成果／完整成本仍未验证；本地真实后端与退出式模型替身的边界已披露。新增标记和 errno 分类留在本地验收 owner，不创建 shared vocabulary；维护性和全树语义检查通过。删除过时早退、复用已有 guard/helper 比新增公共框架更小，当前 diff 的必要性成立。
English verdict: APPROVE — head 5f04606; no blocking finding. Complete local and Linux source86-scenario coverage, real backend readback and strict negative/premerge checks pass. Linux coverage M2 retains200 items/all15 samples and5 above1000ms observations within the existing1500ms median/2000ms sample limits. All86 installed-candidate browser scenarios and existing team/craft companions also pass with one candidate/source identity. The initial keyboard timeout remains a historical failure with no cause inferred. Queued Python shards, remaining release-pipeline checks and the unchanged Windows baseline failure retain a separate normal merge-readiness hold; installed-host/model qualification and historical causes remain separate.
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · gpt-6.1-sol · OpenAI · runtime_reported · max
本次评审对应 5f046061b3fbc54e33275b4c545899e5653ff440。
动机 / Motivation
用 Dashboard source 验收评估 Goal 注册和运行时故障恢复的开发者。受这项验收影响。在源码 coverage 中，首次 Goal 和运行就绪两个场景原先提前返回，收据显示 PASS，却未执行注册或检查运行时。同一份场景目录在源码和打包模式均启动隔离 Chat 后端，首次 Goal 完成注册表读回，运行就绪完成真实重新探测。独立验证覆盖 macOS Node 24.21 的源码分片、打包场景与渲染门。作者记录的 Node 26 全 86 项、Linux、安装态和真实模型任务属于各自的证据范围。
改动思路 / Approach
复用现有场景目录和两个真实后端。Python 服务继续负责注册和运行时观测，场景读回完成后返回明确证据，runner 在记 PASS 前校验。源码分线使用 Vite 的源映射，打包分线使用经验证的 Chat bundle。验收门放在既有 runner 中，新增场景可以沿用同一合同。 验收入口
具体改动 / Changes
关键内容讲解
firstGoalHomeLiveScenario和runtimeReadinessLiveScenario在两个分线执行。首次 Goal 校验真实注册表和列表，并保留 stub Agent 的失败结果。运行时场景读取真实探测结果，再重新检查 PATH 可用性。 首次 Goal 运行就绪requireBackendReadback在写入 PASS 前拒绝缺失的后端回读，报告保留backend_readback_verified。独立短路实际入口得到 rc=1 和 FAIL。两个场景在源码 2/3 分片和打包分线均记录已读回，完整源码分片通过 29 项。 runner- 现有代理只在 GET/HEAD 的三次上限内处理 EPIPE，识别原生错误码或 Playwright 首行。研究搜索把 Enter、Escape 绑定到实际提示按钮，校验退出提示后保留查询。 代理 键盘旅程
docs/architecture/rfcs/goal-workspace-surface-v0.md在708c68e7040559b2a4368002439570b90bc080b2的 Section-9-Backend 对应真实后端及其读回，V10 的 200 项与既有阈值继续通过。两对 RFC 记录的是有边界的本地验收结果。docs/architecture/rfcs/monorepo-distribution-split-v0.md§11 的 R1/M3 仍由实际管理 Turn 和分发验收负责。 工作区规格 分发规格
对主干的风险 / Risks
实际连接拒绝时，主干与 head 的 GET、HEAD 都在两次调用后恢复，POST 只调用一次。EPIPE、三次上限和诊断文本通过独立负例。研究搜索在打包入口通过。单独以 source coverage 运行这个嵌套打包场景时，两版本均完成场景后报无映射，现有的 coverage 输出保持这一约束。M2 实际跑过普通和 coverage 两条路径，各有 200 项、15 个样本及 15 个长任务窗口。最大样本分别为 190.7 和 446.8 ms，沿用既有阈值。 相关测试
我的整体评价 / Verdict
APPROVE。当前评审未发现阻塞问题。源码场景现在通过真实注册和运行时重查来取得通过结果，故意跳过后端会使实际验收失败。现有 catalog、打包场景和分片可继续复用；同作者 #8456 的 M2 诊断规则和本 PR 的后端读回有各自的覆盖。4 项直接检查、11 项 canary、12 项 Node 断言通过。正式安装和其他平台仍有各自验收。
English verdict: APPROVE. Head 5f04606 requires real backend readback before PASS; one complete source shard, packaged journeys, and the early-return negative confirm the delivered scope.
Goal And Delivered Outcome
Dashboard source coverage could report PASS for first-Goal and runtime-readiness journeys without executing their real backends. Both lanes now run those journeys, and explicitly required backend readback must finish before PASS. The existing read proxy also recovers EPIPE within its three-attempt GET/HEAD bound; research scope-help keyboard actions preserve the selected query.
main@708c68e7040559b2a4368002439570b90bc080b2.Author Declaration
docs/architecture/rfcs/goal-workspace-surface-v0.md§9/V10 and its prospective qualification, plusdocs/architecture/rfcs/monorepo-distribution-split-v0.md§9/§11, at the base above.Scope And Continuation
Complete within the source-acceptance repair. Product implementation, rendering budgets, HTTP-write retry behavior and persisted authority are unchanged. The minimal-kernel program remains open for executable minimal closure, split installation, host adoption and independently qualified cost/outcome evidence. Revert this PR to roll back; no state migration.
Validation
eedfc5e2416dcba0b8d431aac0b1a6682beea059. Final head5f046061b3fbc54e33275b4c545899e5653ff440adds only the four RFC mirrors; all runtime hashes are unchanged.The passing partitions took 1,943.74 seconds. Earlier EPIPE, query-loss and temporary-directory failures remain recorded separately; diagnostic replay never replaces a failed full run. The original frozen 1.162-second failure and cancelled runs retain their status. This qualifies local macOS/Node 26 source. Linux CI, installed-host adoption, real model-task completion, kernel attribution and complete costs remain separate. The first-Goal fixture uses an exit-only Agent and verifies registration plus honest failed-Turn recovery.
Frontend / Visual Evidence
Type / Area / Direction
Bug fix, test update and bilingual documentation update; Dashboard source validation. Goal workspace V10 and minimal-kernel source qualification. Shared-authority migration impact: N/A; no production state, provider routing or compatibility projection changed.
Boundary Checklist