Commit cdf33bb2 cdf33bb25a84c92e88cbbc6755226d089ab6f64f by cnb.bofCdSsphPA

Preserve the observable build-index state so the next session can resume from the real bottleneck

Constraint: Long-running CPU-only chromaprint indexing has not reached evaluate yet
Rejected: Keep appending linear refs_done updates | produces noise without a stage transition
Confidence: high
Scope-risk: narrow
Directive: Do not create the next handoff commit until chromaprint completes, reference_* appears, evaluate starts, or the process fails
Tested: Verified /tmp/chroma_index_observable_smoke progress snapshot; reviewed updated handoff/changelog files
Not-tested: No new model/evaluation result because build-index has not reached the next stage
1 parent bc6d07af
...@@ -72,40 +72,32 @@ ...@@ -72,40 +72,32 @@
72 - `hybrid` 波动收敛 72 - `hybrid` 波动收敛
73 - 更接近商用的数据集组合评测 73 - 更接近商用的数据集组合评测
74 74
75 ## 5.5 最新真实 FMA smoke 运行态(2026-06-02) 75 ## 5.5 最新真实 FMA / chromaprint 运行态(2026-06-02)
76 76
77 ### 当前最新快照(13:36 UTC) 77 ### 当前最新快照(14:25 UTC)
78 78
79 - 远程同步基线:`c2d7820cdeebb142896916c0a03726521e5c09d8` 79 - 远程同步基线:`bc6d07afbd1e31d3956d20e35c20c424bc21ba99`
80 - 真实 FMA smoke 已完成训练,`best_model.pt``song_to_idx.json` 已生成。 80 - 已推送完成:
81 - 当前最重要活跃阶段不是训练,而是: 81 - chromaprint `_find_peaks()` 等价优化
82 - `run_demo.py build-index --data /tmp/fma_real_smoke_stopcheck/fma/manifests ...` 82 - chromaprint 建索引 observability
83 -`2026-06-02 13:36 UTC` 83 - 新 session 的主要监控对象应切到:
84 - `evaluate.py` 仍未出现 84 - `PID=431703`
85 - `fma_index_smoke/` 目录已创建,但还没有索引产物文件证据 85 - `/tmp/chroma_index_observable_smoke/chromaprint_progress.json`
86 - 因此新 session 不应重复排查训练;应优先盯住 `build-index -> evaluate` 的阶段切换。 86 - `/tmp/chroma_index_observable_smoke/chromaprint.pkl`
87 87 - `2026-06-02 14:25:32 UTC` 证据:
88 88 - `status=building`
89 - 真实 FMA 数据已本地就绪:`acr-engine/data/raw/fma_small_audio/` 89 - `refs_done=1740/8000`
90 - 已验证: 90 - `elapsed_sec=1385.4`
91 - `num_audio_files=8000` 91 - `eta_sec=4984.254`
92 - `eligible_query_files=7994` 92 - `hashes=229127`
93 - `ready_for_smoke=true` 93 - `postings=1510952`
94 - 当前有一条真实 FMA 端到端 smoke 正在运行: 94 - 当前尚未出现 `reference_*``evaluate.py`,因此**还不能输出最终 accuracy 结论**
95 - 进程:`src/data/external_adapters.py smoke-local fma ...` 95 -`PID=424691` 真实 FMA 全量 build-index 进程仍在,但它是 observability 改动前启动的旧路径;不要把它当作新代码验证来源。
96 - 输出:`/tmp/fma_real_smoke_stopcheck` 96 - 下一次值得提交的事件只应是:
97 - 训练子进程:`train.py --data /tmp/fma_real_smoke_stopcheck/fma/manifests ...` 97 1. `chromaprint_progress.json status=complete`
98 - 最新 checkpoint(2026-06-02 12:09 UTC): 98 2. `reference_*` 文件出现
99 - `train.py` 仍在运行 99 3. `evaluate.py` 启动
100 - `ELAPSED=12:00` 100 4. 或明确失败
101 - `catalog_references=8000`
102 - `train_queries=6401`
103 - `test_queries=1593`
104 - `fma_models_smoke/` 仍为空,这在当前实现中是正常现象,因为 `best_model.pt` 只会在 `Epoch 1` 结束后首次保存
105 - 环境确认无 GPU:
106 - `nvidia-smi` 不可用
107 - `torch.cuda.is_available() = false`
108 - 因此当前最真实的卡点不是 bug,而是 **CPU-only 真实 FMA smoke 耗时长**
109 101
110 ## 6. 高风险注意事项 102 ## 6. 高风险注意事项
111 103
......
1 ## 2026-06-02 14:25 UTC / restart-package handoff refresh
2
3 - 交付基线刷新为:`bc6d07afbd1e31d3956d20e35c20c424bc21ba99`
4 - 固化当前最重要运行证据:observable chromaprint smoke
5 - `PID=431703`
6 - `status=building`
7 - `refs_done=1740/8000`
8 - `hashes=229127`
9 - `postings=1510952`
10 - 明确旧真实 FMA build-index 进程仅作背景运行态,不再作为新 observability 代码验证来源
11 - 重写交付/交接文档,便于新 session 直接从 `chromaprint -> reference_* -> evaluate` 阶段继续
12 - 约束保持不变:不提交 `data/raw``data/external_smoke``/tmp`、checkpoint、`__pycache__`
13
1 ## 2026-06-02 chromaprint build-index observability checkpoint 14 ## 2026-06-02 chromaprint build-index observability checkpoint
2 15
3 完成项: 16 完成项:
......
1 # Changelist / 2026-06-02 1 # Changelist / 2026-06-02
2 2
3 ## 本次最终交付补充(13:36 UTC) 3 ## 本次补充交付(2026-06-02 14:25 UTC)
4 4
5 - 已把最新真实 FMA 全量 smoke 状态固化到 handoff 文档。 5 ### 目标
6 - 当前事实已变为:训练完成,进入 `build-index`,但 `evaluate.py` 尚未开始。 6 在当前长时间 `build-index` 尚未结束前,先把**可重启、可续跑、可判断阶段切换**的交付包固化下来。
7 - 新 session 不应再从训练阶段开始理解,而应直接接管 `build-index` 监控。
8 7
8 ### 本次纳入交付的内容
9 9
10 ## 本次交付目标 10 | 类别 | 内容 |
11
12 在不等待长时间 benchmark 完成的前提下,交付一套足够完整的续跑文档,让新 session 能立刻知道:
13 - 已完成什么
14 - 正在卡在哪里
15 - 下一步跑什么
16 - 哪些文件能提,哪些不能提
17
18 ## 文件级变更
19
20 | 文件 | 变更说明 |
21 |---|---| 11 |---|---|
22 | [../AGENT.md](../AGENT.md) | 新增开发偏好与续跑记忆 | 12 | 代码 | chromaprint 峰值扫描等价优化;建索引进度可观测化 |
23 | [./session-handoff.md](./session-handoff.md) | 增补当前卡点、待办与续跑命令 | 13 | 证据 | `/tmp/chroma_index_observable_smoke/chromaprint_progress.json` live checkpoint |
24 | [./delivery-handoff-2026-06-02.md](./delivery-handoff-2026-06-02.md) | 新增快速接管摘要 | 14 | 文档 | `CHANGELOG``changelist``delivery handoff``session handoff``AGENT memory` |
25 | [./CHANGELOG.md](./CHANGELOG.md) | 记录本次交付检查点 | 15 | 交接 | 明确旧 FMA 进程与新 observable 进程的区别 |
26
27 ## 不在本次提交中的内容
28
29 - FMA / MTG-Jamendo 原始数据
30 - `data/external_smoke` 中的音频与模型产物
31 - `/tmp` benchmark 输出
32 - `__pycache__`
33 - checkpoint / index 目录
34
35 ## 当前运行中的任务
36
37 - `cap48 top2 seed=999`
38 - 启动命令:
39
40 ```bash
41 cd /workspace/acr-engine
42 /usr/local/miniconda3/bin/python scripts/ab_smoke_segmentation.py \
43 --dataset fma \
44 --input-dir data/raw/fma_small_audio \
45 --work-root /tmp/ab_smoke_seg_cap48_top2_seed999 \
46 --subset-size 48 \
47 --query-duration 8 \
48 --train-epochs 1 \
49 --batch-size 2 \
50 --device cpu \
51 --strategies hybrid high_energy \
52 --max-test-queries 24 \
53 --seed 999 \
54 --output-json /tmp/ab_smoke_seg_cap48_top2_seed999/report.json
55 ```
56
57 ## 下一步建议
58
59 1. 检查 `seed=999` 是否完成。
60 2. 生成 3-seed aggregate。
61 3. 回写 workflow / handoff / changelog。
62 4. 提交推送。
63 5. 再开启 cap64 或 bucket benchmark。
64
65 ## 本次追加证据
66
67 - 已确认 `cap48 top2 seed=999` 未卡在 build-index。
68 - `hybrid` 已完成 reference index,随后进入 `evaluate.py`
69 - 本次提交用于沉淀这份 fresh verification evidence,方便下个 session 不必重复排查。
70
71 - 已补记 `hybrid` seed=999 的中间结果:`top1=0.875 / topk=1.0 / num_queries=24`
72
73 - 已补齐 `seed=999` 最终结果,并完成 cap48 三 seed aggregate 归纳。
74
75 - 已记录 cap64 benchmark 已启动,并确认进入 `high_energy` 训练阶段。
76
77 - 已补充 cap64 新鲜证据:`high_energy` 索引完成(`64 refs / 657 windows / 192-d`)并进入 `evaluate.py`
78
79 - 已补充 cap64 首个结果:`high_energy = top1 0.625 / topk 1.0 / num_queries 32`,并记录主流程切换到 `hybrid`
80
81 - 已补充 cap64 阶段推进:`hybrid` 已进入训练阶段。
82
83 - 已补充 cap64 阶段推进:`hybrid` 已完成训练并进入 build-index。
84
85 - 已补充 cap64 新鲜证据:从运行会话确认 `hybrid``Epoch 1/1` 已完整跑完。
86
87 - 已补充 cap64 新鲜证据:`hybrid` reference index 完成(`64 refs / 657 windows / 192-d`)并进入 `evaluate.py`
88
89 - 已补齐 cap64 最终结果:`hybrid=0.875``high_energy=0.625`,winner=`hybrid`
90
91 - 已新增 `acr-engine/scripts/ab_smoke_bucketed.py`,并完成首个 bucket 的 smoke 验证。
92
93
94 - 已补齐 bucket/style-aware smoke 的完整汇总:
95 - `prefix_000_a` winner=`hybrid`
96 - `prefix_000_b` winner=`high_energy`
97 - aggregate 层面两者 `mean_top1=1.0`,但 `hybrid` `mean_num_queries` 更高。
98
99 ## 最新待办(重启后直接接手)
100
101 1. 把 toy prefix bucket 升级为更有业务意义的 bucket:
102 - 高能段主导
103 - 重复副歌明显
104 - 节拍规整
105 - 混淆样本 / hard negative
106 2. 继续补 cap64 multi-seed,而不是只保留单 seed。
107 3. 在 bucket 基线下继续优化 `hybrid` 波动,而不是过早锁定全局默认策略。
108 4. 保持“文档更新 -> changelog -> commit -> push”的阶段节奏。
109
110
111 - 已新增 `acr-engine/scripts/business_export_offline_smoke.py`,并拿到端到端离线 smoke fresh evidence。
112 - 已确认链路:业务导出样例 -> 规范化 -> 项目 manifest -> `train.py --dry-run`
113
114 - 已补记真实 FMA smoke 的进行中 fresh evidence:
115 - `fma_small_audio``ready_for_smoke=true`
116 - 真实 smoke 输出目录:`/tmp/fma_real_smoke_stopcheck`
117 - manifest 校验通过:`catalog_references=8000`, `train_queries=6401`, `test_queries=1593`
118 - 当前环境无 GPU,真实 smoke 正在 CPU 上进入长训练阶段
119 - 训练中途 `fma_models_smoke/` 为空是正常现象,因为 `train.py``Epoch 1` 结束后才首次保存 `best_model.pt`
120
121
122 ## 本次收尾补充(12:09 UTC fresh evidence)
123
124 - 已确认真实 FMA smoke 仍在 CPU 训练中:`train.py` `ELAPSED=12:00`
125 - 已再次确认 manifest 校验通过:
126 - `catalog_references=8000`
127 - `train_queries=6401`
128 - `test_queries=1593`
129 - `val_queries=0`
130 - 已确认 `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/` 仍为空目录,但这符合当前 `train.py` 的 epoch-end 保存逻辑。
131 - 已将这些状态同步写入:
132 - [./session-handoff.md](./session-handoff.md)
133 - [./delivery-handoff-2026-06-02.md](./delivery-handoff-2026-06-02.md)
134 - [./CHANGELOG.md](./CHANGELOG.md)
135 - [../AGENT.md](../AGENT.md)
136
137 ### 现在的真正卡点
138
139 1. 无 GPU,真实 FMA 全量 smoke 训练时间长。
140 2. MTG-Jamendo 本地目录尚未就绪,无法进入同级 smoke。
141 3. 工作区有大量数据噪音,必须继续精准暂存。
142
143 ### 重启后的直接动作
144
145 1. 先看 [./session-handoff.md](./session-handoff.md)
146 2. 再检查真实 FMA smoke 是否已经产出 `best_model.pt` 或进入 `build-index/evaluate`
147 3. 若完成,则先补文档、changelog、commit、push,再继续下一轮 benchmark。
148
149
150 ## 12:11 UTC 再校验补充
151
152 - 已拿到比上一提交更新的 fresh evidence:`train.py ELAPSED=14:25`
153 - 已确认当前仍未切换到 `build-index``evaluate` 进程。
154 - 已确认模型输出目录仍为空,仅有目录本身。
155 - 这进一步证明:当前是长时间 CPU 训练,不是进程悬挂。
156
157
158 ## 12:12 UTC 再次时间推进补充
159
160 - 最新 live 证据已推进到:`train.py ELAPSED=15:12`
161 - 当前 CPU / 内存观测:`%CPU≈614`, `%MEM≈10.5`
162 - 仍未出现 `build-index/evaluate` 进程,也未出现首个模型文件。
163 - 这说明当前只是继续处在真实 FMA 全量 epoch 内训练阶段。
164
165
166 ## 12:14 UTC 时间推进补充
167
168 - 最新 live 证据已推进到:`train.py ELAPSED=17:07`
169 - 仍未出现模型文件,也未切换到 `build-index/evaluate`
170 - manifest 校验结果保持不变且继续通过。
171
172
173 ## 12:15 UTC 时间推进补充
174
175 - 最新 live 证据已推进到:`train.py ELAPSED=18:22`
176 - 仍未出现模型文件,也未切换到 `build-index/evaluate`
177 - manifest 复核继续通过,统计保持不变。
178
179
180 ## 12:16 UTC 时间推进补充
181
182 - 最新 live 证据已推进到:`train.py ELAPSED=19:12`
183 - 当前 CPU / 内存观测:`%CPU≈614`, `%MEM≈10.6`
184 - 仍未出现模型文件,也未切换到 `build-index/evaluate`
185 - manifest 复核继续通过,统计保持不变。
186
187
188 ## 12:17 UTC 时间推进补充
189 16
190 - 最新 live 证据已推进到:`train.py ELAPSED=20:08` 17 ### 文件级变更
191 - 当前 CPU / 内存观测:`%CPU≈614`, `%MEM≈10.6`
192 - 仍未出现模型文件,也未切换到 `build-index/evaluate`
193 - manifest 复核继续通过,统计保持不变。
194 18
195 19 | 文件 | 说明 |
196 ## 12:19 UTC 时间推进补充 20 |---|---|
197 21 | [./CHANGELOG.md](./CHANGELOG.md) | 补记本次 restart package 交付 |
198 - 最新 live 证据已推进到:`train.py ELAPSED=22:10` 22 | [./delivery-handoff-2026-06-02.md](./delivery-handoff-2026-06-02.md) | 重写为当前最短接管包 |
199 - 当前 CPU / 内存观测:`%CPU≈615`, `%MEM≈10.7` 23 | [./session-handoff.md](./session-handoff.md) | 顶部快照切到 `bc6d07a + observable chromaprint` |
200 - 仍未出现模型文件,也未切换到 `build-index/evaluate` 24 | [../AGENT.md](../AGENT.md) | 更新长期记忆,避免新 session 误判当前阶段 |
201 - manifest 复核继续通过,统计保持不变。 25
202 26 ### 当前最重要的 fresh evidence
203 27
204 ## 12:20 UTC 时间推进补充 28 - 远程基线:`bc6d07afbd1e31d3956d20e35c20c424bc21ba99`
205 29 - 观测时间:`2026-06-02 14:25:32 UTC`
206 - 最新 live 证据已推进到:`train.py ELAPSED=22:58` 30 - 观测对象:`/tmp/chroma_index_observable_smoke/chromaprint_progress.json`
207 - 当前 CPU / 内存观测:`%CPU≈615`, `%MEM≈10.8` 31 - 状态:
208 - 仍未出现模型文件,也未切换到 `build-index/evaluate` 32 - `status=building`
209 - manifest 复核继续通过,统计保持不变。 33 - `refs_done=1740/8000`
210 34 - `elapsed_sec=1385.4`
211 35 - `eta_sec=4984.254`
212 ## 12:21 UTC(30 秒窗口)时间推进补充 36 - `hashes=229127`
213 37 - `postings=1510952`
214 - 最新 live 证据已推进到:`train.py ELAPSED=24:11` 38 - 已确认:新代码路径会持续写出 `chromaprint_progress.json``chromaprint.pkl`
215 - 当前 CPU / 内存观测:`%CPU≈615`, `%MEM≈11.3` 39 - 未确认:`reference_*``evaluate.py`、最终 report
216 - 30 秒额外等待后,仍未出现模型文件,也未切换到 `build-index/evaluate` 40
217 - manifest 复核继续通过,统计保持不变。 41 ### 重要决策
218 42
219 43 1. 现在**不再**重复记录每一次 `refs_done` 的线性增长。
220 ## 12:25 UTC(120 秒窗口)时间推进补充 44 2. 下一个值得再次提交的节点只应是:
221 45 - `chromaprint` 完成
222 - 最新 live 证据已推进到:`train.py ELAPSED=27:54` 46 - `reference_*` 文件出现
223 - 当前 CPU / 内存观测:`%CPU≈615`, `%MEM≈11.2` 47 - `evaluate.py` 启动
224 - 120 秒额外等待后,仍未出现模型文件,也未切换到 `build-index/evaluate` 48 - 或明确失败
225 - manifest 复核继续通过,统计保持不变。 49 3. 旧的 `PID=424691` 只作为背景运行态,不作为新 observability 改动验证。
226 50
227 51 ### 重启后的直接待办
228 ## 12:29 UTC(180 秒窗口)时间推进补充 52
229 53 1. 查看 [./session-handoff.md](./session-handoff.md)
230 - 最新 live 证据已推进到:`train.py ELAPSED=31:47` 54 2. 检查 `PID=431703` 是否仍在运行
231 - 当前 CPU / 内存观测:`%CPU≈615`, `%MEM≈11.0` 55 3. 监控 `/tmp/chroma_index_observable_smoke/`
232 - 180 秒额外等待后,仍未出现模型文件,也未切换到 `build-index/evaluate` 56 4. 出现阶段切换后,再回写文档并提交推送
233 - manifest 复核继续通过,统计保持不变。
234
235
236 ## 12:34 UTC 重大阶段切换补充
237
238 - 已确认 `train.py` 阶段结束。
239 - 已确认首个模型文件落盘:`best_model.pt`
240 - 已确认流程切换到:`run_demo.py build-index ...`
241 - 这意味着当前最大不确定性已从“训练是否卡死”切换为“索引何时完成并进入 evaluate”。
242
243
244 ## 12:37 UTC build-index 持续阶段补充
245
246 - 已确认当前主下游进程仍是 `run_demo.py build-index ...`
247 - 已确认索引目录 `/tmp/fma_real_smoke_stopcheck/fma_index_smoke/` 已创建。
248 - 截至该时点,尚未看到新的索引产物文件,也未切换到 `evaluate.py`
249 - manifest 复核继续通过,统计保持不变。
250
251
252 ## 12:39 UTC build-index 延续补充
253
254 - 已确认主下游进程仍是 `run_demo.py build-index ...`
255 - 已确认 `evaluate.py` 仍未出现。
256 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
257 - manifest 复核继续通过,统计保持不变。
258
259
260 ## 12:43 UTC build-index 再延续补充
261
262 - 已确认主下游进程仍是 `run_demo.py build-index ...`
263 - 已确认 `evaluate.py` 仍未出现。
264 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
265 - manifest 复核继续通过,统计保持不变。
266
267
268 ## 12:51 UTC build-index 最新延续补充
269
270 - 已确认主下游进程仍是 `run_demo.py build-index ...`
271 - 已确认 `evaluate.py` 仍未出现。
272 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
273 - manifest 复核继续通过,统计保持不变。
274
275
276 ## 12:55 UTC build-index 延续补充
277
278 - 已确认主下游进程仍是 `run_demo.py build-index ...`
279 - 已确认 `evaluate.py` 仍未出现。
280 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
281 - manifest 复核继续通过,统计保持不变。
282
283
284 ## 12:59 UTC build-index 延续补充
285
286 - 已确认主下游进程仍是 `run_demo.py build-index ...`
287 - 已确认 `evaluate.py` 仍未出现。
288 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
289 - manifest 复核继续通过,统计保持不变。
290
291
292 ## 13:04 UTC build-index 延续补充
293
294 - 已确认主下游进程仍是 `run_demo.py build-index ...`
295 - 已确认 `evaluate.py` 仍未出现。
296 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
297 - manifest 复核继续通过,统计保持不变。
298
299
300 ## 13:10 UTC build-index 延续补充
301
302 - 已确认主下游进程仍是 `run_demo.py build-index ...`
303 - 已确认 `evaluate.py` 仍未出现。
304 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
305 - manifest 复核继续通过,统计保持不变。
306
307
308 ## 13:16 UTC build-index 延续补充
309
310 - 已确认主下游进程仍是 `run_demo.py build-index ...`
311 - 已确认 `evaluate.py` 仍未出现。
312 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
313 - manifest 复核继续通过,统计保持不变。
314
315
316 ## 13:22 UTC build-index 延续补充
317
318 - 已确认主下游进程仍是 `run_demo.py build-index ...`
319 - 已确认 `evaluate.py` 仍未出现。
320 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
321 - manifest 复核继续通过,统计保持不变。
322
323
324 ## 13:28 UTC build-index 延续补充
325
326 - 已确认主下游进程仍是 `run_demo.py build-index ...`
327 - 已确认 `evaluate.py` 仍未出现。
328 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
329 - manifest 复核继续通过,统计保持不变。
330
331
332 ## 13:34 UTC build-index 延续补充
333
334 - 已确认主下游进程仍是 `run_demo.py build-index ...`
335 - 已确认 `evaluate.py` 仍未出现。
336 - 已确认索引目录仍只有目录本身,尚未看到新的索引产物文件。
337 - manifest 复核继续通过,统计保持不变。
......
1 # Delivery Handoff / 2026-06-02 1 # Delivery Handoff / 2026-06-02
2 2
3 ## 本次最终可交付结论(13:36 UTC) 3 ## 本次交付包(2026-06-02 14:25 UTC)
4
5 本次应交付的核心不是“最终评测分数”,而是**可直接续跑的真实 FMA 全量 smoke 状态包**
6 - 远程已同步到:`c2d7820cdeebb142896916c0a03726521e5c09d8`
7 - 真实 FMA 全量 smoke 已确认 **训练完成**
8 - 已有模型产物:`best_model.pt``song_to_idx.json`
9 - 当前仍在 **CPU-only build-index** 阶段
10 - `evaluate.py` 仍未启动
11 - manifest 仍有效:`8000 refs / 6401 train queries / 1593 test queries`
12
13 ### 新 session 第一优先级
14
15 只做一件最有价值的事:
16 - 持续盯住 `/tmp/fma_real_smoke_stopcheck/fma_index_smoke``evaluate.py` 的出现,捕获首个索引产物或最终评测结果。
17
18
19 ## 一页接管
20
21 当前可以直接交付的不是“最终算法结论”,而是“可持续续跑的工程状态”:
22 - 文档主结构已成型
23 - 数据规范/输入输出/pgvector 说明已补齐
24 - 切片策略与公平评测能力已落地
25 - 最新大一点的 benchmark 还在跑,结果未最终封板
26
27 ## 已完成
28
29 - 多种音乐感知切片策略已接入训练与 query 生成。
30 - 真实 FMA mini-subset smoke A/B 已多轮验证。
31 - `high_energy``hybrid` 已成为当前最强候选。
32 - cap48 结果已明确存在 seed sensitivity。
33 - 文档已经浓缩为可导航结构。
34
35 ## 当前最关键交付事实(12:09 UTC checkpoint)
36
37 - 真正还在持续执行的是 **真实 FMA 全量 smoke**,不是 toy benchmark。
38 - 当前主训练进程:
39 - `PID=311629`
40 - `ELAPSED=12:00`
41 - `%CPU≈615`
42 - 当前 manifest 规模:
43 - `catalog_references=8000`
44 - `train_queries=6401`
45 - `test_queries=1593`
46 - 当前模型目录 `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/` 仍为空,但这是符合当前 `train.py` 实现的正常现象:`best_model.pt` 会在 `Epoch 1` 结束后首次保存。
47 - 截至 2026-06-02 12:11 UTC,再次校验仍未进入 `build-index` / `evaluate`,最新 `train.py ELAPSED=14:25`
48 - 所以这轮交付最重要的不是“最终精度”,而是**把正在跑的真实大规模 smoke 状态、卡点和续跑方式明确记录下来**
49
50 ## 当前最关键交付事实(12:34 UTC checkpoint)
51
52 - 真实 FMA 全量 smoke 已经跨过训练结束点。
53 - `best_model.pt` 已成功落盘。
54 - 当前主流程已进入 `build-index`,说明这轮真实 smoke 不再只是“长时间 CPU 训练进行中”,而是已经进入下游索引阶段。
55 - 下一关键证据变为:索引完成后是否切入 `evaluate`,以及最终 metrics/report 是否生成。
56 - 截至 2026-06-02 12:37 UTC,主流程仍停留在 `build-index`;索引目录已创建,但尚未观测到索引产物文件或 `evaluate.py` 进程。
57 - 截至 2026-06-02 12:39 UTC,`build-index` 仍在持续,`fma_index_smoke/` 已存在但尚未看到索引产物文件,`evaluate.py` 仍未出现。
58 - 截至 2026-06-02 12:43 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
59 - 截至 2026-06-02 12:51 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
60 - 截至 2026-06-02 12:55 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
61 - 截至 2026-06-02 12:59 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
62 - 截至 2026-06-02 13:04 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
63 - 截至 2026-06-02 13:10 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
64 - 截至 2026-06-02 13:16 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
65 - 截至 2026-06-02 13:22 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
66 - 截至 2026-06-02 13:28 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
67 - 截至 2026-06-02 13:34 UTC,`build-index` 仍在持续,`fma_index_smoke/` 仍只有目录本身,`evaluate.py` 仍未出现。
68 4
69 ## 当前卡点 5 ### 交付结论
70
71 ### 卡点 1:真实 FMA smoke 已进入 build-index,但还未到最终评测结果
72
73 当前最新状态:
74 - `best_model.pt` 已成功落盘
75 - `train.py` 已结束
76 - 当前正在执行 `run_demo.py build-index ...`
77
78 真正待做:
79 - 等待 `build-index` 完成
80 - 捕获是否切换到 `evaluate`
81 - 完成后回写最终 report / metrics / artifacts
82
83 ### 卡点 2:还没有单一全局默认策略
84
85 当前最新状态:
86 - cap48 三 seed 聚合:`high_energy` 更稳
87 - cap64 单 seed:`hybrid` 更强
88 - bucket toy smoke:两个 bucket 分别出现不同 winner
89 - 因此当前不能把某一个策略写死为“全局最优”
90 6
91 真正待做: 7 这次应交付的是一套**可直接续跑的工程包**,而不是最终评测分数:
92 - 增加更有语义的 bucket 8 - 远程基线已同步到:`bc6d07afbd1e31d3956d20e35c20c424bc21ba99`
93 - 补 cap64 multi-seed 9 - chromaprint 热点优化与可观测性增强已提交并推送
94 - 继续降低 `hybrid` 波动 10 - 当前最重要的真实运行证据来自 **可观测 FMA build-index smoke**
11 - 还没有进入 `evaluate.py`,因此**暂不输出最终准确率结论**
95 12
96 ### 卡点 3:工作区噪音很大 13 ### 当前最新事实
97 14
98 当前有大量未跟踪或变更的数据/产物文件,提交时必须精准暂存文档文件。 15 #### 已交付代码能力
16 - `acr-engine/src/engines/chromaprint_matcher.py`
17 - `_find_peaks()` 改为 `sliding_window_view` 等价实现
18 - 保持 hash 输出一致的前提下,单样本约 `2.02x` 加速
19 - `acr-engine/run_demo.py`
20 - 支持 `--chromaprint-checkpoint-every-refs`
21 - chromaprint 建索引阶段新增:
22 - `chromaprint_progress.json`
23 - 周期性 `chromaprint.pkl` partial cache 持久化
99 24
100 ## 建议接手顺序 25 #### 当前最可信 live evidence
101 26 - 可观测进程:`PID=431703`
102 1. 先从 [session-handoff.md](./session-handoff.md)[open-dataset-workflow.md](./open-dataset-workflow.md) 读取当前结论。 27 - 命令:
103 2. 优先把 toy prefix bucket 升级为语义 bucket。
104 3. 继续补 cap64 multi-seed。
105 4. 回写结论到:
106 - [open-dataset-workflow.md](./open-dataset-workflow.md)
107 - [session-handoff.md](./session-handoff.md)
108 - [CHANGELOG.md](./CHANGELOG.md)
109 5. 单独提交文档,再进入下一轮 benchmark。
110
111 ## 推荐检查命令
112
113 ```bash
114 pgrep -af 'ab_smoke_seg_cap48_top2_seed999|external_adapters.py smoke-local fma /tmp/ab_smoke_seg_cap48_top2_seed999|evaluate.py --data /tmp/ab_smoke_seg_cap48_top2_seed999|run_demo.py build-index --data /tmp/ab_smoke_seg_cap48_top2_seed999|train.py --data /tmp/ab_smoke_seg_cap48_top2_seed999'
115 ```
116 28
117 ```bash 29 ```bash
118 test -f /tmp/ab_smoke_seg_cap48_top2_seed999/report.json && cat /tmp/ab_smoke_seg_cap48_top2_seed999/report.json || echo NO_REPORT 30 cd /workspace/acr-engine
31 /usr/local/miniconda3/bin/python run_demo.py build-index \
32 --data data/external_smoke/fma/manifests \
33 --model data/external_smoke/fma_models_smoke/best_model.pt \
34 --output /tmp/chroma_index_observable_smoke \
35 --device cpu \
36 --checkpoint-every-refs 10 \
37 --chromaprint-checkpoint-every-refs 10 \
38 --resume
119 ``` 39 ```
120 40
121 ## 下一轮已启动 41 - `2026-06-02 14:25:32 UTC` 最新状态:
122 42 - `status=building`
123 - 新 benchmark:`/tmp/ab_smoke_seg_cap64_top2` 43 - `refs_done=1740 / 8000`
124 - 当前阶段:`high_energy` 已完成评测,结果为 `top1=0.625 / topk=1.0 / num_queries=32` 44 - `elapsed_sec=1385.4`
125 - cap64 已完成,结果:`hybrid=0.875`, `high_energy=0.625` 45 - `eta_sec=4984.254`
126 - cap64 winner=`hybrid` 46 - `hashes=229127`
127 - 下一 session 应优先进入 bucket/style-aware benchmark 47 - `postings=1510952`
128 48 - `chromaprint.pkl=16787221 bytes`
129 49 - `chromaprint_progress.json=230 bytes`
130 ## 当前最关键的新事实 50 - 当前**尚未出现**
131 51 - `reference_progress.json`
132 - bucket/style-aware benchmark 的完整汇总已经生成:`/tmp/ab_smoke_bucketed_smoke/report.json` 52 - `reference_embs.partial.npy`
133 - `prefix_000_a` winner=`hybrid` 53 - `reference_ids.partial.npy`
134 - `prefix_000_b` winner=`high_energy` 54 - `reference_embs.npy`
135 - aggregate: 55 - `reference_ids.npy`
136 - `hybrid``mean_top1=1.0, mean_num_queries=4.0` 56 - `evaluate.py`
137 - `high_energy``mean_top1=1.0, mean_num_queries=3.5` 57
138 - 这意味着 bucket baseline 已经可以作为后续“解释不同子集 winner 分化”的最小工程基础。 58 #### 旧真实 FMA 全量进程如何看待
59 - 旧进程 `PID=424691` 仍在跑 `build-index`
60 - 但它启动于本次 observability 改动之前
61 - **不要**把它当作新可观测代码路径的验证来源
62
63 ## 新 session 接管顺序
64
65 1. 先看 [./session-handoff.md](./session-handoff.md)
66 2. 再看 [./changelist-2026-06-02.md](./changelist-2026-06-02.md)
67 3. 然后只盯住以下 4 个事件:
68 1. `chromaprint_progress.json` 变成 `status=complete`
69 2. 任一 `reference_*` 文件出现
70 3. `evaluate.py` 启动
71 4. 进程报错退出
139 72
73 ## 当前卡点
140 74
141 ## 最新新增的实跑证据 75 1. 当前环境仍是 **CPU-only**,建索引耗时长。
76 2. 当前还处于 chromaprint 阶段,尚未进入 embedding / evaluate。
77 3. 工作树含大量数据噪音,提交时必须只显式暂存文档/代码文件。
142 78
143 - 新增脚本:`acr-engine/scripts/business_export_offline_smoke.py` 79 ## 重启后最短检查命令
144 - 已在本地真实可读音频上跑通:
145 - 业务导出样例 -> 规范化 -> 项目 manifest -> `train.py --dry-run`
146 - 关键结果:
147 - `catalog_refs=2`
148 - `train_queries=1`
149 - `test_queries=1`
150 - `val_queries=0`
151 - `dry_run_passed=true`
152 80
81 ```bash
82 date -u '+%Y-%m-%d %H:%M:%S UTC'
83 cat /tmp/chroma_index_observable_smoke/chromaprint_progress.json
84 find /tmp/chroma_index_observable_smoke -maxdepth 1 -type f -printf '%f %s bytes\n' | sort
85 ps -p 431703 -o pid,etimes,time,%cpu,%mem,stat,command
86 pgrep -af 'evaluate.py --data data/external_smoke/fma/manifests'
87 ```
153 88
154 ## 最短可跑命令 89 ## 本次交付包含的关键文档
155 90
156 重启后如果你只想先确认链路是否还通,直接运行: 91 - [./CHANGELOG.md](./CHANGELOG.md)
92 - [./changelist-2026-06-02.md](./changelist-2026-06-02.md)
93 - [./session-handoff.md](./session-handoff.md)
94 - [../AGENT.md](../AGENT.md)
157 95
158 ```bash 96 ## 本次明确不提交
159 cd /workspace/acr-engine
160 /usr/local/miniconda3/bin/python scripts/business_export_offline_smoke.py \
161 --output-root /tmp/business_export_offline_smoke
162 ```
163 97
164 预期: 98 - `acr-engine/data/raw/*`
165 - 业务导出离线链跑通 99 - `acr-engine/data/external_smoke/*`
166 - 项目 `catalog/train/test/val` 成功生成 100 - `/tmp/*`
167 - `train.py --dry-run` 通过 101 - checkpoint / index artifacts
168 102 - `__pycache__`
169 ## 当前最关键交付事实(13:36 UTC checkpoint)
170
171 - 活跃进程:
172 - `311494``external_adapters.py smoke-local fma ...`
173 - `424691``run_demo.py build-index --data /tmp/fma_real_smoke_stopcheck/fma/manifests ...`
174 - 已有文件:
175 - `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/best_model.pt`
176 - `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/song_to_idx.json`
177 - 当前还没有文件证据表明索引构建已产出最终 index artifact。
178 - 当前还没有 `evaluate.py` 进程证据。
179 - 结论:下一次提交应该围绕 `build-index` 首个产物或最终 `evaluate` metrics,而不是重复解释训练阶段。
......
...@@ -5,26 +5,38 @@ ...@@ -5,26 +5,38 @@
5 5
6 ## 一页结论 6 ## 一页结论
7 7
8 ### 最新交付快照(2026-06-02 13:36 UTC) 8 ### 最新交付快照(2026-06-02 14:25 UTC)
9 9
10 - 当前远程同步基线:`c2d7820cdeebb142896916c0a03726521e5c09d8` 10 - 当前远程同步基线:`bc6d07afbd1e31d3956d20e35c20c424bc21ba99`
11 - 真实 FMA 全量 smoke **已经完成训练**,并已产出: 11 - 已正式交付的最新代码能力:
12 - `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/best_model.pt` 12 - chromaprint `_find_peaks()` 等价加速
13 - `/tmp/fma_real_smoke_stopcheck/fma_models_smoke/song_to_idx.json` 13 - chromaprint 建索引进度可观测化
14 - 当前主流程仍停留在 **`run_demo.py build-index`** 14 - `run_demo.py --chromaprint-checkpoint-every-refs`
15 - `PID=311494``external_adapters.py smoke-local ...` 15 - 当前最重要的 live evidence 不再是旧全量 FMA 进程,而是**新的 observable chromaprint smoke**
16 - `PID=424691``run_demo.py build-index --data /tmp/fma_real_smoke_stopcheck/fma/manifests ...` 16 - `PID=431703`
17 - 截至 `2026-06-02 13:36 UTC` 17 - 输出目录:`/tmp/chroma_index_observable_smoke`
18 - 仍未观测到 `evaluate.py` 18 - `2026-06-02 14:25:32 UTC` 最新观测:
19 - `/tmp/fma_real_smoke_stopcheck/fma_index_smoke/` 已存在,但尚未看到索引产物文件 19 - `status=building`
20 - manifest 再校验仍通过:`catalog_references=8000`, `train_queries=6401`, `test_queries=1593`, `ok=true` 20 - `refs_done=1740 / 8000`
21 - 结论:当前不是训练卡死,而是 **CPU-only 全量真实 FMA 在长时间建索引** 21 - `elapsed_sec=1385.4`
22 - 下一关键证据只有两个: 22 - `eta_sec=4984.254`
23 1. 首个 index artifact 出现 23 - `hashes=229127`
24 2. 主流程切换到 `evaluate.py` 24 - `postings=1510952`
25 25 - `chromaprint.pkl=16787221 bytes`
26 这是一个正在从原型向工业化推进的 **音乐 ACR / music retrieval** 项目。 26 - 当前尚未出现:
27 当前已经完成: 27 - `reference_progress.json`
28 - `reference_embs.partial.npy`
29 - `reference_ids.partial.npy`
30 - `reference_embs.npy`
31 - `reference_ids.npy`
32 - `evaluate.py`
33 - 旧真实 FMA 全量进程 `PID=424691` 仍在运行,但它启动于 observability 改动前,**不要作为新代码路径的验证证据**
34 - 结论:当前不是训练问题,也不是新逻辑无证据;当前只是 **CPU-only chromaprint build-index 仍在稳定推进,尚未阶段切换**
35 - 下一次值得更新文档/提交的事件只有四种:
36 1. `chromaprint_progress.json` 变为 `status=complete`
37 2. 任一 `reference_*` 文件出现
38 3. `evaluate.py` 启动
39 4. 进程报错退出
28 40
29 这是一个正在从原型向工业化推进的 **音乐 ACR / music retrieval** 项目。 41 这是一个正在从原型向工业化推进的 **音乐 ACR / music retrieval** 项目。
30 当前已经完成: 42 当前已经完成:
......