feat(dedup): 优化歌词去重逻辑并引入作者字段增量合并
- 新增 L2 候选加载缓存机制,避免重复下载歌词内容 - L2 去重返回 top-K 召回候选信息,丰富判定依据 - 分类函数新增跳过导入的规则,如空歌词且作者不详、原声类歌曲名等 - 实现作者字段(作词、作曲)增量合并功能,避免重复覆盖 - 对合并冲突添加异常处理并记录日志,确保稳定执行 - 引入后台线程异步写入数据库,提升批量处理性能 - 优化 L1 索引更新,避免去重误差,提高去重准确率 - 扩展统计字段,新增作者合并和跳过导入计数 - 前端增加决策过滤选项,支持根据决策筛选展示记录 - 修改界面显示逻辑,支持删除已审核样本,完善用户操作 - 调整页面显示候选数目为 Top5,优化视觉体验 - 参数新增 L2 精确哈希自动合并的最小歌词长度配置 - 添加数据库表结构自动迁移,新增 recalled_candidates 字段支持新功能 - 增强程序中断时数据库写入的安全关闭与日志提示
Showing
5 changed files
with
68 additions
and
5 deletions
This diff is collapsed.
Click to expand it.
This diff is collapsed.
Click to expand it.
This diff is collapsed.
Click to expand it.
-
Please register or sign in to post a comment