feat(crawler): 增加QQ无效专辑封面回填功能
- 在 run_etl.py 添加 backfill-qq-invalid-covers 命令行选项 - 配置文件中新增 HTTP_TRANSFER_RETRIES 和 RETRY_BACKOFF_SECONDS - oss.py 中实现下载资源的重试逻辑,避免超时和连接断开失败 - runner.py 中引入资源必要性校验,确保音频、封面、歌词均成功转存 - 实现根据歌词和封面有效性选择更合适的QQ录音记录进行替换 - 实现 backfill_qq_invalid_covers 函数,处理无专辑占位封面的QQ歌曲 - 无候选的QQ歌曲在crawler和yinyan记录中删除,并软删除 HK 歌曲 - 资源转存失败的记录在yinyan_song_records标记,避免重复处理 - run函数中增加对QQ、酷狗、网易备选录音的支持和筛选 - 增加对应的数据库操作函数支持替换、删除以及状态标记 - 测试覆盖下载重试、资源转存失败处理及选择替代录音逻辑 - 所有下载失败均返回空URL,不阻断流程以保证稳定性 - 异常处理增强,确保未成功上传资源的歌曲不入库 - 未匹配到HK歌曲的情况增加日志警告及延迟重试机制
Showing
9 changed files
with
314 additions
and
14 deletions
This diff is collapsed.
Click to expand it.
-
Please register or sign in to post a comment