词曲-录音关联筛选.md 3.41 KB

数据统计与流转说明

统计时间:2026-07-14。records2 已按"不过滤 pub_time"的新规则重新初始化,并新增 spider DB 歌手校验。

1. 主词曲录音关联表当前情况

records1 当前共 86,186 条关联,且 song_id 也是 86,186 个,说明当前 records1 中每个 song 仅对应一条主录音关联。

状态分布

records1 状态 关系数 说明
成功导入 78,057 is_yinyan_push = TRUEplatform_song_id > 0
导入失败 8,105 is_yinyan_push = FALSEplatform_song_id < 0
状态不完整/其他 24 状态字段存在 NULL 或不属于上述两类
合计 86,186 当前 records1 全量

2. 副词曲录音关联表 数据流转与筛选

环节 关系数 说明
records1 全量 song_id 范围 86,186 records2 查询起点
音眼正式库有效平台关联 208,812 平台为 QQ/酷狗/网易云,platform_unique_key 非空,录音未删除
标题非空后 208,811 hk_music_record.record_name
时长大于 0 后 208,755 hk_music_record.duration
歌手非空后 208,368 hk_music_record.singer_name
歌曲链接非空后 206,201 hk_music_record.platform_index_url
音频链接非空后 206,201 storage_urlplatform_play_url,本次未减少
spider DB 歌手校验后 203,987 过滤 2,214 条歌手关联缺失的录音(QQ 为主)
删除 records1 已有关联 118,848 删除 85,139 条相同 (song_id, record_id) 关联,输出最终 records2

数据规模汇总

数据集 数量 说明
records1 全量 86,186 每首歌一条主录音关联
records2 全量(歌手校验后) 118,848 补充录音关联(过滤 spider 歌手缺失)
重复关联 0 (song_id, record_id) 无重复
最终去重关联总数 205,034 records1 86,186 + records2 118,848
  1. 已去除 records1 封面限制,已去除 records2 封面、歌词和 pub_time 限制,优先保留音频。records2 后续导入行为与 records1 保持一致,不对空 pub_time 做特殊转换。

  2. spider DB 歌手校验:过滤 media_tencent_singer_has_songssinger_id = 0 或无关联记录的录音。QQ 平台缺失最多(2,000 条),主要因为翻唱/二创版本的录音在爬虫库中歌手关联未正确建立。

  3. 后续需给出各个环节数据缺失原因,判断是否可以人工补充。