词曲-录音关联筛选.md
3.41 KB
数据统计与流转说明
统计时间:2026-07-14。records2 已按"不过滤
pub_time"的新规则重新初始化,并新增 spider DB 歌手校验。
1. 主词曲录音关联表当前情况
records1 当前共 86,186 条关联,且 song_id 也是 86,186 个,说明当前 records1 中每个 song 仅对应一条主录音关联。
状态分布
| records1 状态 | 关系数 | 说明 |
|---|---|---|
| 成功导入 | 78,057 |
is_yinyan_push = TRUE 且 platform_song_id > 0
|
| 导入失败 | 8,105 |
is_yinyan_push = FALSE 且 platform_song_id < 0
|
| 状态不完整/其他 | 24 | 状态字段存在 NULL 或不属于上述两类 |
| 合计 | 86,186 | 当前 records1 全量 |
2. 副词曲录音关联表 数据流转与筛选
| 环节 | 关系数 | 说明 |
|---|---|---|
| records1 全量 song_id 范围 | 86,186 | records2 查询起点 |
| 音眼正式库有效平台关联 | 208,812 | 平台为 QQ/酷狗/网易云,platform_unique_key 非空,录音未删除 |
| 标题非空后 | 208,811 | hk_music_record.record_name |
| 时长大于 0 后 | 208,755 | hk_music_record.duration |
| 歌手非空后 | 208,368 | hk_music_record.singer_name |
| 歌曲链接非空后 | 206,201 | hk_music_record.platform_index_url |
| 音频链接非空后 | 206,201 |
storage_url 或 platform_play_url,本次未减少 |
| spider DB 歌手校验后 | 203,987 | 过滤 2,214 条歌手关联缺失的录音(QQ 为主) |
| 删除 records1 已有关联 | 118,848 | 删除 85,139 条相同 (song_id, record_id) 关联,输出最终 records2 |
数据规模汇总
| 数据集 | 数量 | 说明 |
|---|---|---|
| records1 全量 | 86,186 | 每首歌一条主录音关联 |
| records2 全量(歌手校验后) | 118,848 | 补充录音关联(过滤 spider 歌手缺失) |
| 重复关联 | 0 |
(song_id, record_id) 无重复 |
| 最终去重关联总数 | 205,034 | records1 86,186 + records2 118,848 |
已去除 records1 封面限制,已去除 records2 封面、歌词和
pub_time限制,优先保留音频。records2 后续导入行为与 records1 保持一致,不对空pub_time做特殊转换。spider DB 歌手校验:过滤
media_tencent_singer_has_songs中singer_id = 0或无关联记录的录音。QQ 平台缺失最多(2,000 条),主要因为翻唱/二创版本的录音在爬虫库中歌手关联未正确建立。后续需给出各个环节数据缺失原因,判断是否可以人工补充。