歌词 duplicate / review / new 三分类测试集 v2

测试集定位

lyric_reuse_review_v2.csv 共 300 对，按原系统结果分层抽样：

• duplicate：100
• review：100
• new：100

表中的 sampling_class 和 legacy_dedup_decision 是抽样依据及原系统结果，不是人工真值。请在 review_final_class 中填写你的独立判断。

需要特别注意的字段

• sampling_class：本次三分类抽样主类。
• sampling_subtype：类内细分场景。
• legacy_pair_source：旧系统是否实际比较过这一对。
• legacy_dedup_decision：原系统的 new/duplicate/review 结果。
• legacy_dedup_confidence、legacy_dedup_reason：原系统依据。

duplicate 和 review 都来自原系统真实的 matched_song_id 对，legacy_pair_source=existing_matched_pair。

new 类由于原 CSV 没有保存被判 new 时的候选对，因此由两条原系统分别判为 new 的歌曲构造：

legacy_pair_source=synthetic_pair_from_two_legacy_new_records

这表示两首歌各自的原结果是 new，不表示旧系统曾直接比较过这两个对象。

类内细分

duplicate：100

• exact_hash：40
• high_literal_overlap：54
• high_primary_translation_ignored：6（候选池仅有 6 条，全部纳入）

review：100

• suspected_wash：17
• version_or_same_work：17
• fragment_reuse：17
• chorus_overlap：17
• translation_overlap：16
• general_borderline：16

new：100

• same_artist_different_title：25
• same_lyricist_different_title：25
• same_composer_different_title：25
• random_different_songs：25

歌词字段

根据对应 *_lyrics_source_type 读取：

• inline：*_lyrics_url_or_text 本身就是歌词。
• url：*_lyrics_url_or_text 是歌词地址。

审核字段

review_final_class

这是三分类评估的主要人工标签：

• duplicate：主体歌词足以作为目录重复或近重复处理。
• review：存在局部复用、版本、翻唱、翻译、公共文本或权利不确定性，不能自动判 duplicate/new。
• new：没有足以进入 duplicate 或 review 的歌词复用信号。
• cannot_judge：歌词缺失、无法访问或文本质量不足。

review_content_relation

• near_identical
• substantial_local_reuse
• limited_fragment
• weak_common_or_translation_only
• no_meaningful_reuse
• cannot_judge

review_metadata_relation

• same_work_same_version
• same_work_different_version
• different_work
• unknown

review_policy_label

• suspected_wash_reuse
• duplicate_or_same_record
• version_or_rights_review
• no_reuse_action
• insufficient_evidence

review_confidence

• high
• medium
• low

review_notes 可记录复用段落、公共文本、制作名单误报、URL 异常或判断依据。

审核建议

• 即使能看到旧结果，也请先阅读双方歌词，再填写人工标签。
• sampling_class 与人工判断不一致是测试集最有价值的部分，不需要迁就旧系统。
• 不要删除行或修改 sample_id。
• 完成后返回原 CSV，即可计算三分类混淆矩阵和各 subtype 指标。