标注规范怎么定，怎么对齐人的主观 bias？
LLM judge 能信吗？
先弄清楚：每个概念是什么
- Annotation guideline
- 每个标签的定义、判定步骤、边界例子，目的是让不同的人对同一条数据给出同一个标签。
- Inter-annotator agreement
- 两个人标同一批数据，一致的程度。
- Cohen's κ
- 扣掉“瞎猜也会一致”之后的一致率：\(\kappa = (p_o - p_e)/(1 - p_e)\)。例：100 条里两人都标“好”40 条、都标“差”30 条，\(p_o = 0.7\)。A 标“好”占 50%，B 占 60%，\(p_e = 0.5\times 0.6 + 0.5\times 0.4 = 0.5\)，\(\kappa = 0.4\)。
- Adjudication
- 不一致的样本交给第三个人或一起讨论来裁定。
- LLM-as-a-judge
- 让模型按 rubric 打分。它也是一个标注员，要量它和人的一致率。
30 秒回答
Good guidelines define each label, give a decision procedure, and include borderline examples. For subjectivity, several annotators label the same pilot batch, and I measure Cohen's kappa instead of raw agreement. Then I read the disagreements: most come from unclear guidelines, so I fix the guideline and repeat. What's left goes to adjudication. An LLM judge is one more annotator: I measure its agreement with humans per category on a held-out set before trusting it at scale, and re-check whenever the prompt or model changes.
对齐主观 bias 的流程
- Pilot：几个人各自标同一批，比如 100 条
- 量：算 κ，按类别看哪里分歧最大
- 读：逐条看不一致的样本，多数是规范没写清
- 改：改 guideline，加边界例子，再跑一轮，直到 κ 稳定
- 监控：正式标注时留重叠样本和 gold 题
LLM judge 的偏差
judge 有 position、verbosity、self-enhancement 三种常见偏差，实测数字和对策见 LLM evaluation。几个 judge 的错误是相关的，所以多堆 judge 帮助有限，Apple 的 Nine Judges 论文里 9 个 judge 只相当于约 2 票。
必答点
- guideline 三件套：定义、判定步骤、边界例子
- 用 κ，不用 raw agreement
- κ 低先改 guideline，不是继续标
- LLM judge 当作标注员来校准，按类别看
- 时间、金额、ID 用规则校验，不交给 judge
追问
raw agreement 很高，为什么可能没意义？
类别不平衡时，随机标也会很一致。两个人各自随机把 95% 的样本标成“好”，一致率是 \(0.95^2 + 0.05^2 = 90.5\%\)，但 κ = 0。
κ 多少算够？
经验线是 0.6 以上（Landis & Koch 称 0.61–0.80 为 substantial），但要看任务，还要按类别看哪一类低。
1–5 分的有序标签，或者三个以上标注员，用什么？
有序标签用 weighted κ，差 1 分比差 4 分罚得轻。多个标注员用 Fleiss' κ 或 Krippendorff's α。
judge 和人不一致时信谁？
信经过 adjudication 的人工标签。把不一致的样本拿去改 rubric 或加进 judge 的 few-shot，再重新量一致率。
来源牛客：Apple 大模型算法面经 · Nine Judges（Apple） · Zheng et al. 2023, Judging LLM-as-a-Judge（position、verbosity、self-enhancement bias）· 基础见 LLM evaluation