refine checkpoint18000 Instruction 合并（1.0）

结果

P / R / F1

micro，913 条全部计入，原版 SpeechCombine 打分器（区分大小写）。

副口径

预测和标准答案都转小写，数字和英文数词互认（"3" 算作 "three"）。

无答案

没解析出任何词的条数。

system

两行最前面都带同一段 system 提示。

一条音频的例子

And so we went straight into, like, feeding baby lambs.

标准答案：重读 we。下面的 <音频> 代表这条语音的一串 CV3 音频 code。

预填

<|im_start|>system
You are a helpful assistant.
    Always follow the user's instructions precisely and respond with what is required.
    Please read the instructions carefully before answering.
    Your responses must strictly align with the user's intent and constraints.
    <|im_end|>
<|im_start|>user
And so we went straight into, like, feeding baby lambs.[SEP_1]<音频>[SEP_2]<|im_end|>
<PCAP>Based on the audio prosody, the speaker stresses the word "we" and speaks with a high level of energy, making the delivery sound excited and lively.</PCAP>

取引号里的词当答案：we对

这一行没有问句，也没有 assistant 回答那一步，答案直接从 <PCAP> 里读。

基线：问答格式

<|im_start|>system
（同一段 system 提示）<|im_end|>
<|im_start|>user
Answer the question from the user. Put your answer in the format "Emphasized word(s): "___" ". Do not repeat your answer. Audio and prosody: And so we went straight into, like, feeding baby lambs.[SEP_1]<音频>[SEP_2] Which word(s) in the audio clip are emphasized?<|im_end|>
<|im_start|>assistant
Emphasized word(s): feeding

回答：feeding错

回答之后模型还接着生成了一段语音，检测只对文字部分打分。

看这个结果要注意

• 预填是强制规则，评测方式和标准问答不同，这个分数不能和其他模型的问答 detection 分数直接比。
• 只测了 checkpoint18000 一个点、一种预填措辞，解码用贪心。
• 预填这一行没有做换音频对照。之前的排序探针里，把音频换成重音在另一个词的版本后，模型有 76% 跟着音频改答案。