关于负文本提示的使用

[Yi-dashi]

十分感谢作者的rex-omni优秀工作！
关于负文本训练，我有两个疑问，希望您可以解答：
1、负文本训练是在SFT环节，还是GRPO环节，还是SFT、GRPO环节都需要，两个环节的负文本采样策略有没有不同之处；
2、负文本训练是只应用于诸如obj365、openimage这种检测数据，还是flickr30k以及HumanRef这种Grounding、Referring数据也应有负文本；如果是，负Grouning、Referring Data的负文本采样策略是否应该从一个global categories list（出现次数大于100的所有categories）中随机抽取。

[Mountchicken]

1. 在我们目前的实现中， SFT 和 GRPO 都加入了负文本采样。GRPO 杜宇负文本的reward是，模型需要在对应的类别上预测 None
2. 我们对所有类型的数据都加入了负样本训练：对于grounding 数据集（类别名称为一个或者两个单词的），他们的负样本池子就是这个 global categories list（出现次数大于100的所有categories），对于referring 数据，他们的负样本池是有 referring语句构成的（从所有referring 数据中把descirption 拿过来）
3. 但是目前 release 的模型只对于grounindg 数据集加入了负样本训练（在demo可以测试，输入单类别名称，模型可以拒绝输出不存在的物体），但是对于 referring 数据没有加入负样本（比如输入 a man wearinig a yellow hat, 模型可能依旧会响应）

负样本是一个需要调的参数，如果负样本给太多，就会导致模型容易不出框（模型认为图中没有这个物体）

[Yi-dashi]

感谢您的回复！我还有以下问题，希望可以得到您的回复

1. 负文本提示的数量有没有经验性得设置值，
2. 我观察到，有些数据实际上是标注稀疏的，例如: openimage，例如:person,man,woman被标注成了3类，如果在A图中，一个男人被标注成了person，但是负文本取到了man，我想这肯定会影响模型的检测，而且，在auto-annotated的数据中，这种情形更加常见，例如用ram每次识别的类别会不一致，导致负文本采样时很有可能会采样到图片中存在却没有标注的物体。
   请问你们是怎么解决这个问题的，期待您的回复~

[Mountchicken]

1. 数量我们是采用的随机选择，比如对于任意一条训练样本，我们会随机加入 0～20 个负样本。
2. 这个确实会有问题。但是现在的setting其实可以缓解：第一就是词表一定要够大，比如对于 grounding 数据集，他们的词表可能有 2000个词，那么随机采样负样本的时候，采样到同类别的概率就会很低；第二就是负样本不加入太多，比如 0～20个随机采样，采样到同类别的概率也会很小

[Yi-dashi]

我们在实验中也观察到了这一现象，采样更多的负文本不会对幻觉有正向作用，反而幻觉更多了，甚至也影响了检测的召回，再次感谢您的回复！

[Yi-dashi]

我们在sft中对detection,grounding类型数据随机加入了010个负文本，但是我们发现这样的设置还是会导致模型在预测多类别时，倾向将13个类别预测为None，并且grpo 也不能修复这个问题，请问一下: sft环节是不是不能加负文本？