关于PEFT和Transformers具体版本

[cEn-space]

您好作者，请问是什么原因导致的loss值不变呢？
我看到前面的问题您有提到是配置库版本兼容问题，但我尝试了peft==0.3.0与transformers==4.28.0和4.29.1，peft==0.6.0与transformers==4.34.1时的loss值都没有发生变化，请问是否有具体peft和transformers版本能够成功复现代码，谢谢

[Zhang-Each]

这类问题我也没有遇到过类似的，比较反常，一般来说训练过程中loss总是能下降的，可能跟cuda版本，gpu型号这些有关。

[wwt0805]

您好作者，请问是什么原因导致的loss值不变呢？ 我看到前面的问题您有提到是配置库版本兼容问题，但我尝试了peft==0.3.0与transformers==4.28.0和4.29.1，peft==0.6.0与transformers==4.34.1时的loss值都没有发生变化，请问是否有具体peft和transformers版本能够成功复现代码，谢谢

您好，你这个问题解决了么？我遇到的问题是loss非常低，推理结果全为true，我看作者回复是和peft的版本有关，但我还是没有解决

[cEn-space]

这类问题我也没有遇到过类似的，比较反常，一般来说训练过程中loss总是能下降的，可能跟cuda版本，gpu型号这些有关。

我尝试了不同的gpu和cuda版本，仍然没有解决这个问题，同时我也更换了不同peft和transformers版本，依然是保持loss不变，请问实验中用到的具体关键配置库版本和cuda版本是什么呢？

[cEn-space]

您好作者，请问是什么原因导致的loss值不变呢？我看到前面的问题您有提到是配置库版本兼容问题，但我尝试了peft==0.3.0与transformers==4.28.0和4.29.1，peft==0.6.0与transformers==4.34.1时的loss值都没有发生变化，请问是否有具体peft和transformers版本能够成功复现代码，谢谢

您好，你这个问题解决了么？我遇到的问题是loss非常低，推理结果全为true，我看作者回复是和peft的版本有关，但我还是没有解决

还没有，我更换了几次alpaca版本，有些是loss极低，有些是loss保持几乎初始值10.3733，我现在使用的是作者在另一些提问中回复的alpaca-7b-wdiff版本，可是还是存在问题

[wwt0805]

您好作者，请问是什么原因导致的loss值不变呢？我看到前面的问题您有提到是配置库版本兼容问题，但我尝试了peft==0.3.0与transformers==4.28.0和4.29.1，peft==0.6.0与transformers==4.34.1时的loss值都没有发生变化，请问是否有具体peft和transformers版本能够成功复现代码，谢谢

您好，你这个问题解决了么？我遇到的问题是loss非常低，推理结果全为true，我看作者回复是和peft的版本有关，但我还是没有解决

还没有，我更换了几次alpaca版本，有些是loss极低，有些是loss保持几乎初始值10.3733，我现在使用的是作者在另一些提问中回复的alpaca-7b-wdiff版本，可是还是存在问题

这是我的loss，绝对不正常。 上面是推理结果 response全为True。但有一点和作者说的一样的，我的权重文件只有几百K，这也是不正常的。我看在alpaca-lora中有人说删除 但我也试了，好像并不起作用