分类任务预训练ClsFlattenHead疑问

[Fyc1014]

作者您好，非常感谢您的工作，最近看了下源码，在分类任务中（ClsModel）
self.projection = ClsFlattenHead(
seq_len=self.seq_len,
d_model=self.d_model,
pred_len=args.input_len,
num_features=args.c_out,
dropout=args.head_dropout,
)

当num_features非常大时（如100维），ClsFlattenHead参数量会特别大（比几层encoder、decoder层的总参数量还大），这个是否会造成模型重构时过拟合

[Melmaphother]

作者您好，非常感谢您的工作，最近看了下源码，在分类任务中（ClsModel） self.projection = ClsFlattenHead( seq_len=self.seq_len, d_model=self.d_model, pred_len=args.input_len, num_features=args.c_out, dropout=args.head_dropout, )

当num_features非常大时（如100维），ClsFlattenHead参数量会特别大（比几层encoder、decoder层的总参数量还大），这个是否会造成模型重构时过拟合

这个好像也没什么解决的方案😂，imagenet 还有 1000 维呢