Name		Name	Last commit message	Last commit date
parent directory ..
bert-base-chinese		bert-base-chinese
README.md		README.md
eval.py		eval.py
load_data.py		load_data.py
train_eval.py		train_eval.py

README.md

利用MLM做文本分类

1. 参考

《必须要GPT3吗？不，BERT的MLM模型也能小样本学习》

2. 实验结果

eval.py：零样本学习，直接使用pretrain的MLM模型在验证集上预测，准确率为0.74。
train_eval.py：小样本学习，抽取5000条训练语料在MLM模型上进行fine-tune，验证集上的准确率可达0.965。结果如图所示：