迁移学习 Transfer Learning

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued! If you find this repo helpful, please cite it as follows:

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文、比赛等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！ 如果认为本仓库有用，请在你的论文和其他出版物中进行引用！

@Misc{transferlearning.xyz,
howpublished = {\url{http://transferlearning.xyz}},   
title = {Everything about Transfer Learning and Domain Adapation},  
author = {Wang, Jindong and others}  
}  

• 迁移学习 Transfer Learning
  • 0.Latest Publications (最新论文)
  • 1.Introduction and Tutorials (简介与教程)
  • 2.Transfer Learning Areas and Papers (研究领域与相关论文)
  • 3.Theory and Survey (理论与综述)
  • 4.Code (代码)
  • 5.Transfer Learning Scholars (著名学者)
  • 6.Transfer Learning Thesis (硕博士论文)
  • 7.Datasets and Benchmarks (数据集与评测结果)
  • 8.Transfer Learning Challenges (迁移学习比赛)
  • Applications (迁移学习应用)
  • Other Resources (其他资源)
  • Contributing (欢迎参与贡献)

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

0.Latest Publications (最新论文)

A good website to see the latest arXiv preprints by search: Transfer learning, Domain adaptation

一个很好的网站，可以直接看到最新的arXiv文章: Transfer learning, Domain adaptation

迁移学习文章汇总 Awesome transfer learning papers

• Latest publications

  • 20191115 AAAI-20 Unsupervised Domain Adaptation on Reading Comprehension

    • 无监督DA用于阅读理解
    • Unsupervised DA for reading comprehension

  • 20191113 AAAI-20 TANDA: Transfer and Adapt Pre-Trained Transformer Models for Answer Sentence Selection

    • Finetune twice for answer sentence selection
    • 两次finetune用于answer sentence selection

  • 20191111 NIPS-19 PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

    • Multi-scale 3D DA network for point cloud representation

  • 20191111 CCIA-19 Feature discriminativity estimation in CNNs for transfer learning

    • Feature discriminativity estimation in CNN for TL

  • 20191111 NIPS-19 workshop Transfer Learning in 4D for Breast Cancer Diagnosis using Dynamic Contrast-Enhanced Magnetic Resonance Imaging

    • Transfer learning in 4D for breast cancer diagnosis

• Preprints on arXiv (Not peer-reviewed)

  • 20191115 arXiv Instance-based Transfer Learning for Multilingual Deep Retrieval

    • Instance based transfer learning for multilingual deep retrieval
    • 基于实例的迁移学习用于多语言的retrieval

  • 20191115 arXiv Unsupervised Pre-training for Natural Language Generation: A Literature Review

    • Unsupervised pre-training for natural language generation survey
    • 一篇无监督预训练用于自然语言生成的综述

  • 20191113 arXiv Open-Ended Visual Question Answering by Multi-Modal Domain Adaptation

    • Supervised multi-modal domain adaptation in VQA
    • 有监督的多模态DA用于VQA任务

  • 20191113 arXiv NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution

    • Transfer learning for negation detection and scope resolution
    • 迁移学习用于否定检测

  • 20191113 arXiv Knowledge Distillation for Incremental Learning in Semantic Segmentation

    • Knowledge distillation for incremental learning in semantic segmentation
    • 在语义分割问题中针对增量学习进行知识蒸馏

  • 20191113 arXiv Attentive Student Meets Multi-Task Teacher: Improved Knowledge Distillation for Pretrained Models

    • Multi-task distillation using BERT
    • 用BERT进行多任务形式的知识蒸馏

更多 More...

---

1.Introduction and Tutorials (简介与教程)

• 简介文字资料

  • 简单的中文简介 Chinese introduction
  • PPT(English)
  • PPT(中文)
  • 迁移学习中的领域自适应方法 Domain adaptation: PDF ｜ Video
  • 清华大学龙明盛老师的深度迁移学习报告 Transfer learning report by Mingsheng Long @ THU：PPT(Samsung)、PPT(Google China)

• 入门教程

  • 《迁移学习简明手册》Transfer Learning Tutorial 开发维护地址

• 视频教程

  • 台湾大学李宏毅的视频讲解(中文视频)
  • 迁移学习中的领域自适应方法(中文)

• 迁移学习领域的著名学者、代表工作及实验室介绍 Transfer Learning Scholars and Labs

• 什么是负迁移(negative transfer)？

• 动手教程、代码、数据 Hands-on Codes

  • 基于深度学习和迁移学习的识花实践 Using Transfer Learning for Flower Recognition
  • 基于Pytorch的图像分类 Using Transfer Learning for Image Classification
  • 使用Pytorch进行finetune Using Pytorch for Fine-tune
  • 基于AlexNet和ResNet的finetune Fine-tune based on Alexnet and Resnet
  • 更多 More...

---

2.Transfer Learning Areas and Papers (研究领域与相关论文)

Related articles by research areas:

• General Transfer Learning (普通迁移学习)
  • Theory (理论)
  • Others (其他)
• Domain Adaptation (领域自适应)
  • Traditional Methods (传统迁移方法)
  • Deep / Adversarial Methods (深度/对抗迁移方法)
• Domain Generalization
• Multi-source Transfer Learning (多源迁移学习)
• Heterogeneous Transfer Learning (异构迁移学习)
• Online Transfer Learning (在线迁移学习)
• Zero-shot / Few-shot Learning
• Deep Transfer Learning (深度迁移学习)
  • Non-Adversarial Transfer Learning (非对抗深度迁移)
  • Deep Adversarial Transfer Learning (对抗迁移学习)
• Multi-task Learning (多任务学习)
• Transfer Reinforcement Learning (强化迁移学习)
• Transfer Metric Learning (迁移度量学习)
• Transitive Transfer Learning (传递迁移学习)
• Lifelong Learning (终身迁移学习)
• Negative Transfer (负迁移)
• Transfer Learning Applications (应用)

Paperweekly: 一个推荐、分享论文的网站比较好，上面会持续整理相关的文章并分享阅读笔记。

---

3.Theory and Survey (理论与综述)

Here are some articles on transfer learning theory and survey.

• 迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。 -- The most influential survey on transfer learning.

• 迁移学习的理论分析 Transfer Learning Theory：

  • 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典 Transfer learning theory：

    • NIPS-06 Analysis of Representations for Domain Adaptation
    • ML-10 A Theory of Learning from Different Domains
    • NIPS-08 Learning Bounds for Domain Adaptation

  • 最近，清华大学龙明盛老师团队提出的Maximum Margin theory在理论分析和证明方面取得了阶段性进展：

    • ICML-19 Bridging Theory and Algorithm for Domain Adaptation

  • 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：

    • MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
    • 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
    • MMD及多核MMD代码：Matlab | Python

  • 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。

• 较新的综述 Latest survey：

  • 用transfer learning进行sentiment classification的综述：A Survey of Sentiment Analysis Based on Transfer Learning
  • 2019 一篇新survey：Transfer Adaptation Learning: A Decade Survey
  • 2018 一篇迁移度量学习的综述: Transfer Metric Learning: Algorithms, Applications and Outlooks
  • 2018 一篇最近的非对称情况下的异构迁移学习综述：Asymmetric Heterogeneous Transfer Learning: A Survey
  • 2018 Neural style transfer的一个survey：Neural Style Transfer: A Review
  • 2018 深度domain adaptation的一个综述：Deep Visual Domain Adaptation: A Survey
  • 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
  • 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
  • 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
  • 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。
  • 2015 中文综述：迁移学习研究进展

• 迁移学习的应用

  • 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
  • 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
  • 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
  • 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

---

4.Code (代码)

请见这里 | Please see HERE for some popular transfer learning codes.

---

5.Transfer Learning Scholars (著名学者)

Here are some transfer learning scholars and labs.

全部列表以及代表工作性见这里

Please refer to here to see a complete list.

• Qiang Yang：中文名杨强。香港科技大学计算机系讲座教授，迁移学习领域世界性专家。IEEE/ACM/AAAI/IAPR/AAAS fellow。[Google scholar]

• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]

• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。[Google scholar]

• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。[Google scholar]

• Boqing Gong：南加州大学博士，现就职于腾讯AI Lab(西雅图)。曾任中佛罗里达大学助理教授。[Google scholar]

• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]

• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]

• Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。[Google scholar]

• Weike Pan：中文名潘微科，杨强的学生，现任深圳大学副教授，香港科技大学博士毕业。主要做迁移学习在推荐系统方面的一些工作。 [Google Scholar]

• Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。[Google scholar]

• Tatiana Tommasi：Researcher at the Italian Institute of Technology.

• Vinod K Kurmi[home page]: Researcher at the Indian Institute of Technology Kanpur(India)

---

6.Transfer Learning Thesis (硕博士论文)

Here are some popular thesis on transfer learning.

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 2016 Baochen Sun的Correlation Alignment for Domain Adaptation

• 2015 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation

• 2014 清华大学龙明盛的迁移学习问题与方法研究

• 2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究

• 2012 杨强的学生Hao Hu的Learning based Activity Recognition

• 2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction

• 2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications

• 2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

---

7.Datasets and Benchmarks (数据集与评测结果)

Please see HERE for the popular transfer learning datasets and certain benchmark results.

这里整理了常用的公开数据集和一些已发表的文章在这些数据集上的实验结果。

---

8.Transfer Learning Challenges (迁移学习比赛)

一些关于迁移学习的国际比赛。

• Visual Domain Adaptation Challenge (VisDA)

---

Applications (迁移学习应用)

See HERE for transfer learning applications.

迁移学习应用请见这里。

---

Other Resources (其他资源)

Call for papers about transfer learning:

• Transfer Learning for Multimedia Applications(A Special Issue on Multimedia Tools and Applications (MTAP))

Related projects:

• Salad: A semi-supervised domain adaptation library

---

Contributing (欢迎参与贡献)

If you are interested in contributing, please refer to HERE for instructions in contribution.

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！