CTR（clickthroughrate）预估模型是广告推荐领域的核心问题。早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。后来随着FM因子分解机的出现，提出了使用二阶特征自动交叉的方法，缓解了人工组合特征的难题。之后年Facebook使用GBDT+LR方案，提出了树模型构建组合特征的思路。年后，由于深度学习的流行，业界主流的CTR模型从采用经典DNN模型演变到结合浅层的Widedeep模型，再到结合二阶特征交叉的DeepFM模型，深度学习开始全面应用在CTR预估问题上。
时间进入年，CTR预估模型又有了很多新的发展，比如使用新的特征交互方式，CTR模型统一的benchmark，用户行为序列建模和用户的多兴趣建模，多任务学习，CTR模型知识蒸馏，CTR模型的增量训练，CTR模型debias，多模态学习与对抗，跨域迁移CTR建模，隐式反馈数据建模，NAS在CTR上应用，等等。接下来，本文会对年CTR模型的最新进展进行全面的梳理和解析。
高阶特征交互自从Transformer提出以来，Attention逐渐成为CTR模型里高阶特征交互的重要方式。18年AutoInt提出将Multi-headself-attention应用在CTR模型里，它在增强模型的可解释性的同时并且具备高阶特征交叉的能力，19年微博团队提出的FiBiNet，这篇文章使用Squeeze-Excitationnetwork(Senet)结构学习动态特征的重要性以及使用用双线性函数来更好的建模交叉特征。以及阿里的BST直接使用transformer对用户行为序列建模。
AFNAdaptiveFactorizationNetworks是AAAI20的工作，由于之前的CTR模型为了增强模型的预测效果利用了二阶特征交互，甚至高阶特征交互。然而这些高阶特征交互往往带来昂贵的计算量导致模型陷入局部最优解，同时构造出来交叉特征有些相关性比较小对于模型来说相当于引进噪声影响模型性能。因此本文提出了AFN(自适应因子网络)学习特征组合的阶数，可以自适应调整不同阶的特征组合。
论文题目：AdaptiveFactorizationNetwork:LearningAdaptive-OrderFeatureInteractions
论文