人工智能之机器学习.pdf

人工智能之机器学习 Artificial Intelligence Report of Machine Learning 2020 年第 1 期 顾问：朱军，唐杰 2020 年 1 月 图目录 图 1-1 机器学习相关概念的辨识 . 2 图 1-2 机器学习基本过程 . 2 图 1-3 机器学习的发展历程（ 1956-1995） . 3 图 1-4 机器学习的发展历程（ 2010-2016） . 4 图 2-1 机器学习分类 . 5 图 2-2 监督学习的基 本流程 . 6 图 2-3 非监督学 习的基本流程 . 7 图 2-4 一个典型 的监督学习和非监督学习对比 . 8 图 2-5 强化学习的基本框架 . 8 图 2-6 强 化学习的基本学习流程 . 10 图 2-7 数据 集的绘制 x和 y 值 . 11 图 2-8 一个简单的随机森林算法示意 . 12 图 2-9 逻辑函数曲 线图 . 13 图 2-10 kNN 算法简单示 例 . 14 图 2-11 AdaBoost执行 . 15 图 2-12 K-均值算法图示 . 16 图 2-13 SVM 的决策平面 . 17 图 2-14 SVM 的核函数 . 17 图 2-15 感知机 . 18 图 2-16 典型的人工神经网络结构 . 18 图 2-17 GAN 发展脉络 . 19 图 2-18 GAN 网络的架构 . 20 图 2-19 BigGAN 生成的图像 . 21 图 2-20 StackGAN生成的图像 . 22 图 2-21 CycleGAN生成的图像 . 22 图 2-22 Pix2pix 生成的图像 . 23 图 2-23 Age-cGAN生成的图像 . 23 图 2-24 GAN 创作的 Edmond de Belamy . 24 图 2-25 Deep Fakes 换脸 . 24 图 2-26 标签操纵的分类准确率 . 26 图 2-27 对输入进行操纵导致的结果 . 26 图 2-28 建立影子模型 . 29 图 2-29 AutoML 基本过程 . 30 图 2-30 从 ML角度看 AutoML . 30 图 2-31 从自动化角度看 AutoML . 30 图 2-32 网格搜索与随机搜索 . 31 图 2-33 神经结构搜索方法示意图 . 33 图 2-34 ATMSeer 自动机器学习定制化工具的用户友好型交互界面 . 34 图 2-35 Online Learning 流程 . 43 图 2-36 Transformer 的网络架构 . 46 图 2-37 BERT的模型结构 . 46 图 2-38 GPT 与 ELMo 的 对比 . 47 图 2-39 BERT模型输入 . 47 图 2-40 BERT在不同任务中的模型 . 49 图 2-41 XLNet模型框架图 . 51 图 2-42 Two-Stream Self-Attention 机制 . 52 图 2-43 Recurrence Mechanism 机制 . 53 图 2-44 XLNet与 BERT 的区别示例 . 53 图 2-45 panBER 模型框架以及在 GLUE 中的实验结果 . 54 图 2-46 MT-DNN 模型框架以及训练算法 . 55 图 2-47 使用知识蒸馏对 MT-DNN 模型进行优化 . 56 图 2-48 骰子点数示意图 . 57 图 2-49 点数和为 4的卷积示意图 . 58 图 2-50 点数和为 n的卷积示意图 . 58 图 2-51 图卷积示意图 . 59 图 2-52 一个图的度矩阵、邻接矩阵和拉普拉斯矩阵 . 60 图 3-1 深度学习模型最近若干年的重要进展 . 67 图 3-2 卷积神经网络的重要进 展 . 70 图 3-3 Auto-Encoder 的重要进展 . 72 图 3-4 循环神经网络 RNN的重要进展 . 73 图 3-5 网络表示学习与图神经网络的重要进展 . 75 图 3-6 增强学习 的重要进展 . 77 图 3-7 生成对抗网络的重要进展 . 78 图 3-8 老虎机的重要 进展 . 79 图 3-9 Video to Video Synthesis 生成的城市风景图 . 83 图 3-10 图网络模型 . 84 图 3-11 MoCo训练编码器 . 85 图 3-12 三种对比损失机制的概念比较 . 85 图 3-13 基于双通道处理理论的认知系统框架 . 88 图 5-1 机器学习领域全球学者分布 . 119 图 5-2 机器学习领域学者 h-index分布 . 120 图 5-3 机器 学习领域中国学者分布 . 120 图 6-1 自动驾驶目标识别、运动预测 . 157 图 7-1 机器学习技术趋势 . 178 图 7-2 机器学习国家趋势 . 180 表目录 表 4-1 ICML 近 10年 best paper . 89 表 4-2 NeurIPS 近 10 年 best paper . 90 表 5-1 机器学习领域中国与各国合作论文情况 . 121 表 5-2 NeurIPS（ 2009-2019）高引学者 TOP100 . 145 表 8-1 机器学习三级知识树 . 错误 !未定义书签。