当前位置： 首页 >> 深度学习 >> 现状和未来

---

现状和未来

2020-07-04 15:37:39 星期六  阅读：3441

---

####深度学习有何不同 特征工程完全自动化，可以一次性学习所有特征，而无须自己动手设计。 在很多问题上表现出更好的性能 模型可以在同一时间共同学习所有表示层，而不是一次连续学习（这被称为贪婪学习） 深度学习从数据中进行学习时有两个基本特征 - 通过渐进的，逐层的方式形成越来越复杂的表示； 对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。 总之，这两个特征使得深度学习比先前的机器学习方法更加成功。 ####机器学习现状 要想了解机器学习算法和工具的现状，一个好的方法是看下Kaggle上的机器学习竞赛。这个竞赛非常激烈，所以它提供了一种现实方法来评判哪种方法有效、哪种方法无效、从这里可以得到哪种算法能够可靠地赢得竞赛？顶级参赛者都是用哪些工具？ 在2016年和2017年。Kaggle 上主要有两大方法:梯度提升机和深度学习。具体而言，梯度提升机用于处理结构化数据的问题，而深度学习则用于图像分类等感知问题。使用前一种方法的人几乎都使用优秀的 XGBoost 库，它同时支持数据科学最流行的两种语言:Python 和 R。 使用深度学习的 Kaggle 参赛者则大多使用 Keras 库，因为它易于使用，非常灵活，并且支持 Python。 要想在如今的应用机器学习中取得成功，你应该熟悉这两种技术：`梯度提升机`，用于浅层学习问题；`深度学习`，用于感知问题。用术语来说，你需要熟悉 XGBoost 和 Keras，它们是目前主宰 Kaggle 竞赛的两个库。 ####为什么是深度学习，为什么是现在 深度学习用于计算机视觉的两个关键思想：`卷积神经网络和反向传播`。在1989年就已经为人所知，长短期记忆算法是深度学习处理时间序列的基础，在1997年也就被开发出来。而此后几乎没有发生变化。那么为什么深度学习在2012年以后才开始取得成功呢？这20年都发生了什么变化？ 总的来说，三种技术力量在推动着机器学习的进步 - 硬件 数据集合基准 算法上的改进 由于这一领域是靠实验结果而不是理论指导的，所以只有当合适的的数据和硬件可用于尝试新想法时，才可能出现算法上的改进。`机器学习不是数学或者物理学`，靠一只笔和一张纸就能实现重大进展。它是一门工程科学。 20世纪90年代和21世纪前十年，真正的瓶颈在于数据和硬件。 ####硬件 从CPU到GPU，再到未来的TPU（张量处理器） GPU的运算速度是CPU的几百倍。而TPU比GPU还要快数10倍。 ####算法 除了硬件和数据之外。知道21世纪前十年的默契，我们仍然没有可靠的方法来训练非常深的神经网络。无法超越更为浅层的方法，比如SVM和随机森林。关键问题在于通过多层叠加的梯度传播。随着层数的增加，用于训练神经网络的反馈信号会逐渐消失。 2009年至2010年，当时出现了几个很简单但是很重要的改进 - **更高的神经层激活函数 更好的权重初始化方案 更好的优化方案** ####深度学习的热潮会持续吗 深度学习有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。20年后，我们可能不再使用神经网络，但我们那时所使用的工具都是直接来自于现代深度学习及其核心概念。这些重要的性质主要分为三大类： - 简单：深度学习不需要特征工程，将复杂的、不稳定的、工厂量很大的流程替换为简单的。 可扩展 多功能与可复用 深度学习数年来一直备受关注，我们还没有发现其能力的界限，每过一个月，我们都会学到新的用例和工程改进，从而突破先前的局限。 在一次科学革命之后，科学发展的速度通常会遵循一条S形曲线：首先是一个快速发展时期，接着随着研究人员收到严重限制而逐渐稳定下来，然后进一步的改进又逐渐增多。深度学习在2017年似乎处于这条S形曲线的前半部分，在未来几年将会取得更多进展。