人工智能 (Artifical Intelligence, AI):人工智能是计算机科学的一个分支,主要研究、开发和扩展人类智能的理论、方法、技术和应用系统等。John McCarthy对其定义为:人工智能就是让机器的行为看起来表现的是人多表现出来的智能行为一样。
人工智能涵盖许多的子学科,例如:机器感知(计算机视觉、语音信息处理)、学习(模式识别、机器学习、强化学习)、语言(自然语言处理)、记忆(知识表示)、决策(规划、数据挖掘)等。
当前人工智能主要领域:1)感知:模拟人的感知能力,对外部刺激信息(视觉、语音等)进行感知和加工,主要包括语音信息处理和计算机视觉;2)学习:模拟人的学习能力,主要研究如何从样例和环境的交互中学习,主要包括监督学习、无监督学习、强化学习。3)认知:模拟人的认知能力,主要包括知识表示、自然语言理解、推理、规划、决策。
二、机器学习相关
机器学习 (Machine Learning, ML):从有限的数据观测中学习(猜想)出具有一般性的规律,并利用该规律对未知数据进行预测的方法。机器学习是人工智能的一个重要分支,并逐步成为推动人工智能发展的关键因素。
浅层学习(传统的机器学习):其关注点在于如何学习一个预测模型。其工作流程一般为:首先将数据表示为一组特征(连续或离散),然后将特征输入到模型,最终得到预测结果。这类学习方法不涉及特征的学习,其特征的选取是人为实现的。
在实际的机器学习(传统的机器学习)任务中,数据集通常很复杂,并且其中很多数据不能正常的被使用,因此,通常会通过以下几个步骤:
(1)数据预处理:对原始数据进行初步的数据清理(去掉特征丢失的样本,去掉一些冗余的特征)与加工(数值特征进行防缩或归一化),并构建成一个可用的数据集;
(2)特征提取:从数据的原始特征中提取一些对特定机器学习任务有用的高质量特征;
(3)特征准换:对特征进行进一步加工,例如降维与升维,降维包括特征抽取与特征选择。常用的特征转换有主成分分析法、线性判别分析。
(4)预测:机器学习的核心部分,学习一个函数并进行预测。
三、表示学习相关
传统的机器学习不会进行特征的学习,仅仅关注获得一个函数进行预测,特征的选取完全由人工确定,使得很多机器学习任务变成了特征工程。然而在实际操作,不同的预测模型的性能相差不大,但前三步(上图)对预测的准确度有着关键的作用。因此,如果能够实现学习特征选取,无疑会极大提高正确率,这就是表示学习。
表示学习:通过自动学习出有效的特征,达到提高预测准确率的目的。
语义鸿沟:输入数据的底层特征与高层语义信息间的不一致或差异性。它是表示学习中的关键问题。
表示学习的两个核心问题:1)什么是一个好的表示;2)如何学习出一个好的表示;
好的表示的三个特点:1)具有极强的表示能力,相同的向量维度能够表示更多的信息;2)包含更高层的语义信息;3)具有一般性。
表示特征的两种方式:1)局部表示;2)分布式表示。
四、深度学习相关