
本篇文章首先介绍机器学习的概念,然后通过例子来介绍,引出重要的术语概念,这些术语概念又作为区分机器学习任务的标准引出机器学习任务的类型。总之,本篇文章介绍(1)数据类型(2)任务类型。
目录
1.何谓机器学习
除却一些无关紧要的情况,人们很难直接从数据本身获得所需信息。例如,对于垃圾邮件的检测,侦测一个单词是否存在并没有太大的作用,然而当某几个特定单词同时出现时,再辅以考虑邮件长度及其他因素,人们就可以更准确地判断该邮件是否为垃圾邮件。即事物本身具备一定的规律,这个规律蕴藏在若干个关键的特征的有机联系之中。
机器学习是基于对数据学习,掌握数据内部蕴藏的规律的一种方式。
2.关键术语
在开始研究机器学习算法之前,必须掌握一些基本的术语。通过构建下面的鸟类分类系统,我们将接触机器学习涉及的常用术语。 表1-1是我们用于区分不同鸟类需要使用的四个不同的属性值,我们选用体重、翼展、有无脚蹼以及后背颜色作为评测基准。现实中,你可能会想测量更多的值。通常的做法是测量所有可测属性,而后再挑选出重要部分。下面测量的这四种值称之为特征,也可以称作属性。表1-1中的每一行都是一个具有相关特征的实例。

表1-1的前两种特征是数值型,可以使用十进制数字;第三种特征(是否有脚蹼)是二值型,只可以取0或1;第四种特征(后背颜色)是基于自定义调色板的枚举类型,这里仅选择一些常用色彩。如果仅仅利用常见的七色作为评测特征,后背颜色也可以是一个整数。
机器学习的现实意义: 现在有一项活动:寻找象牙喙啄木鸟,找到一只象牙喙啄木鸟奖励5万美元。 为了获得这5万美元,首先要学会辨别象牙喙啄木鸟,我们需要记住象牙喙啄木鸟的特征:体重、翼展、脚蹼、后背颜色等,通过这些特征,我们可以总结出识别象牙喙啄木鸟的准则。那么,机器能不能像人一样,通过识别提取特征,总结出识别象牙喙啄木鸟的准则呢?答案是可以的,首先特征提取我们可以通过安装多个带有照相机的喂食器,同时接入计算机用于标识前来进食的鸟。同样我们可以在喂食器中放置称重仪器以获取鸟的体重,利用计算机视觉技术来提取鸟的翅长、脚的类型和后背色彩。假定我们可以得到所需的全部特征信息,那该如何判断飞入进食器的鸟是不是象牙喙啄木鸟呢?即我们得有判断象牙喙啄木鸟的判断准则,怎么确定判断准则呢,这就要通过机器学习来实现了,通过对已有数据的学习来总结出规律。
机器学习的主要任务就是分类。本节我们讲述如何使用表1-1进行分类。
我们决定使用某个机器学习算法进行分类,首先需要做的是算法训练,即学习如何分类(判断准则)。通常我们为算法输入大量已分类数据作为算法的训练集。训练集是用于训练机器学习算法的数据样本集合,表1-1是包含六个训练样本的训练集,每个训练样本有4种特征、一个目标变量(标签),如图1-2所示。目标变量是机器学习算法的预测结果,在分类算法中目标变量的类型通常是标称型(离散型)的,而在回归算法中通常是数值型(连续型)的。训练样本集必须确定知道目标变量的值,以便机器学习算法可以发现特征和目标变量之间的关系。

为了测试机器学习算法的效果,通常使用两套独立的样本集:训练数据和测试数据。当机器学习程序开始运行时,使用训练样本集作为算法的输入,训练完成之后输入测试样本。输入测试样本时并不提供测试样本的目标变量,由程序决定样本属于哪个类别。比较测试样本预测的目标变量值与实际样本类别之间的差别,就可以得出算法的实际精确度。
3.机器学习的主要任务
上节的例子介绍了机器学习如何解决分类问题,它的主要任务是将示例数据划分到合适的分类中。机器学习的另一项任务针对的是回归问题,它主要用于预测数值型数据。大多数人可能都见过回归的例子——数据拟合曲线:通过给定数据点的最优拟合曲线。分类和回归属于监督学习,之所以称之为监督学习,是因为这类算法必须知道预测什么,即必须有目标变量信息。
与监督学习相对应的无监督学习,此时数据没有类别信息,也不会给定目标值。在无监督学习中,将数据集合分成由类似的对象组成的多个类的过程被称为聚类;将寻找数据统计值的过程称之为密度估计。表1-2列出了机器学习的主要任务,以及解决相应问题的算法。

总结:
现实中存在着各种不同的问题,解决不同的问题对应着不同的任务,实现不同的任务目标需要采用不同的方法。
我们把需要提供数据中包含目标变量(标签)的任务称为监督学习,不包含目标变量的任务称之为无监督学习,而在监督学习中,目标变量类型为标称型的为分类任务,目标变量类型为数值型的为回归任务,解决不同的任务需要采用不同的学习算法,这都是一一对应的:问题-数据-任务-算法。因此,机器学习算法不是某一种算法,而是众多算法的集合,机器学习是基于算法解决特定问题实现目标的一个有机系统。
监督学习与无监督学习的区别
- 监督学习是一种目的明确的训练方式;而无监督学习是没有明确目的的训练方式;
- 监督学习需要给数据打标签;而无监督学习不需要给数据打标签;
- 监督学习由于目的明确,因此可以衡量效果;而无监督学习几乎无法衡量效果如何。
机器学习并不只有监督学习和无监督学习,除了以上的三种之外,根据使用解决问题方法(算法)的不同,还包括:迁移学习、强化学习等。
4. 如何选择合适的算法
选择算法的时候必须考虑下面两个问题:一.使用机器学习的目的,想要完成何种任务,比如是预测明天下雨的概率还是对投票者按照兴趣分组;二.需要分析或收集的数据是什么。
1) 首先考虑使用机器学习算法的目的: 如果想要预测目标变量的值,则可以选择监督学习算法,否则可以选择无监督学习方法。
确定使用监督学习算法之后,需要进一步确定目标变量类型,如果目标变量是离散型,如是/否、1/2/3、A/B/C等,则可以选择分类算法;如果目标变量是连续型的数值,如0.0-100.00、999~999或-∞~+∞,则需要选择回归算法。
如果不想预测目标变量的值,则可以选择无监督学习算法。进一步分析是否需要将数据划分为离散的组。如果这是唯一的需求,则使用聚类算法;如果还需要估计数据与每个分组的相似程度,则需要使用密度估算算法。
2)其次需要考虑的是数据问题。在实施具体机器学习策略之前,我们应该充分了解数据,对实际数据了解的越充分,越容易创建符合实际需求的应用程序。主要应该了解数据的以下特性:
- 特征值是离散型变量还是连续型变量;
- 特征值是否存在缺失的值;
- 何种原因造成缺失值;
- 数据中是否存在异常值;
- 某个特征发生的频率如何
参考文献:
1.《机器学习实战》,Peter Harrington,人民邮电出版社。


4632



被折叠的 条评论
为什么被折叠?



