0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

小白如何入门机器学习?

新机器视觉 来源:智能财会联盟 2023-02-22 09:40 次阅读

从五个方面带你入门机器学习什么是机器学习?工作流程是什么?机器学习算法有哪些?模型评估学习以及Azure机器学习模型搭建实验。


1什么是机器学习

机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。

46219a0a-b248-11ed-bfe3-dac502259ad0.jpg

2机器学习工作流程

4634ad16-b248-11ed-bfe3-dac502259ad0.jpg

  • 1.获取数据

  • 2.数据基本处理

  • 3.特征工程

  • 4.机器学习(模型训练)

  • 5.模型评估

结果达到要求,上线服务

没有达到要求,重新上面步骤

2.1获取到的数据集介绍

4651e8d6-b248-11ed-bfe3-dac502259ad0.jpg

数据简介

在数据集中一般:

  • 一行数据我们称为一个样本

  • 一列数据我们成为一个特征

  • 有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集的目标值)

数据类型构成:

  • 数据类型一:特征值+目标值(目标值是连续的和离散的)

  • 数据类型二:只有特征值,没有目标值

数据分割:

机器学习一般的数据集会划分为两个部分:

  • 训练数据:用于训练,构建模型

  • 测试数据:在模型检验时使用,用于评估模型是否有效

划分比例:

  • 训练集:70% 80% 75%

  • 测试集:30% 20% 25%

2.2数据基本处理

即对数据进行缺失值、去除异常值等处理

2.3特征工程

2.3.1什么是特征工程

特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。

  • 意义:会直接影响机器学习的效果

2.3.2 为什么需要特征工程(Feature Engineering)

机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge.
“Applied machine learning” is basically feature engineering. ”

注:业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。

2.3.3 特征工程包含内容

  • 特征提取

  • 特征预处理

  • 特征降维

2.3.4 各概念具体解释

  • 特征提取

将任意数据(如文本或图像)转换为可用于机器学习的数字特征

469d6e78-b248-11ed-bfe3-dac502259ad0.jpg

  • 特征预处理

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

46b15708-b248-11ed-bfe3-dac502259ad0.jpg

  • 特征降维

指在某些限定条件下,降低随机变量(特征)个数,得到一组不相关主变量的过程

46ce9304-b248-11ed-bfe3-dac502259ad0.jpg

2.4 机器学习

选择合适的算法对模型进行训练

2.5 模型评估

对训练好的模型进行评估

3 机器学习算法分类

根据数据集组成不同,可以把机器学习算法分为:

  • 监督学习

  • 无监督学习

  • 半监督学习

  • 强化学习

3.1 监督学习

定义:

输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(称为回归),或是输出是有限个离散值(称作分类)。

3.1.1 回归问题

例如:预测房价,根据样本集拟合出一条连续曲线。

46e658d6-b248-11ed-bfe3-dac502259ad0.jpg

3.1.2 分类问题

例如:根据肿瘤特征判断良性还是恶性,得到的是结果是“良性”或者“恶性”,是离散的。

46f72940-b248-11ed-bfe3-dac502259ad0.jpg

3.2 无监督学习

定义:

输入数据是由输入特征值组成,没有目标值

  • 输入数据没有被标记,也没有确定的结果。样本数据类别未知;

  • 需要根据样本间的相似性对样本集进行类别划分。

举例:

47262c22-b248-11ed-bfe3-dac502259ad0.jpg

有监督,无监督算法对比:

4780d596-b248-11ed-bfe3-dac502259ad0.jpg

3.3 半监督学习

定义:训练集同时包含有标记样本数据和未标记样本数据。

举例:

  • 监督学习训练方式:

479ce3f8-b248-11ed-bfe3-dac502259ad0.jpg

  • 半监督学习训练方式

47b4af88-b248-11ed-bfe3-dac502259ad0.jpg

3.4 强化学习

定义:实质是make decisions 问题,即自动进行决策,并且可以做连续决策。

举例:小孩想要走路,但在这之前,他需要先站起来,站起来之后还要保持平衡,接下来还要先迈出一条腿,是左腿还是右腿,迈出一步后还要迈出下一步。

小孩就是 agent,他试图通过采取行动(即行走)来操纵环境(行走的表面),并且从一个状态转变到另一个状态(即他走的每一步),当他

完成任务的子任务(即走了几步)时,孩子得到奖励(给巧克力吃),并且当他不能走路时,就不会给巧克力。

主要包含五个元素:agent, action, reward, environment, observation;

47c640fe-b248-11ed-bfe3-dac502259ad0.jpg

强化学习的目标就是获得最多的累计奖励。

监督学习和强化学习的对比:

47e74862-b248-11ed-bfe3-dac502259ad0.jpg

拓展概念:什么是独立同分布:

独立同分布概念

拓展阅读:Alphago进化史 漫画告诉你Zero为什么这么牛:

Alphago进化史 漫画告诉你Zero为什么这么牛

4 模型评估

4.1分类模型评估

48156bb6-b248-11ed-bfe3-dac502259ad0.jpg

准确率

  • 预测正确的数占样本总数的比例。

其他评价指标:精确率、召回率、F1-scoreAUC指标等

4.2回归模型评估

4834a332-b248-11ed-bfe3-dac502259ad0.jpg

均方根误差(Root Mean Squared ErrorRMSE

  • RMSE是一个衡量回归模型误差率的常用公式。不过,它仅能比较误差是相同单位的模型。

48561332-b248-11ed-bfe3-dac502259ad0.png

举例:

假设上面的房价预测,只有五个样本,对应的
真实值为:100,120,125,230,400 
预测值为:105,119,120,230,410

那么使用均方根误差求解得

48667682-b248-11ed-bfe3-dac502259ad0.png

其他评价指标:相对平方误差(Relative Squared ErrorRSE)、平均绝对误差(Mean Absolute ErrorMAE)、相对绝对误差 (Relative Absolute ErrorRAE)

4.3拟合

模型评估用于评价训练好的的模型的表现效果,其表现效果大致可以分为两类:过拟合、欠拟合。

在训练过程中,你可能会遇到如下问题:

训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢?

当算法在某个数据集当中出现这种情况,可能就出现了拟合问题。

4.3.1 欠拟合

4875dc26-b248-11ed-bfe3-dac502259ad0.jpg

因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。

欠拟合(under-fitting):模型学习的太过粗糙,连训练集中的样本数据特征关系都没有学出来。

4.3.2 过拟合

488881fa-b248-11ed-bfe3-dac502259ad0.jpg

机器已经基本能区别天鹅和其他动物了。然后,很不巧已有的天鹅图片全是白天鹅的,于是机器经过学习后,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。

过拟合(over-fitting):所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在测试数据集中表现不佳.

  • 上问题解答:

训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢?

5Azure机器学习模型搭建实验

Azure平台简介

48afea92-b248-11ed-bfe3-dac502259ad0.jpg

Azure Machine Learning(简称“AML”)是微软在其公有云Azure上推出的基于Web使用的一项机器学习服务,机器学习属人工智能的一个分支,它威廉希尔官方网站 借助算法让电脑对大量流动数据集进行识别。这种方式能够通过历史数据来预测未来事件和行为,其实现方式明显优于传统的商业智能形式。

微软的目标是简化使用机器学习的过程,以便于开发人员、业务分析师和数据科学家进行广泛、便捷地应用。

这款服务的目的在于“将机器学习动力与云计算的简单性相结合”。

AML目前在微软的Global Azure云服务平台提供服务,用户可以通过站点:
https://studio.azureml.net/申请免费试用。

48df31f8-b248-11ed-bfe3-dac502259ad0.jpg

  • Azure机器学习实验

实验目的:了解机器学习从数据到建模并最终评估预测的整个流程。

审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7015

    浏览量

    88996
  • 模型
    +关注

    关注

    1

    文章

    3238

    浏览量

    48824
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132612

原文标题:小白如何入门机器学习?

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    刚刚入门的stm32小白

    大家好,我前2天买了1个stm32开发版自学,特意建了1个群,群号:978853955。我会在群里发布一些有关stm32的资料,欢迎所有的刚刚入门小白一起进群学习,一起讨论,一起进步;当然也欢迎大神进群给我们指点一二,谢谢;有
    发表于 02-14 20:20

    推荐几本机器学习和深度学习必读书籍+机器学习实战视频PPT+大数据分析书籍

    小白 机器学习和深度学习必读书籍+机器学习实战视频PPT+大数据分析书籍推荐!
    发表于 07-22 17:02

    机器学习入门篇:一个完整的机器学习项目

    机器学习项目入门篇:一个完整的机器学习项目
    发表于 05-11 14:47

    机器学习小白的总结

    机器学习小白第一周自我总结
    发表于 07-08 08:27

    Python机器学习入门之pandas的使用提示

    系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助
    发表于 08-13 07:36

    小白求助,求stm32的入门学习路线

    小白求助,求stm32的入门学习路线
    发表于 11-11 07:46

    什么是机器学习? 机器学习基础入门

    本文旨在为硬件和嵌入式工程师提供机器学习(ML)的背景,它是什么,它是如何工作的,它为什么重要,以及 TinyML 是如何适应的机器学习是一个始终存在并经常被误解的威廉希尔官方网站 概念。数十年来,
    发表于 06-21 11:06

    如何开始接触机器学习_机器学习入门方法盘点

    机器学习入门方法 一说到机器学习,我被问得最多的问题是:给那些开始学习机器
    的头像 发表于 05-20 07:10 4071次阅读
    如何开始接触<b class='flag-5'>机器</b><b class='flag-5'>学习</b>_<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>入门</b>方法盘点

    机器学习入门宝典《统计学习方法》的介绍

    《统计学习方法》可以说是机器学习入门宝典,许多机器学习培训班、互联网企业的面试、笔试题目,很多
    的头像 发表于 11-25 09:24 4652次阅读

    机器学习入门槛降低,机器学习工程师职位或将消失

    机器学习工程师团队负责人、Looker的首席产品官,以自己十几年的从业经历,以及对当下机器学习领域的观察和思考,认为未来机器
    的头像 发表于 02-16 08:53 2601次阅读

    单片机stm32小白入门学习路线“图”

    单片机stm32小白入门学习路线“图”
    发表于 11-14 14:51 17次下载
    单片机stm32<b class='flag-5'>小白</b><b class='flag-5'>入门</b>级<b class='flag-5'>学习</b>路线“图”

    ESPHome入门00 - 简介(小白入门, 硬件准备)

    Esphome入门00- 简介(小白入门, 废话较多)
    发表于 12-16 16:52 13次下载
    ESPHome<b class='flag-5'>入门</b>00 - 简介(<b class='flag-5'>小白</b><b class='flag-5'>入门</b>, 硬件准备)

    轻松入门,高效成长: "TensorFlow 机器学习技能解锁季"

    你是否想入门机器学习,却苦于找不到最新版官方课程,学习资源零散? 你是否也想快速掌握机器学习部署
    的头像 发表于 11-10 11:35 789次阅读

    学习FPGA必看】一个FPGA小白的自述

    本人是一个纯FPGA小白,就连FPGA这个名词我都是最近才知道,所以如果你也正想入门学习FPGA的话,请耐心看下去吧,相信你看完绝对不会后悔。
    的头像 发表于 12-15 11:06 1874次阅读

    机器学习算法入门 机器学习算法介绍 机器学习算法对比

    机器学习算法入门 机器学习算法介绍 机器学习算法对比
    的头像 发表于 08-17 16:27 950次阅读