机器学习笔记

552 阅读3分钟
原文链接: wow0.cn

‘About ml’

机器学习笔记

什么是机器学习

这个问题是作为入门的根本性问题

我以前看到一句话人工智能就是你有多少数据它就有多少智能

机器学习是从庞大的数据中寻找规律,得出

算法函数的一个过程,代替了人为数据分析的过程,代替了数据分析师的岗位

机器学习的发展

发展分为三个阶段

  • 数据专家

    这个阶段就是专家化,专家根据自己的经验和想法,进行很多分析,当然,专家也是人,会有很多的片面和非客观因素存在,导致不准确

  • 数据统计

    一大帮子人坐在一起讨论,根据历史上出现的数据,画图,画统计图,然后作出相应的分析
    简单点就是一大帮子人做报表,然后根据人为计算去分析

  • 机器学习

    就是现在非常流行的一些推荐系统,或者是概率计算,由机器去寻找规律,作出报表,然后给人提供建议与意见,当然了 这里会有一个问题,线上用户在使用过程中产生了大量的数据,我们应该实时去更新算法模型呢,还是一天一更新算法模型,由于实时同步实现成本很大,所以我们一般采用定时脚本更新策略

机器学习简单应用

  • 关联规则
    点评: 同质化 —购物车分析
  • 聚类
    点评:物以类聚,人以群分—用户分类营销
  • 决策树,朴素贝叶斯
    点评: 以树为根,不断延伸分类—信用卡借贷
    叶为属性,特殊过滤—垃圾邮件过滤
  • ctr预估,协同过滤
    点评: 赚钱用的 —搜索广告概率论排序
    点评: 赚钱用的 —推荐系统
  • 自然语言处理与图像识别
    点评: 顾名思义

数据分析与机器学习对比

  1. 数据分析一般针对交易数据,机器学习一般针对行为数据

  2. 数据分析一般采用少量数据采样分析,机器学习一般采用海量数据全量分析

  3. 根据数据本身的区别,不同的场景下采用不同的技术,nosql含义其实是not only sql一般用来存储分析全量行为数据,或者与关系型数据库结合使用

  4. 数据分析解决的业务,一般应用于过去产生的事物分析,机器学习解决的业务,一般应用于分析历史预测未来

  5. 机器学习由算法驱动,数据分析一般由人驱动

  6. 服务目标不同,数据分析一大部分是为了领导看,机器学习一般为了用户服务,数据决定质量

机器学习算法分类


  • 有监督学习

    训练数据中已经存在,确定的答案,根据答案训练算法机器,答案可以是或者 也可以是数据

  • 无监督学习

    聚类算法,我们提前都不知道分类,让算法自行分类,推测

  • 半监督学习

    小孩学走路,随着数据变大,不断完善


  • 分类与回归
  • 标注
  • 聚类

  • 生成模型
    概率分类,逐渐完善分类
  • 判别模型
    训练数据,非是即否,训练模型分类

比较著名的算法模型


机器学习解决问题一般步骤

  1. 获得数据,分离数据,确定目标,确定业务需求,分离特征数据
  2. 定义模型,《定义损失函数,优化算法》,这里是最难,最核心内容
  3. 模型评估,交叉验证,效果评估

一说起这东西,就不得不说起这些年很火的大数据

机器学习,目前我个人知识水平感觉,数据其实很重要,能拿到足够的数据

,并且清洗整理数据,做特征工程,确定影响字段,是非常重要的



PHP react-native
FRIENDS