‘About ml’
机器学习笔记
什么是机器学习
这个问题是作为入门的根本性问题
我以前看到一句话人工智能就是你有多少数据它就有多少智能
机器学习是从庞大的数据中寻找规律,得出
算法函数的一个过程,代替了人为数据分析的过程,代替了数据分析师的岗位
机器学习的发展
发展分为三个阶段
-
数据专家
这个阶段就是专家化,专家根据自己的经验和想法,进行很多分析,当然,专家也是人,会有很多的片面和非客观因素存在,导致不准确
-
数据统计
一大帮子人坐在一起讨论,根据历史上出现的数据,画图,画统计图,然后作出相应的分析

简单点就是一大帮子人做报表,然后根据人为计算去分析 -
机器学习
就是现在非常流行的一些推荐系统,或者是概率计算,由机器去寻找规律,作出报表,然后给人提供建议与意见,当然了 这里会有一个问题,线上用户在使用过程中产生了大量的数据,我们应该实时去更新算法模型呢,还是一天一更新算法模型,由于实时同步实现成本很大,所以我们一般采用定时脚本更新策略
机器学习简单应用
- 关联规则
点评:
同质化—购物车分析 - 聚类
点评:
物以类聚,人以群分—用户分类营销 - 决策树,朴素贝叶斯
点评:
以树为根,不断延伸分类—信用卡借贷叶为属性,特殊过滤—垃圾邮件过滤 - ctr预估,协同过滤
点评:
赚钱用的—搜索广告概率论排序点评:
赚钱用的—推荐系统 - 自然语言处理与图像识别
点评:
顾名思义
数据分析与机器学习对比
-
数据分析一般针对交易数据,机器学习一般针对行为数据
-
数据分析一般采用少量数据采样分析,机器学习一般采用海量数据全量分析
-
根据数据本身的区别,不同的场景下采用不同的技术,
nosql含义其实是not only sql一般用来存储分析全量行为数据,或者与关系型数据库结合使用 -
数据分析解决的业务,一般应用于过去产生的事物分析,机器学习解决的业务,一般应用于分析历史预测未来
-
机器学习由算法驱动,数据分析一般由人驱动
-
服务目标不同,数据分析一大部分是为了领导看,机器学习一般为了用户服务,数据决定质量
机器学习算法分类
-
有监督学习

训练数据中已经存在,确定的答案,根据答案训练算法机器,答案可以是
是或者否也可以是数据 -
无监督学习
聚类算法,我们提前都不知道分类,让算法自行分类,推测
-
半监督学习
小孩学走路,随着数据变大,不断完善
- 分类与回归
- 标注
- 聚类
-
- 生成模型
- 概率分类,逐渐完善分类
-
- 判别模型
- 训练数据,非是即否,训练模型分类
比较著名的算法模型


机器学习解决问题一般步骤
- 获得数据,分离数据,确定目标,确定业务需求,分离特征数据
- 定义模型,《定义损失函数,优化算法》,这里是最难,最核心内容
- 模型评估,交叉验证,效果评估
一说起这东西,就不得不说起这些年很火的大数据
机器学习,目前我个人知识水平感觉,数据其实很重要,能拿到足够的数据
,并且清洗整理数据,做特征工程,确定影响字段,是非常重要的
FEATURED TAGS
PHP react-nativeFRIENDS
