恭喜,优达「数据科学家」首位毕业生在中国诞生!

487 阅读5分钟
今年的 5 月 25 日,优达学城中国区与硅谷总部同步,和 IBM Watson 、Kaggle 、贝塔斯曼、INSIGHT、figure eight 等全球 5 大行业领袖一起,面向全球推出了大数据分析殿堂级课程——「数据科学家」,一时间,来自全球各地的申请纷至沓来,我们很高兴,其中就有很多来自中国的学员,他们和远在硅谷、印度、巴西、中东的学员一起,在同一起跑线上,向数据金字塔巅峰发起挑战。


如今,大半年过去了,终于在这收获季节,迎来了全球第一位「数据科学家」纳米学位毕业生,他不仅克服了全英文教学的语言门槛,还完成了两个学期的挑战,他就是来自中国的优达学员——Kyle Chen,恭喜他通过优达扬帆起航!

今天,他将现身说法,讲讲他是如何沉迷学习,无法自拔,成为全球首位毕业生的心路历程。


优达学员说

学员姓名: Kyle Chen

学员职业(offer): SA Developer(自动化研发工程师)

就职公司: MBCloud

座右铭,兴趣爱好等: 平时没事就多撸码, 看看书, 听听歌, 写写博客. 除了带娃, 就是学习, 码字.

Github: github.com/kylechenoO

Blog: hacking-linux.com

微信公众号: AINailN


大家好, 我是 Kyle Chen, 目前就职于深圳某银行, 已从事自动化研发方向的工作八年. 考虑到工作上的需要, 以及自身兴趣点所在, 于今年二月底, 开始尝试往 AI 方向转型.


数据科学, 人工智能, 机器学习, 深度学习, 乍一听名字, 高端, 大气. 可是当你深入进去学了之后, 会发现其中的统计学, 概率论, 微积分, 任何一个部分的知识点提取出来, 都会是一门比较大的学科. 看到这里, 请不要害怕, 我们将其展开仔细看看, 也许并没有你想想中的那么难.


数据科学, 是一门比较泛的学科. 当数据科学家拿到一份最新的数据时, 第一时间需要考虑对数据的清洗, 在这一步, 要对数据做一些比较基本的处理, 例如某个特征值空缺太多, 我们可以考虑将这个特征值给drop掉, 或者考虑使用中值/均值来做替换. 然后, 接下来我们需要对数据进行一系列的预处理, 在这一步, 我们会对一些异常数据进行筛查, 经过再三确认后, 将其剔除或者留下一定比例的异常值. 综合上面两步, 我们已经得到了一份'干净'的数据.


在预处理中, 我们还需要注意数据集中的数据分布, 当然, 将分布画出来的同时, 也可以对异常数据进行一系列的筛选(例如, 图片的尺寸, 大小, 当其尺寸相对于其它图片的尺寸差别太大时, 可以考虑将其从数据集中剔除. ). 如果需要的话, 在这里也可以对数据进行标准化, 正则化处理. 接下来, 需要对数据集进行拆分, 将其分为训练集, 验证集, 测试集, 可以参考比例(训练集:验证集:测试集, 6:2:2).


接下来, 正常情况下, 如果特征值过多, 可能会先对特征值做个筛选, 这个过程就叫做特征工程. 筛选的同时, 决定了我们模型的输入数据. 然后, 对项目模型进行选取, 在经验不足, 或者还是小白的情况下, 我们可以优先考虑在一些已有模型上面做改进, 这个过程就叫做迁移学习. 使用迁移学习, 我们可以直接将我们的输入/输出部分像管道一样给套上去, 也可以将其原有迁移模型中的部分层解冻, 进行fine tune.


这中间涉及到很大一部分调参的工作, 调参调的好不好, 往往会直接影响到模型的精度, 如果你是新手的话, 建议在这里多尝试一些参数组合(例如learning rate, optimizer, 等等.). 在确定好模型后, 我们还需要对模型进行评估验证, 最简单粗暴的评分标准可以直接选择准确率, 错误率. 也可以将一些样本随机抽出来, 对其进行抽查与展现.


上面, 只是简单的介绍了以下使用机器学习/深度学习模型来做数据预测的一部分过程. 当然, 实际工作环境中, 往往不会这么简单. 可能会需要将其中的某些模块(例如, 模型部分, 后台接口, 前端展现)给拆分出来, 以RestFul接口或者其他形式来对其进行调用与输出. 当然, 这是软件工程中的一些问题.


在修完「数据科学家」纳米学位之后, 不仅仅是对数据的处理方式, 模型处理, 接口设计, 有了个比较详细的了解, 也加深了对整体AI行业的理解. 机器学习, 深度学习, 各种算法的研发只能活在科研领域, 具体如何落地, 实打实的去跑, 还得看数据科学家如何将其与现有数据与业务逻辑相融合, 最终才能给予决策层准确的指导.


当然, 这里的部分工作会跟你所在的行业呈现比较大的关联性. 还是那句话, 想要做什么事情, 就把它做好, 花点时间投入进去, 在一个行业中沉淀下来, 你的经验与技术相融合, 总会有意想不到的惊喜.


最后,优达菌祝大家也能像本文作者,在优达学业有成,在事业上扬帆起航!

每日一图↓↓(汉化:新浪微博@爱生活爱可可