构建数据工程师能力模型,实战八大企业级项目wumi

162 阅读5分钟

构建数据工程师能力模型,实战八大企业级项目KE

download: www.ukoou.com/resource/1247/mk-sjfx-bd

数据分析算法应用

算法的产出物及形态,如何应用于业务

我们最近常听到的一个词叫“大数据杀熟”,应该是算法在业务上非常常用的一种应用场景。通常来说,算法的产出物有两种,第一种是算法产出的结果(分群、分类、预测值),第二种是算法产出的规则。

  1. 产出结果

降维:无论是对数据的分类,还是对数值的预测,对业务应用都可以作为筛选对象,进一步缩小目标,找到清晰的划分边界。在一些临界点上算法会减少人力决策成本,从诸多策略中选择最优去做尝试;

精细化:把结果作为标签,结合CRM、广告系统、营销系统,帮助业务更便捷、更精准地获取信息,强化用户感知,制造新奇感引起用户注意,设置规则以提升用户使用黏性;

策略:降低成本、提效增益,算法本质上解决的就是这两件事情,算法产出结果可以有效的支撑策略制定,论证是或否的可行性

\

数据分析为了达成业务目标,可以使用算法来进行快速论证

\

分析师懂算法非常有必要,最近几年,数据分析师的岗位职责中,或多或少会写一些算法相关要求。

\

我的认知是,初级分析师不需要懂算法即可cover大部分的工作内容。但是要想职业更上一层楼,增强分析的科学性严谨性和效率性,尤其是涉及算法策略驱动的业务类型中,分析师必须懂一些常用机器学习算法。

\

其实分析的重点还是聚焦在对目标问题的拆解、论证与实现上,对于绝大多数分析师而言,业务需求特征大致可归纳为,交付时间短、实现成效快、数据维度丰富、结论支撑足够、方便报告汇报。

\

大部分业务分析的场景都可以通过类似杜邦分析的方法进行层层下钻拆解,而这个过程对数学知识以及算法知识的涉及可能非常少。

\

业界已经有了非常多成熟的算法应用实践,有的时候为了做数据论证和探索,就需要用到类似算法,其目的是用最短的时间找到一个可以去下结论的突破点。于是在实际应用时会碰到一个前提,即每种算法都有其合适的应用场景及前置条件,且当具体使用时超级参数的影响也非常大。

数据分析师必备技能

1 懂业务

懂业务是从事数据分析工作最大的前提。

\

即,数据分析师应熟悉行业知识,公司业务及流程,最好是有自己独到的见解。数据是业务的产物,而业务反过来也是数据分析工作的真正服务对象。若数据分析脱离行业认知和公司业务背景,则分析的结果就会像脱线的风筝,是毫无意义的。

\

2 懂分析

\

市场上数据分析师岗位通常鱼龙混杂,有些岗位虽然叫数据分析师,但要么是每天只用与Excel打交道,要么是每天与代码打交道。偏业务的分析师不如运营,偏工具的分析师又不如技术,因此,真正的数据分析师应立足在“分析”二字上。

\

3 懂工具

\

懂工具指的是掌握数据分析相关的常用工具。一般来说,了解基础统计学,掌握Excel、SQL和基本的可视化,就足够完成大部分数据分析师的工作,但高级一些的数据分析师还需要掌握Python,R和机器学习等能力。

\

4 懂平台

最后,我们来说说数据分析的懂平台。怎么叫懂平台,简单来说就是有平台意识,当我们懂业务、懂分析、懂工具时,我们会成为一个不错的分析师,我们可以自行分析项目,提炼数据,输出业务策略,但我们如果想节省更多重复的体力劳动,来把控更多的项目时,我们就需要依赖我们的数据平台技术。

数据分析思维拓展

一、结构化思维

归纳其实就是把复杂问题分解成多种单一因素的过程,并且将这些因素加以归纳和整理,使之条理化、纲领化;这个过程犹如抽丝剥茧,将一团乱麻理地条条顺顺。

\

二、假说演绎思维

以情况为起点的推理方法是归纳推理,以规则为起点的推理方法可以称之为演绎推理。

\

比如:某自营电商网站,现在想将商品提价,让你分析下销售额会有怎样的变化?

\

首先可以确定销量会下降,那么下降多少?

\

这里就要假设商品流量情况,提价后转化率的变化情况,然后根据历史数据汇总出销量下降的情况,从而得出销售额的变化情况。

\

三、指标化思维

上述的分析思维,帮助我们去定性问题,接下来我们要介入数据的方式,去定量分析,首要掌握指标化的思维。

\

假设有一家电商公司,我们想要了解网站运营的情况如何?运营人员向我们描述:我们的网站的流量很高啊,比淘宝差一点,比京东好一点,每天都有大量的新用户,老用户下单也很活跃啊。

\

四、维度分析思维

最后,站在分析的角度讲一下维度思维。

\

当你有了指标,可以着手进行分析,数据分析大体可以分三类:

\

利用维度分析数据;

使用统计学知识如数据分布假设检验;

使用机器学习。这里我们主要了解维度分析法;