数据社

记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。刚开始任务很少，用着还可以，每天起床巡检一下日志。随着任务越来越多，出现了任务不能在原来计划的时间完成，出现了上级…

特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会关注于特征表达和特征预处理。 1. 特征的来源 在做数据分析的时候，特征的来…

数据湖引擎是一种开源软件解决方案或云服务，它通过一组统一的api和数据模型为分析工作负载的各种数据源提供关键功能。数据湖引擎解决了快捷访问、加速分析处理、保护和屏蔽数据、管理数据集以及提供跨所有数据源的统一数据目录等方面的关键需求。 数百万数据消费者使用的工具，如BI工具、数据…

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 当我们在日常生活中做任何决定时，我们都会根据以往已经发生的事情和现在所…

如今，大多数公司都意识到数据驱动的商业策略的价值，因此需要有数据分析才能的人来洞察不断收集的信息。随着我们继续将现实世界数字化，对分析师的需求只会增加。 可以了解之前讲解的《数据分析为什么火了》。 如果你刚开始学习数据分析，那么怎么入门呢？其实各大招聘网站的数据分析职位就是一个…