机器学习的核心是处理数据。你的机器学习工具应该与数据的质量一样好。本文涉及清理数据的各个步骤。你的数据需要经过几个步骤才能用于预测。 处理缺失的数据。 编码分类数据。 将数据集拆分为测试集和训练集。 特征缩放。 那么让我们逐一学习这些步骤。 每次我们制作新模型时，都会要求导入 …

导读：通过图形化手段清晰地传达数据，促进信息的传递与沟通，是数据可视化的基础要素，也是设计美学和功能相结合的具体表现形式。Davinci便是这样一款可视应用平台。在敏捷大数据（Agile BigData）理论的背景下，围绕“数据视图”和“可视组件”两个核心概念设计，支持多种可视…

PredictionIO 是一个用Scala编写的开源机器学习服务器应用，可以帮助你方便地使用RESTFul API搭建推荐引擎。 PredictionIO的核心使用的是一个可伸缩的机器学习库，基于Spark一个完整的端到端Pipeline，让使用者可以非常简单的从零开始搭建一…

啊，可怕的机器学习面试啊。表面上，你觉得你知道一切......可当你使用它时，你会发现很多你都不会！ 在过去的几个月里，我面试了一些涉及数据科学和机器学习的初级职位。为了让你们更了解我的背景，我目前正处于研究生院机器学习和计算机视觉硕士课程的最后几个月里，我以前的大部分经验都是…

闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。 线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动…

事情的起源是这样的，某个风和日丽的下午... 习惯性的打开知乎准备划下水，看到一个问题刚好邀请回答 于是就萌生了采集下某招聘网站Python岗位招聘的信息，看一下目前的薪水和岗位分布，说干就干。 先说下数据采集过程中遇到的问题，首先请求头是一定要伪装的，否则第一步就会给你弹出你…

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 DataFrame上的逻…

在过去几年中，我们已经看到许多基于预测建模的数据产品。这些产品包括天气预报，推荐引擎，以及比航空公司本身更准确地预测航空公司航班时间的服务。但这些产品仍然只是做出预测，而不是询问他们希望有人采取什么行动作为预测的结果。预测技术可以是有趣的，在数学上也很优雅，但我们需要采取下一步…