慕课网数据分析与挖掘实战(一)-数据获取

722 阅读1分钟

数据获取手段

  • 数据仓库
  • 监测与抓取
  • 填写,日志,埋点
  • 计算

1. 数据仓库

数据仓库
数据仓库与数据库区别

2.检测与抓取

检测与抓取
其中,urllib,urllib2,requests,scrapy主要用于数据抓取 xpath主要用于分析提取有价值的内容 phantomjs,beautifulsoup主要用于可视化展示

3.填写,埋点,日志

填写,埋点,日志

前端日志需要传输到服务器才能获取 后端日志可以直接处理

4.计算

计算

好用的数据学习网站

学习网站

1.kaggle

kaggle

  • Competitions: 一些企业把自己的数据集放在上面,并提供一些奖金让大家研究这个数据集 -Datasets: 公司企业,个人,组织,都可以把数据放在这里,这里的数据与项目相对比较简单
  • Kernels:可以建立运行脚本(script)或者代码片(notebook)来在线编程
  • Discussion:数据论坛,可以发言自己的观点,评论等
  • Jobs:关于数据相关工作的职位的招聘

2.阿里云天池 类似于kaggle

3.ImageNet 图片数据集网站;