首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
大数据
订阅
孙江涛
更多收藏集
微信扫码分享
微信
新浪微博
QQ
14篇文章 · 0订阅
Spark 2.2.0 中文文档
Spark 2.2.0 中文文档
Spark 系列:『 Spark 』1. spark 简介
things you need know before you touch Spark and before you decide to use spark in your next project.
三分钟上手apache顶级任务编排系统airflow
airflow已经成为了任务编排系统的事实标准,使用和terraform一样的代码及配置的任务开发方式。 airflow使用python作为开发语言,非常简单易学、容易上手。 这个dag文件就是用来定义任务和任务之间的先后、依赖关系的。
一文精通 crontab 从入门到出坑
此篇技术博文主要介绍的是crontab,Linux下的计划任务管理工具。涉及内容包括crontab使用配置、常见坑的分析和编者总结的错误调试方法。 我的理解,后台任务通常分为两种:常驻和定时。之前的文章pm2 进程管理工具使用总结主要针对的是常驻任务。今天来谈谈crontab,…
学完这100多技术,能当架构师么?(非广告)
前几天,有个搞培训的朋友,和我要一份java后端的进阶路线图,我就把这篇文章发给了他《必看!java后端,亮剑诛仙》。今天,又想要个java后端目前最常用的工具和框架,正好我以前画过这样一张图,于是发给了他。虽然不是很全,但也希望得到他的夸奖。没想到... 本篇内容涵盖14个方…
基于 MySQL Binlog 的 Elasticsearch 数据同步实践
随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 对…
数据仓库学习与实践(二)- 如何做好数据模型设计
任何需求,不变的永远是变化,数据仓库也一样,那么如何做到做到以不变应万变呢?
从0开始的高并发(一)--- Zookeeper的基础概念
前面几篇以spring作为主题也是有些时日了,高并发分布式这个主题也挺大能说挺多东西的,也是再开了个坑,然后分P来慢慢跟进吧。 我和大部分人一样是一名学习者,不是布道者,更多的是自己的学习总结而不具有权威,进行总结,尽量让人看的简单是我的本意,然后有错则改,无则加勉是最好的,在…
工作流调度工具Airflow1.8搭建及使用
最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上,就需要找一个替代Kettle工作流部分的工具。在大数据环境下,常用的无非是Oozie,Airflow或者Azkaban。经过简单的评估之后,我们选择了轻量化的Airflow作为我们的工作流工具。 Air…