在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源。 这样的流程不必业务中任务调度，时间基本是可预估的，只要把握留足任务间隔时间即可，…

一、简介 shuffle 描述着数据从maptask 输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，map的输出要用到Reduce中必须经过的shuf

好家伙，有一个Reduce Task执行了10个小时，另个一执行了近2小时，其余Reduce Task的执行时间很短。 简而言之：SQL 中的 Group By 字段会决定某条数据最终落在哪一个 Reducer 上处理。 其实 Hive 早就考虑到这个场景，并且贴心的提供了 h…

特此整理一番，供自己日后工作参考之用。同时也分享给大家，可以指导初学者开发自定义UDF，也可以作为随用随查的参考手册： 临时函数：只在当前客户端会话中生效的函数，不会影响到其他的会话。客户端退出后，临时函数就失效了 永久函数：注册永久函数后，其他的客户端会话也可以使用这个函数。…

Linux是一套免费使用和自由传播的类似Unix操作系统，一般的WEB项目都是部署都是放在Linux操作系统上面。 Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位…

ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。 ZooKeeper 的…

上一篇文章介绍了3道常见的SQL笔试题，反响还算是不错。于是乎，接下来的几天，菌哥将每天为大家分享一些关于大数据面试的杀招，祝小伙伴们都能早日找到合适的工作~ 面试官往往一上来就一个“灵魂三连问”，很多没有提前准备好的小伙伴基本回答得都磕磕绊绊，效果不是很好。下面贴出菌哥的回答…

1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容 7. 显示文件的最后一千字节 8. 拷贝文件 9. 移动文件 10. 统计当前目录下各文件大小 11. 合并下载多个文件 12. 统…