获得徽章 0
- 今天在mac上用sed将空格符号替换为换行符，在linux上，sed -e 's/[ ]/\n/g' 是可以，但是不知道为什么在mac os 上不行，查了一些才知道，是因为不同版本的sed导致的，Max OS X上的sed是BSD的版本，Linux上的是Gnu的版本，解决方式就是用sed -e 's/[ ]/\'$'\n/g' 来替代。评论点赞
- 大数据调度平台有一个功能就是充当数据交换，这个功能，阿里开源的DataX非常有用，公司集群几百台规模的数据通过把DataX整合进去调度平台就能拿来用。在抽取这一块，可以顺便建立对公司所有DB的数据源的管理，或者接入公司的DB的管理平台；在推送对，除了DB之外，需要建立对业务线的联系，讲每个推送任务和公司的业务系统想联系，这样做的就有利于后面进行任务的分析。一定前面的抽取的有问题，评估风险。展开评论点赞
- 底层管理者有一个技能是非常重要，但是我观察了很久，基本上从技术升到管理岗位的都没有做到，就是“拆解上级的任务，合理安排给下属，并设计好完整的反馈路径”。这个过程，很多管理者都是没有章法或者方法论的，本质来说，管理出现的问题，就是这一过程不够顺畅导致的，特别是在拆解上级的问题上，底层管理者如果只起到了话筒的作用的话，可以说是一个不合格的管理者。等人赞过
评论4 - 在京东的时候，我的职位是大数据开发工程师，刚开始是做数据罗盘，类型阿里的生意参谋，主要做数据开发，一些SQL和Storm的实时开发，算是从哪个时候开始接触数据仓库。后面自己转去到运维，角色不一样的时候，关注的点就不同，以前做开发就是关注功能和性能，运维就不能这么简单，要关注系统健康，关注整个集群的容量，也有给用户写指导文档，建立基本的管理系统，甚至，你可能还需要比开发更了解集群。从某种程度来说，运维比开发挑战更大。#求职经验#展开评论点赞
- 大数据里面很重要的一点就是数据质量的控制，目前没有看到哪个公司做的特别好的，数据治理在很多公司都是在堆人力和走流程，我设想的方案是在调度平台里面集中数据检查功能的，针对抽取类型和加工类型的任务新增检查，检查可以配置两个维度，一个是波动率，另外一个执行某些检查SQL，一点简单的思考。评论点赞
- 在信息平台建设，最应该先做的是在公司层面上建立cmdb系统，建立最基本的系统管理和机器管理系统，再去谈后面的建设，但是往往很多公司都是先做业务系统，然后就会发现很难推动原先系统去进行登记。🐶赞过 评论2