大家好，我是土哥。
周五晚上看到一位小伙伴的私信问：土哥，我想问下大数据开发在公司是不是每天写sql，要写几年呢，会转别的吗
我发现很多小伙伴对大数据开发都存在一些误区，所以我想好好和大家聊聊，这不，刚结束完这两天对小伙伴的面试辅导，马上又开始码字了...（o(╥﹏╥)o）
1 包括但不限于
首先，我要说的是 sql 确实是大数据开发中非常重要的一部分，但是！可不只有 sql 。
从数据仓库开始，确实是写 sql 偏多，像清洗数据啊，ETL数据建模啊，报表开发啊等等都要使用 sql 。但尽管是数仓，也都不全是sql，也涉及 JAVA 代码开发、DataStream 开发、scala 开发等。
如果是大数据平台开发，那更多是偏向后端，写代码嘛就更不可避免了。
2 涉及广泛
大数据开发涉及到的技术领域可以说是非常广泛，比如数据采集、数据存储、数据处理和数据分析等等。
在数据采集方面，涉及多个数据源，如 flume、filebeat；采集数据包含社交媒体数据、日志数据、业务数据等等，我们需要懂得如何抓取、清洗和整理这些数据，让它们变成结构化的数据集。
除了数据采集，大数据开发还需要关注数据存储。在很多互联网公司里，开发人员要处理的数据量非常庞大，就需要利用分布式存储系统来存储这些海量数据，比如 Hbase、Hive、clickhouse、以及 OLAP 数据库等。了解这些存储系统的特点和使用方法也是大数据开发的基本功。
有一说一，大数据开发最重要的一环就是数据处理。在这个环节中，需要开发人员有较强的编程技能来处理数据，最常用的编程语莫过于Python和Java了。对于大规模数据的处理，就需要去学习分布式计算框架，比如Spark、Flink等，这可以让我们并行处理海量的数据，提高数据处理的效率。
数据分析也是大数据开发中非常重要的一环。通过数据分析，我们可以从数据中发现有价值的信息，帮助企业做出科学决策（我司雇我在~）。另外，数据挖掘、机器学习和人工智能等技术在数据分析中扮演着重要的角色，对于提升分析能力是非常有帮助的。
3 综上所述
大数据开发是一个综合性的技术领域，远不止每天写 SQL，根据具体的岗位方向，需要掌握不同的技术技能。
最重要的还是大家要清晰自己的发展方向，保持学习的热情，在某一领域深耕，那么你就是未来的技术专家（我看好你哟）！
4 听说你想换个工作啦
临近过年了，作为一个过来人，以及土哥这几天收到的辅导咨询情况，想来不少小伙伴都蠢蠢欲动了吧（邪魅一笑）！
如果你是一个人孤军奋战，又苦于无人指导、复习无从下手，或者一准备写简历啊脑瓜子就嗡嗡的，一片空白，又或者手上只有拿不出手的项目经历，毫无难点亮点...
针对这些情况，如果身边有大佬，那么我的建议是多和大佬沟通，哪怕是付费咨询，只要你能从他的身上学到经验，就是值得的。
如果身边没有这样的人，那么我只能毛遂自荐一下了，你能看到这篇文章就是一种缘分（珍惜这段缘），对简历、面试有任何问题都欢迎随时找我，当时是有偿的哈~
毕竟，免费的东西就显得廉价了，不仅你不相信我真的会用心去帮助你，我也不愿意用陪老婆的时间去和你1vs1沟通...
由于这几天咨询同学较多，截止3月底还剩个位数名额可以安排，年后有意向的同学也建议提前确定名额哈，名额满了之后，后续辅导最快只能往4月排啦，望理解~
土哥社招参加 28 场面试，100% 通过率，拿到全部 offer！
土哥这半年的悲惨人生，经历过被鸽 offer,最终触底反弹~
需要任一增值服务或进大厂交流求职群，都欢迎加土哥，备注来意，上述文章了解详情~
