智海观潮

一. 概览 近期，AI领域迎来关键节点，谷歌与OpenAI同日发布重磅产品，行业竞争进入新阶段。 谷歌推出全新“重构版”Gemini Deep Research深度研究智能...

AI编程 通义灵码 https://lingma.aliyun.com 由阿里云提供的智能编码辅助工具，提供代码智能生成、智能问答、多文件修改、编程智能体等能力，为开发者带...

互联网行业发展至今，竞争越来越激烈。大到公司小到个人也都无形中的越来越卷。已经好几年没有出现类似于腾讯、阿里、字节等这种现象级公司。行业公司业务增量趋势不明显甚至还有的在收...

Hadoop和Spark技术分享.ppt Why Hive ?** ** 相对于使用MapReduce，为什么使用Hive ？ MapReduce实现复杂业务逻辑开发难度大...

作为一名多年从事大数据相关工作的从业者，我曾认为AI的高深理论与复杂算法距离我的日常工作十分遥远。AI从理论到实践落地，实际效果有时候不尽如人意，AI取代程序员更是觉得可笑...

一份求职，大多经历的过程无外乎，准备简历、投递目标公司的意向职位、公司邀约面试、候选人笔试/面试。如果面试顺利的话，将进入谈offer环节。通常由企业HR跟候选人沟通，期望...

1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体...

最近后台有小伙伴提了一些实际工作中使用Spark遇到的问题，笔者挑选了几个相对常见的问题，分别从场景模拟/问题现象、问题分析、解决方案三个层面，来深入分析这些问题，并且提供...

在职场中，总会遇到一种“奇怪”的现象： 部门或者团队里总有那么几个同事，茶余闲聊时，总是吐槽公司和领导种种的不好。关键是，吐槽了N年，身边同事都换了几茬，这些人竟奇迹般的还...

可以通过要监控的任务列表，对比存活的Spark任务，不存在的可以通过短信或邮件的方式预警。获取Spark还在运行状态任务的示例代码：...

更多干货抢先看：大数据干货合集 GROUPINGSETS 示例：实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNIO...

Hadoop slave node会定期发出一些metrics信息来反映服务的健康状况，服务团队可以通过查看这些metrics来了解服务是否处于健康状态，并回溯了解历史表现...

互联网行业发展至今，竞争越来越激烈。大到公司小到个人也都无形中的越来越卷。已经好几年没有出现类似于腾讯、阿里、字节等这种现象级公司。行业公司业务增量趋势不明显甚至还有的在收...

在日常工作进行数据的ETL或者面试时，经常遇到类似的问题，比如"统计连续N天交易额超过100万的店铺"、"统计连续登录天数超过3天的用户"等。对于这类问题，思路基本都是...

一、HBase基础和架构 HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。 它基于Google Big...

一、Yarn 以获取Yarn界面队列信息为例： 1. 接口（HTTP Request） http://ip:port/ws/v1/cluster/scheduler ip和...

随着人工智能技术的飞速发展，DeepSeek作为一款行业领先的开源大模型，正在大数据领域掀起一场深刻的变革。其强大的数据处理和分析能力，为各行业带来了新的机遇和变革，推动数...

大多经历的过程无外乎，准备简历、投递目标公司的意向职位、公司邀约面试、候选人笔试/面试。如果面试顺利的话，将进入谈offer环节。通常由企业HR跟候选人沟通，...

众所周知，Apache Kafka是基于生产者和消费者模型作为开源的分布式发布订阅消息系统（当然，目前Kafka定位于an open-source distributed ...

1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体（如...