智海观潮

1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体...

最近后台有小伙伴提了一些实际工作中使用Spark遇到的问题，笔者挑选了几个相对常见的问题，分别从场景模拟/问题现象、问题分析、解决方案三个层面，来深入分析这些问题，并且提供...

在职场中，总会遇到一种“奇怪”的现象： 部门或者团队里总有那么几个同事，茶余闲聊时，总是吐槽公司和领导种种的不好。关键是，吐槽了N年，身边同事都换了几茬，这些人竟奇迹般的还...

可以通过要监控的任务列表，对比存活的Spark任务，不存在的可以通过短信或邮件的方式预警。获取Spark还在运行状态任务的示例代码：...

更多干货抢先看：大数据干货合集 GROUPINGSETS 示例：实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNIO...

Hadoop slave node会定期发出一些metrics信息来反映服务的健康状况，服务团队可以通过查看这些metrics来了解服务是否处于健康状态，并回溯了解历史表现...

互联网行业发展至今，竞争越来越激烈。大到公司小到个人也都无形中的越来越卷。已经好几年没有出现类似于腾讯、阿里、字节等这种现象级公司。行业公司业务增量趋势不明显甚至还有的在收...

在日常工作进行数据的ETL或者面试时，经常遇到类似的问题，比如"统计连续N天交易额超过100万的店铺"、"统计连续登录天数超过3天的用户"等。对于这类问题，思路基本都是...

一、HBase基础和架构 HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。 它基于Google Big...

一、Yarn 以获取Yarn界面队列信息为例： 1. 接口（HTTP Request） http://ip:port/ws/v1/cluster/scheduler ip和...

随着人工智能技术的飞速发展，DeepSeek作为一款行业领先的开源大模型，正在大数据领域掀起一场深刻的变革。其强大的数据处理和分析能力，为各行业带来了新的机遇和变革，推动数...

大多经历的过程无外乎，准备简历、投递目标公司的意向职位、公司邀约面试、候选人笔试/面试。如果面试顺利的话，将进入谈offer环节。通常由企业HR跟候选人沟通，...

众所周知，Apache Kafka是基于生产者和消费者模型作为开源的分布式发布订阅消息系统（当然，目前Kafka定位于an open-source distributed ...

1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体（如...

海量日志数据，提取出某日访问百度次数最多的那个IP 分而治之/hash映射：针对数据太大，内存受限，只能是把大文件化成(取模映射)小文件；按照IP地址的Hash(IP)%1...

何谓海量数据处理？ 所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性...

近期，TypeScript首次超越Python成为GitHub贡献者数量最多的语言，以约4.2万名贡献者优势登顶，AI辅助开发与默认支持该语言的开发框架是主要驱动力。其严格...

本系列文章主要介绍Spark SQL/Hive中常用的函数，主要分为字符串函数、JSON函数、时间函数、开窗函数以及在编写Spark SQL代码应用时实用的函数算子五个模块...

function_name([argument_list]) OVER ( [PARTITION BY partition_expression,…] [ORDER BY ...

Spark SQL和Hive中的函数（三）：时间函数**更多干货抢先看：**[大数据干货合集](https://mp.weixin.qq....