傲娇喵喵

一、基础概念 1.1 事务简介   事务可以看做是一次大的活动，它由不同的小活动组成，这些活动要么全部执行成功，要么全部执行失败。事务提供一种机制将一个活动涉及的所有操作纳...

截至到目前 (2019.04)，HBase 有两个主要的版本，分别是 1.x 和 2.x ，两个版本的 Java API 有所不同，1.x 中某些方法在 2.x 中被标识为...

Kafka简介 Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统，最早是由Linkedin公司开发，最终开源到Apache软件基金会的项目。Kafka...

大家好，我是Peter~ 本文介绍Pandas中针对文本数据处理的方法。文本数据也就是我们常说的字符串，Pandas 为 Series 提供了 str 属性，通过它可以方便...

前言 @[toc] 面试题01、 请说下Hive和数据库的区别 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1）数据存储位置 Hive 存储在 HDFS 。数...

前言 事情是这样的 我在实习僧App上发现一家公司非常匹配我的需求~ 城市匹配 技能匹配 福利匹配 还是一家游戏公司 （典型的钱多离家近，事估计少不了了 ） 三配下来我不得...

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 💃 Hive中的函数 针对内置的函数，可以根据函数的应用类型进行归纳分类，比如：数值类型函数、日期类型函数、字...

「这是我参与2022首次更文挑战的第9天，活动详情查看：2022首次更文挑战」。 === 下面以某智慧物流大数据平台项目为例: === 第一剑「总决式」功能概述（三句话左右...

1需求分析WebServer/ApplicationServer分散在各个机器上，然而我们依旧想在Hadoop平台上进行统计分析，如何将日志收集到Hadoop平台呢？简单的...

Scala下载地址：https://www.scala-lang.org/download/一、安装JDK首先，因为Scala是运行在JVM平台上的，所以安装Scala之前...

这周收到一个 sentry 报警，如下 SQL 查询超时了。 执行show create table order_info 发现这个表其实是有加索引的 理论上执行上述 SQ...

大家好，我是捡田螺的小男孩。 我们日常做分页需求时，一般会用limit实现，但是当偏移量特别大的时候，查询效率就变得低下。本文将分4个方案，讨论如何优化MySQL百万数据的...

1. 简介 1.1. 什么是 shell Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。 Shell 既是一种命令语言，又是一种程序设计语言。...

其实存储过程是可以进行编程的，所以可以和其他的编程语言一样使用变量、表达式以及控制结构进行编程，从而实现一些复杂和有用的功能。这篇文章就来介绍一下存储过程的一些语法，并通过...

日志数据采集 流程 前端埋点 通过nginx到日志服务器 将 Event 打印到日志文件 将 Event 发送至Kafka 实现 1. 新建日志项目...

概览 一、离线计算和实时计算的差别 离线计算：计算前就已知所以输入数据，且输入数据不会发生变化，一般计算量很大，计算时间也比较长。 一般都是根据前一日的数据生成报表，虽然统...

ODS 层 采集到 kafka 直接作为 ODS 层，不需要额外处理，保持数据原貌。 日志数据主题：ods_base_log 业务数据主题：ods_base_db_m DW...