大数据

什么是K8S弹性伸缩 K8S可以自动化管理许多任务，包括自动监控、扩缩容任务，代替手动分配资源，我们可以自动化这些过程从而节省时间，响应相关业务需求，快速应对业务流量压力，以及在流量低峰的时候进行缩容

背景 一种数据处理平台是通过Flink on K8S去实现数据ETL，把数据从Hbase、Hive 、关系型数据库等大数据ODS（Operational Data store ）层去拉取相应的数据，存

背景 大型互联网企业中，都有大量的AI应用，需要进行算法建模去驱动业务发展，其中肯定会用到深度学习，而深度学习就需要大量的计算资源GPU因为计算速度快成为了必选项，刚开始的时候可以直接在GPU机器上去

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 了解Zeppelin的架构有助于你分析开发过程中碰到的问题以及如何更好的使用 Zeppelin。 Zeppelin 架构 首先我们来了解下 Zep

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景 基于阿里云自己手动搭建了几次k8s集群，采用flannel VXLAN 构建的Overlay覆盖网络 （route路由表设置正常 iptab

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 前言 应用系统后端依赖的数据库是自己搭建和运维的Mysql，版本是5.5.64，历史原因没有上云，企业有机会还是上云，把db维护交给专业的人去运维

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 docker docker的作用？ 从2010云计算开始火起来，什么Iass、Pass、SasS出现了许多年，尤其是pass方面更需要一个这样的平

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景 大多数互联网企业都提供有类似Notebook类的产品，采用交互式的方式进行数据分析、数据建模及数据可视化。主要实现大多都是基于jupyter

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 K8S通常执行如下语句进行初始化： 在 kubeadm 初始话集群成功后会返回join 命令，里面有 token，discovery-token-

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 问题现象： 运维k8s过程当中，当执行delete操作时发现pod一直处于terminating状态 问题排查 执行：kubectl get AP

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 当前的应用系统，通常数据量比较大、数据复杂度比较高以及数据快速多变，可以把这样的系统称之为数据密集型系统，数据密集型系统通常基于不同的模块组件进行

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 大数据应用方向 大数据搜索 大数据的起源就是来源于搜索，提到大数据搜索，作为全球最大的搜索引擎google，同时也是我们公认的大数据的鼻祖。存储着

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景 我们常说的大数据技术，大致主要起源于Google在2004年前后发表的三篇论文，大数据概念流行之前其实数据处理早就存在，每个公司或者个人都有

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景 对于一个企业大数据应用来说，搞定了大数据存储基本上就解决了大数据基础架构中最重要的问题。Google 三驾马车的第一驾是GFS，Hadoop

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景介绍： 一年多以前从腾讯出来，换了家企业，涉及到一些安装运维工作，其中大数据AI产品需要落地，在大厂腾都有现成的可以用，来到这都没有K8S集群

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 前言 由Uber公司的开发的Horovod架构，是一个集成了多个深度学习的统一平台，提供分布式训练效率的同事，让深度学习分布式训练变得更方便。\

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景知识 WKT(Well-known text)是一种文本标记语言，用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。它的二进制表示方

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 背景 spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。它给出了大一统的软件开发栈，适用于不同场合的分布式

本文已参与「新人创作礼」活动，一起开启掘金创作之路。  背景 大数据组件和服务上云原生应该是业界的一种趋势，尤其是在现在大数据计算和存储相分离的情况下，yarn是一个资源管理和调度工具，其平台化管理能