首页
首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据
云上架构
创建于2021-08-08
订阅专栏
大数据相关
等 1 人订阅
共17篇文章
创建于2021-08-08
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Windows下通过FreeSwitch实现分机互打
1、FreeSwitch安装 因为我的Linux电脑接灰尘了,所以FreeSwitch我暂时安装在windows下。windows下安装,首先在Index of /windows/in
FreeSwitch基础知识
1、FreeSwitch的概念 FreeSwitch是一个跨平台的、伸缩性极好的、免费的、多协议的电话软交换平台。 FreeSwitch是跨平台的。可原生地运行在windows、Max OS X、Li
Hbase基本的表管理和访问
1.导入hbase依赖的jar包 hadoop-core-1.1.2.jar zookeeper-3.4.5.jar hbase-0.94.20-tests.jar hbase-0.94.20.jar
Hadoop学习—直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件。 2.出现如下结果表明正确 3.如果想两次打印文件内容,则只要在copyBytes下面加一点语句,代码如下: 这样就打印了
命令行实现hadoop上传JAR文件,运行《hadoop权威指南第二版》测试最大气温的应用
本人的配置环境如下: Ubuntu13.10 hadoop1.1.2 jdk8 1.按照《hadoop权威指南第二版》中查找最高气温,程序如下: 2.生成JAR文件,直接用Eclipse生成 右
nutch1.7与sorl4.8整合抓取网址出现java.io.IOException: Job failed!
最近在实践nutch1.7与sorl4.8整合抓取网址时,出现了以下问题: /home/znb/图片/2014-06-01 18:37:18的屏幕截图.png 开始在抓取的时候没有问题,但
hadoop2.6解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library问题
今天hadoop在启动时候,报 错误,然后增加调试信息,执行命令 于是打印出报错信息,由于太多,只选关键的 因为之前参考了 http://stackoverflow.com/questions/19
gf-complete报错error: incompatible types when assigning to type '__m128i' from
环境: ubuntu14.04 64 今天在进行gf-complete编译的时候报错 网上解决方案,如下 具体参见 http://jerasure.org/Nyan/gf-complet
KSQL:Apache Kafka的流式SQL
更新:KSQL 现在可作为Confluent Platform的一个组件提供。 我很高兴地宣布KSQL,为Apache kafka流SQL引擎®。KSQL降低了流处理世界的入口,提供了一个简单而
Redis实现Lua脚本
最近在做某项目时,遇到了一种场景:从Redis中读取数据,进行数据处理后,删除该数据。乍一看好像没什么问题。但是把该场景扩展到多线程,多应用同时执行时,可能会导致重复读取相同数据,并进行处理的场景。因
Spark(Streaming)写数据到文件-根据数据内容输出至不同自定义名称文件(saveAsHadoopFile和MultipleOutputFormt)
之前的Spark实时流处理的数据处理程序,要求把数据从kafka接收之后,分2路分别写入kafka和hdfs,写入kafka的部分之前已经有过总结,现在回过头来把之前的写入HDFS的地方重新总结一
Hadoop安装手册
1 安装环境 内核:3.10.0-229.el7.x86_64 操作系统:CentOS 7 ssh和sshd已经默认配置 在局域网中有三台机器用于安装:192.168.1.170,192.168.1.
Sqoop1.99.6将数据从MySQL导入到hadoop2.6
环境介绍: Centos7 Sqoop1.99.6 Hadoop2.6 Mysql5.6 1 Sqoop1.99.6安装 1.1Sqoop1.99.6安装 首先从官网(http://mirror.b
Ambari解决Protected multilib versions XXX
今天在安装Ambari软件时,碰到Protected multilib versions : libtirpc-0.2.4-0.15.el7.i686 != libtirpc-0.2.4-0.15.
HDFS纠删码(Erasure Coding)
目的 HDFS默认的3副本策略,在存储空间和其他比如网络带宽上有200%的开销,因而副本策略是昂贵的。但是对于具有相对较低I/O的冷热数据集,在正常操作期间很少访问其他副本块,但仍然消耗与第一个副
基于Sprint Boot开发的邮件发送系统
主要以QQ邮箱为例介绍。 1.开启QQ邮箱的POP3/SMTP服务或者IMAP/SMTP服务 2.配置resources/config/config.json文件里发送邮箱的用户名、密码、发件人
Hadoop纠删码算法启用ISA-L加速库
在前文HDFS纠删码(Erasure Coding)一文中提到,HDFS启用ISA-L存储加速库,有有助于提升HDFS纠删码的编码和解码效率。 版本说明如下: 软件 版本 Hadoop 3.1.0