黄小虎

0x00. 前言 图的定义：图是由一组顶点和一组能够将两个顶点相连的边组成的：无向图、有向图、加权图、加权有向图。对于有向图而言，我们分别定义入度和出度，顶点的入度表示有多少条边指向这个节点，顶点的出度表示有多少条边以这个节点为起点指向其他节点。 资源描述框架RDF（Resou…

是一个分布式计算框架，支持少量代码实现海量数据并发处理程序。多个服务器同时进行计算，极大的提高了计算效率。 MapReduce无法在毫秒或者秒级时间内返回结果。 后一个应用程序的输入为前一个的输出，MapReduce的输入输出都会写入到磁盘，会造成大量的磁盘IO，会导致性能底下…

Mapreduce是一个分布式计算框架，支持少量代码实现海量数据并发处理程序。多个服务器同时进行计算，极大的提高了计算效率。 readFields方法反序列化了输入数据。（reduce读取时进行反序列化，从字节数组转换为int类型 继承 org.apache.hadoop.ma…

大量数据导入hugegraph库时，官方导入工具loader实际使用效率低，不适合亿级数据的导入。且loader通过原生接口进行数据导入，影响生产集群的稳定性，同时数据的持续写入会因为 flush，compaction 等机制占用较多的系统资源。 因此考虑使用bulkload直…

1. 火焰图： 火焰图用于分析热点代码占用大量cpu,从而导致服务性能下降的情况。如下图，自底向上为调用关系。上层宽度越宽标示当前函数cpu耗时越久，我们关注最宽的函数调用。 2. 两款常用火焰图生成工具 这款工具开箱即用，本人在生产环境中也经常使用。 -d表示采样时间(s)，…

hugegraph经过一次大的版本升级(v0.9-0.11)，其底层存储结构发生变化，新旧版本存储不兼容，社区提供了数据导出组件tools,将数据从hbase中导出为原始数据，在导入到新版图中。但并不适用于大数据量业务，主要考虑有以下两点： tools为单机，实测导入速度并不足…

一、 背景 业务方需要经常按label类型导出数据进行分析，此前一直是将全部数据（千亿点边）导出再进行label的，效率很低。选择使用spark(scala+java)来进行数据的批量导出。 二、核心

前言目前市面上存在多款开源图数据库，以及各家厂商也进行了自研图数据库（大多闭源），以符合自己的定制化要求，如何选择呢？hugegraph,janusgraph,nebula，bytegraph，腾讯图