Glog 是货拉拉移动端监控系统中的日志存储组件，Glog 意即 General log - 通用日志。为了满足我们对日志格式的多种需求，我们在存储方式、归档方式上做了一些探索和实践，使得 Glog

舆情系统 中数据采集是一个关键部分，此部分核心技术虽然由爬虫技术框架构建，但抓取海量的互联网数据绝不是靠一两个爬虫程序能搞定，特别是抓取大量网站的情况下，每天有大量网站的状态和样式发生变化以后。

硕士毕业于西安电子科技大学，曾就职于阿里云存储部门，主要从事存储服务相关功能的设计与开发工作。于2016年加入七牛云，主要负责流式计算与离线计算服务pipeline的架构和开发工作。目前pipeline承载公司每天超过千亿、超过百TB的数据处理。 今天的分享主要围绕七牛在最近一…

本文系美图互联网技术沙龙第 11 期嘉宾分享内容，公众号后台回复「美图大数据平台」获取 PPT，点击阅读原文可观看完整视频回放。 如今大数据在各行业的应用越来越广泛：运营基于数据关注运营效果，产品基于数据分析关注转化率情况，开发基于数据衡量系统优化效果等。美图公司有美拍、美图秀…

背景介绍采集流程流程分解流程一：MLSQL消费MQ流程二：通过Logstash进行消费MQ流程三:数仓建模注意：本篇主要是借鉴这个需求讲解Logstash在实际场景中的使用以及优化，其他两个部分流程不

《支付宝客户端架构解析》系列将从支付宝客户端的架构设计方案入手，细分拆解客户端在“容器化框架设计”、“网络优化”、“性能启动优化”、“自动化日志收集”、“RPC 组件设计”、“移动应用监控、诊断、定位”等具体实现，带领大家进一步了解支付宝在客户端架构上的迭代与优化历程。 本节将…

结合《蚂蚁金服面对亿级并发场景的组件体系设计》，我们能够通盘了解支付宝移动端基础组件体系的构建之路和背后的思考，本文基于服务端组建体系的大背景下，着重探讨“自动化日志手机与分析”在支付宝 App 内的演进之路。 这是整个支付宝移动端无线基础团队的技术架构图，同时蚂蚁金服体系内的…

AI 前线导读: “随着中国民生银行的 IT 业务系统的迅速发展，主机、设备、系统、应用软件数量不断增多，业务资源访问、操作量不断增加，对于应用整体系统智能分析与处理的要求不断提高, 急需建立包含所有应用、系统、存储、设备的统一的日志集中管理平台。本文分享了中国民生银行大数据基…

一、鹰眼平台介绍鹰眼是由PCG技术运营部负责的海量级分布式实时监控和日志分析系统，支持多语言的上报，域名为：http://log2.oa.com/鹰眼的数据上报是通过ATTA提供的，ATTA支持多语言