程胖儿

感谢阅读「美图数据技术团队」的第 13 篇文章，关注我们持续获取美图最新数据技术动态。 美图收集的日志需要通过 Hiv 程序清洗、规整，并持久化地落地于 HDFS / Hive，便于后续的统一分析处理。 图 1 / 什么是 ETL？ / ETL 即 Extract-Transf…

这几天在整理java基础知识方面的内容，对于值传递还不是特别理解，于是查阅了一些资料和网上相关博客，自己进行了归纳总结，最后将其整理成了一篇博客。 值传递是指在调用函数时将实际参数复制一份传递给形参，这样在函数中对形参的修改将不会影响到实际参数的值。 引用传递是指在调用函数时将…

在互联网和大数据的背景下，越来越多的网站、应用系统需要支撑 海量数据存储、高并发请求、高可用、高可扩展性 等特性要求。传统的 关系型数据库 已经难以应对类似的需求，各种各样的 NoSQL（Not Only SQL）数据库因此而产生。 本文将分析 传统数据库 的存在的问题，以及几…

员工开发调试是个问题，如果每次都找运维修改，维护，会被K的。 注意，此方案会存在一定的安全隐患，比如，ip爆破(可以设置白名单访问，basic auth，限制动态ip范围). 本文只是其中反向代理中的一种，类似的反代方案还有frp和ngrok，还可以用dns(bind,dnsm…

在接手老项目的时候，会发现，大家写法都很有自己的个性，有的小伙伴喜欢将业务编排放在controller，也有的喜欢放在service，有的会按照前辈的写法，还有的随心情，那舒服就放哪，百花齐放，这就会造成一个问题，随着项目越来越大，业务将散落在各个层级，代码冗余量增多，相同的功…

在上一篇中我们学习了工厂模式，介绍了简单工厂模式、工厂方法和抽象工厂模式。本篇则介绍设计模式中属于创建型模式的建造者模式和原型模式。 这里用一个示例来进行说明。 我们一天吃的食物有这些，煎饼、盒饭、拉面、豆浆、牛奶和果汁。分为三餐、早餐、午餐和晚餐，餐点主要包含吃的(俗称饭)和…

写这篇文章的目的源自于看《并发编程艺术》的时候，书上说synchronized关键字的锁是放在对象头里的。索性带着这个问题把这个关键字相关的内容梳理一下。 synchronized关键字是Java并发编程中非常重要的一个工具。它的主要目的是在同一时间只能允许一个线程去访问一段特…

自古兵家多谋，《谋攻篇》，“故上兵伐谋，其次伐交，其次伐兵，其下攻城。攻城之法，为不得已”，可见攻城之计有很多种，而爬墙攻城是最不明智的做法，军队疲惫受损、钱粮损耗、百姓遭殃。故而我们有很多迂回之策，谋略、外交、军事手段等等，每一种都比攻城的代价小，更轻量级，缓存设计亦是如此。…

既然说的是大型网站架构，那么架构的背后自然是解决人因面对大型网站特性而带来的问题。这样可以先给大家说下大型网站的特性，这些特性带来的问题就是人要解决的问题： 每个目标背后面临着技术、设计、维护等诸多方面的挑战； 而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设…