红茶恋上白开水

对于构建高性能、高可用的大型互联网系统，缓存是不可或缺的组成部分，微博的架构体系也是构建于缓存之上。本次课程介绍分布式缓存的相关知识，希望通过本次课程大家对分布式缓存有一定的了解，主要包含以下方面的内容：缓存概述、常用缓存介绍、分布式缓存实现、分布式缓存设计实践。

上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历，可能有些人对FastDFS不是特别的了解，因此计划写几篇文章完整的介绍一下这个软件。 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件…

本文来自社区这周的讨论话题——技术专题讨论第四期：漫谈分布式锁，也总结了我对分布式锁的认知和使用经验。应用场景当多个机器（多个进程）会对同一条数据进行修改时，并且要求这个修改是原子性的。这里有两个限定

最近这段时间一直在研究消息队列、文件系统、数据库等，慢慢的发现他们都有一个核心组件:日志.有时也叫write-ahead logs 、commit logs 或者事物 logs, 通常指在应用所有的修改之前先写入日志，一般会将重放日志、撤销日志都写进去。 我们经常听到很多名词,N

在单机系统中，传统的模式是： a single program, one process, one memory space running on one CPU。我们做了很多努力来给编程者提供一种简单的编程模型，一种顺序执行的模型，让程序实际执行的顺序就是代码的顺序。

分布式编程大多数数时间都是在处理分布式后带来的影响。为什么这么说呢？因为虽然理想情况是：我们在分布式系统上编程跟在单机上编程一样，这种抽象对于程序员来说是最友好的，但是呢？理想很丰满，现实很骨感，我们必须拨开抽象，去处理影藏在单机抽象背后的多机系统带来的问题，才可能很好的解决问题。因此，我们现在不断在寻求一个更好的抽象模型，尽可能的让编程在分布式环境下变的简单。

分布式队列神器 Celery

我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

对于大数据和人工智能来讲，现在仅仅是萌芽时期，后面还有大量的工作要做，而模型的训练无论是单机还是分布式，都还没有达到真正稳定的生产批量效果，这些挑战，不仅仅来自于技术的实现，同时也来自于业务的配合。