在我们的生活中,通常会使用大型网站系统,比如购物网站淘宝,京东,阿里1688;大型搜索引擎网站百度,社交类的如腾讯旗下的微信,QQ及新浪旗下的微博等,他们通常都有一下特点:
高并发、大流量:这些系统必须能够处理成千上万甚至数百万的并发用户请求,以及持续的大流量访问。例如,Google、腾讯等网站每天可能需要应对亿级别的页面浏览量。
高可用性:系统设计需要保证7×24小时不间断的服务,以确保任何时候用户都能访问。这通常意味着需要有冗余的服务器集群、负载均衡、故障切换等机制来防止服务中断。
海量数据:大型网站需要存储和管理巨大的数据量,包括文本、图像、视频和其他多媒体内容。这些数据通常分布在多个服务器或数据中心中,以提高存储效率和数据访问速度。
用户分布广泛,网络情况复杂:互联网用户遍布全球,网络状况可能因地理位置、互联网服务提供商(ISP)等因素而有很大差异。大型网站必须优化其架构以适应各种网络条件。
安全环境恶劣:由于互联网的开放性,网站容易遭受各种形式的攻击,如DDoS攻击、SQL注入、跨站脚本(XSS)等。因此,安全防护措施是必不可少的。
需求快速变更,发布频繁:与传统软件开发不同,大型网站需要快速响应市场变化和用户需求,这要求系统具有高度的灵活性和可扩展性,并能频繁更新和迭代。
渐进式发展:许多大型网站都是从小规模开始,逐步增长到大规模。因此,系统架构需要能够平滑地从较小的规模扩展到较大的规模,同时保持性能和稳定性。
为了应对上述的特点,大型网站通常采用分布式计算、微服务架构、容器化、云服务、缓存策略、数据库分片、CDN(Content Delivery Network)等技术和方法来构建其基础架构。
大型网站的初期配置:
网站的初期,用户访问量相对比较少,只需要一台服务器就绰绰有余,应用程序、数据库、文件等所有的资源都在一台服务器上。
应用服务和数据库服务分离:
出现的问题:
随着网站业务的发展,一台服务器逐渐不能满足需求:越来越多的用户访问导致性能越来越差,越来越多的数据导致存储空间不足。
解决办法:
这时就需要将应用和数据分离。应用和数据分离后整个网站使用三台服务器:应用服务器、文件服务器和数据库服务器。
这三台服务器对硬件资源的要求各不相同,应用服务器需要处理大量的业务逻辑,因此需要更快更强大的CPU;数据库服务器需要快速磁盘检索和数据缓存,因此需要更快的硬盘和更大的内存;文件服务器需要存储大量用户上传的文件,因此需要更大的硬盘。
应用和数据分离后,不同特性的服务器承担不同的服务角色,网站的并发处理能力和数据存储空间得到了很大改善,支持网站业务进一步发展。但是随着用户逐渐增多,网站又一次面临挑战:数据库压力太大导致访问延迟,进而影响整个网站的性能,用户体验受到影响。这时需要对网站架构进一步优化。
使用缓存改善网站的性能:
出现的问题:
大型网站系统访问的特点,80%的业务访问集中在20%的数据上。
解决办法:
既然大部分的业务访问集中在一小部分数据上,那么如果把这一小部分数据缓存在内存中,是不是就可以减少数据库的访问压力,提高整个网站的数据访问速度,改善数据库的写入性能了呢?
网站使用的缓存可以分为两种:缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存服务器上的远程缓存。本地缓存的访问速度更快一些,但是受应用服务器内存限制,其缓存数据量有限,而且会出现和应用程序争用内存的情况。远程分布式缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,可以在理论上做到不受内存容量限制的缓存服务.
使用应用服务器集群改善网站的并发处理能力:
出现的问题:
一台服务器的处理能力、存储空间不足时,不要企图去换更强大的服务器,对大型网站而言,不管多么强大的服务器,都满足不了网站持续增长的业务需求。
解决方案:
使用集群是网站解决高并发、海量数据问题的常用手段,应用服务器实现集群是网站可伸缩集群架构设计中较为简单成熟的一种.
通过负载均衡调度服务器,可将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果有更多的用户,就在集群中加入更多的应用服务器,使应用服务器的负载压力不再成为整个网站的瓶颈。