哔哩哔哩(B 站)崩了两次
哔哩哔哩(B站)在2023年经历了两次系统崩溃。首次发生在3月5日晚20:20左右,许多用户报告称手机和电脑端都无法访问视频详情页,而手机端还无法查看收藏夹和历史记录。有用户表示首页能正常加载,但全部显示繁体字。
第二次崩溃发生在8月4日晚间,距离上次事故仅过去了5个月。用户反馈称B站图片(视频封面)无法加载、视频无法打开,以及视频一直在缓冲。
腾讯 “3.29” 一级事故
腾讯于2023年3月29日经历了一级事故,微信和QQ等服务崩溃。这次事故由广州电信机房冷却系统故障引起,被定义为公司一级事故,并对相关领导做出了处罚。
唯品会 329 事故处罚结果:基础平台部负责人被免职
唯品会在3月29日也发生了一次崩溃,被判定为P0级故障,影响了很多消费者无法正常下单。公司宣布对基础平台部负责人进行了免职处理。
微软 Azure 故障,17 个生产级数据库被删
微软Azure在5月24日发生故障,导致17个生产级数据库被删除。
中国电信出现大规模无服务问题
中国电信在6月8日出现大规模无服务问题,主要在广东地区。中国电信客服回应表示,电信基站全省(广东电信)故障,暂时不能拨打电话,请耐心等待,现在紧急加急处理中,不便之处,敬请谅解。
语雀 10.23 重大服务故障,持续 7 小时
语雀在10月23日经历了7个小时的重大服务故障,原因是数据存储运维团队升级操作时出现了错误。
阿里云 11.12 重大服务故障,全线产品受影响
阿里云在11月12日下午出现严重故障,全线产品受影响。
滴滴 11.27 系统服务故障,技术团队连夜修复
滴滴在11月27日晚上因系统故障导致App服务异常,不显示定位且无法打车,技术团队连夜修复。
推特严重宕机,马斯克暴怒
推特也在不同时间发生了多次故障,引起了马斯克的不满。
ChatGPT 服务中断近 2 小时,CEO 奥特曼道歉:流量远超预期
ChatGPT服务在11月8日晚上22点左右中断近2小时,CEO奥特曼道歉,称新功能的使用量远超预期,公司正在努力修复。
避免生产环境事故是关键,因为它可以确保系统的稳定性和可用性。以下是一些常见的实践,可帮助减少生产环境事故的发生:
自动化测试: 实施全面的自动化测试,包括单元测试、集成测试和端到端测试。自动化测试可以帮助及早发现和修复潜在的问题,减少在生产环境中出现的意外行为。
持续集成和持续部署(CI/CD): 使用CI/CD流程确保代码的快速、可靠的交付。这有助于及时部署更新和修复,减少错误的影响范围。
监控和警报: 部署强大的监控系统,监测应用程序和基础设施的关键性能指标。设置警报,以便在问题发生之前能够及时采取行动。
灾难恢复计划: 制定灾难恢复计划,包括定期的备份和恢复演练。确保在发生灾难性故障时能够快速有效地还原系统。
滚动升级: 在生产环境中进行软件升级时,采用滚动升级的方法,逐步将新版本部署到生产系统,以降低升级可能引入的问题。
配置管理: 使用配置管理工具来管理和追踪应用程序和基础设施的配置。确保配置的一致性,避免由于配置错误而引起的问题。
安全最佳实践: 遵循安全最佳实践,包括定期审查和更新安全策略、及时应用安全补丁、限制权限和加密敏感数据。
性能测试: 定期进行性能测试,以确保系统能够在负载增加时保持稳定。识别并解决潜在的性能瓶颈。
容量规划: 进行容量规划,确保系统具有足够的资源以满足当前和未来的需求。防止因为资源不足而导致的性能问题。
文档和培训: 详细记录系统的架构、配置和操作过程,并提供培训以确保团队对系统的运行和维护具有足够的了解。
最重要的是对生产环境保持敬畏,对生产环境做任何一个操作都应该谨慎思考,明确知道它可能带来的结果。
个人简介
👋 你好,我是 Lorin 洛林,一位 Java 后端技术开发者!座右铭:Technology has the power to make the world a better place.
🚀 我对技术的热情是我不断学习和分享的动力。我的博客是一个关于Java生态系统、后端开发和最新技术趋势的地方。
🧠 作为一个 Java 后端技术爱好者,我不仅热衷于探索语言的新特性和技术的深度,还热衷于分享我的见解和最佳实践。我相信知识的分享和社区合作可以帮助我们共同成长。
💡 在我的博客上,你将找到关于Java核心概念、JVM 底层技术、常用框架如Spring和Mybatis 、MySQL等数据库管理、RabbitMQ、Rocketmq等消息中间件、性能优化等内容的深入文章。我也将分享一些编程技巧和解决问题的方法,以帮助你更好地掌握Java编程。
🌐 我鼓励互动和建立社区,因此请留下你的问题、建议或主题请求,让我知道你感兴趣的内容。此外,我将分享最新的互联网和技术资讯,以确保你与技术世界的最新发展保持联系。我期待与你一起在技术之路上前进,一起探讨技术世界的无限可能性。
📖 保持关注我的博客,让我们共同追求技术卓越。