-
系统稳定性建设（14） – 稳定性治理思路与实践
想了想，还是把过往一段时间里，我们在稳定性建设中的实践记录下来，包含一些思路和方法，也算是一部大型踩坑记录，也只是一些实践过的野路子、野方法。 文章目录 Toggle 团队背景治理目标故障分级稳定性目标治理思路事前预防研发流程中的保障常态化治理专项优化故障发现基础组件监控服务监控链路监控业务监控流量监控故障恢复故障注入恢复手段扩容熔断/限流/降级多云多活技术治理之外的稳定性能力建设流程标准及自动化…- 2
- 0
-
2021.10.07 一行小错为何产生巨大破坏-Facebook史诗级故障大反思学习
Facebook大故障原因：一条写得很糟糕的命令、一款有缺陷的审核工具、一个阻碍成功恢复网络的DNS系统、以及严密的数据中心安全 Facebook故障是一系列不幸的事件酿成的！ 一条写得很糟糕的命令、一款有缺陷的审核工具、一个阻碍成功恢复网络的DNS系统以及严密的数据中心安全，所有这些因素导致了Facebook长达 7 个小时的重大故障。 Facebook 表示，周一故障的根本原因是例行维护工作出…- 3
- 0
-
IT服务管理:故障治理 – 运维故障排查处理思路
在讲解事件、故障处理思路前，先讲一个故障场景（以呼叫中心系统作为一例子）： 业务人员反映呼叫中心系统运行缓慢，部份电话在自助语言环节系统处理超时，话务转人工座席，人工座席出现爆线情况。 运维人员开始忙活了，查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去，但是原因还未定位。 经理过来了解情况：“系统恢复了吗？”、“故障影响是什么？”、…- 2
- 0
-
实践案例 – 苏宁 AI 监控运维保障建设实践
文章目录 Toggle 建设背景大规模时间序列分析与根因定位业务背景异常检测平台能力异常检测指标预测多维度分析自定义仪表盘时序预测方法1 DeepAR2 MQ-RNN3 MQ-CNN[2]集成方法根因定位运维知识图谱背景构建流程1. 样本构建2. 因果发现3. 因果推理大规模海量日志分析的 818 保障阶段一阶段二阶段三阶段四阶段五愿景 建设背景 近些年，苏宁一直基于云技术对外提供服务、产品、内容…- 1
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 1
- 0
-
实践案例 – vivo监控系统这样演进才稳妥
一、业务背景 当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来越多的业务也会导致系统的复杂性。 当核心业务出现了问题影响用户体验，开发人员没有及时发现，发现问题时已经为时已晚，又或者当服务器的CPU持续增高，磁盘空间被打满等，需要运维人员及时发现并处理，这就需要一套有效的监控系统对其进行监控和预警。 如何对这些业务和服务器进行监控和维护是…- 3
- 0
-
SRE实战手册 – 技能宝典
先聊一聊SRE的工作职责，聊一下我所理解的SRE的核心目标；初步看一下稳定性建设的工作范畴，看一看从宏观上如何划分我们的工作内容；然后我们由此进入今天的主题：故障管理，我将按照我的理解对故障管理进行拆解和分析；再后面，围绕故障管理，我们深入聊一下SRE的体系建设，如何通过体系建设来更好地做故障管理；最后我们再简单做下对未来的展望，共同畅想一下SRE工作的未来。 文章目录 Toggle 一、SRE的…- 2
- 0
-
故障复盘 – 2023.11.12 阿里云的史诗级故障，从这故障中我们能学到什么
时隔一年阿里云又出大故障，并创造了云计算行业闻所未闻的新记录 —— 全球所有区域/所有服务同时异常。我们应当如何看待这一史诗级故障案例，以及，能从中学习到什么经验与教训？ 文章目录 Toggle 事实是什么？原因是什么？影响是什么？评论与观点？能学到什么？ 事实是什么？ 11月12日，也就是双十一后的第一天，阿里云发生了一场史诗级大翻车。根据阿里云官方的服务状态页，全球范围内所有可用区 x 所有服…- 1
- 0
-
经验教训 – 3.29 #微信QQ出现功能异常#，冲上热搜，妥妥的第一
包括微信语音、账号登录、朋友圈，以及微信支付，都无法正常使用。 有网友表示，电脑版微信大概是在早上10:00左右恢复登录，和小雷登录的时间相吻合。 据腾讯的最新财报显示，微信及WECHAT月活数高达13.1亿，如此大用户量的产品出现故障无疑对大众生活工作带来了不少的影响。 不过有一说一，大厂们服务器故障，似乎每年都得上演那么几次。 轻微一些的，有像B站前阵子那样，视频短暂崩溃了半小时。 严重点的，…- 1
- 0
-
故障治理 – 优酷双11猫晚技术质量保障
阿里QA导读：大家还记得天猫双11狂欢夜（猫晚）吗？小编依然还会经常听到真实力老酷guy腾格尔老师钢铁硬核版的《丑八怪》。与往年猫晚相比，今年是最“国际化”的一届，整场晚会通过优酷进行了全球直播覆盖，在这样的双11猫晚的特殊场景下，如何完成质量保障工作，让全球直播也能“如丝般顺滑”，让不同地域、不同设备的用户都能享受极致的体验？ 本文为阿里文娱测试开发专家 宫浩 在【阿里文娱2019双11猫晚技术…- 2
- 0
-
IT 故障治理 – 运维救火必备：问题排查与系统优化手册（结合教训现身说法）
软件工程领域存在一个共识：维护代码所花费的时间要远多于写代码。而整个代码维护过程中，最惊心动魄与扣人心弦的部分，莫过于问题排查（Trouble-shooting）了。特别是那些需要 7×24 小时不间断维护在线业务的一线服务端程序员们，大大小小的问题排查线上救火早已成为家常便饭，一不小心可能就吃成了自助餐 —— 竖着进躺着出，吃不了也兜不住。 本文分享作者在服务端问题排查方面的一些经验，…- 2
- 0
-
经验教训 – 2024.4.8 腾讯云事件持续近87分钟学习经验
腾讯云发布了 4.8 号大故障的复盘报告。我认为是一件好事，因为阿里云双十一大故障的官方故障复盘至今仍然是拖欠着的。公有云厂商想要真正成为 —— 提供水与电的公共基础设施，那就需要承担起责任，接受公众监督 —— 云厂商有义务披露自己故障原因，并提出切实的可靠性改进方案与措施。 那么我们就来看一看这份复盘报告，看看里面有哪些信息，以及可以从中学到什么教训。 事实是什么？ 原因是什么？ 影响…- 0
- 0
-
系统稳定性保障 – 1-3-5-10的应急响应中心专业治理宕机
背景 随着业务规模的不断扩张和日常需求的快速迭代，即使是最优秀的业务架构、最完善的生产体系也无法确保系统100%的可用性，参考墨菲定律，会出错的事总会出错，故障在生产环境中不可避免。为了在故障发生时能够快速定界定位，采取有效措施止损，避免同根因故障重复发生，我们需要对故障全生命周期进行统一管理。 故障应急体系一般包括以下环节，故障预防、故障发现、故障定位、故障恢复、故障复盘及改进，其中故障预防阶段…- 1
- 0
-
Java高并发高性能分布式框架从无到有微服务架构设计
微服务架构模式（Microservice Architect Pattern）。近两年在服务的疯狂增长与云计算技术的进步，让微服务架构受到重点关注 微服务架构是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通（通常是基于HTTP的RESTful API）。每个服务都围绕着具体…- 1
- 0
-
C++ 高性能服务器网络框架设计细节
前言 这篇文章我们将介绍服务器的开发，并从多个方面探究如何开发一款高性能高并发的服务器程序。需要注意的是一般大型服务器，其复杂程度在于其业务，而不是在于其代码工程的基本框架。 大型服务器一般有多个服务组成，可能会支持CDN，或者支持所谓的“分布式”等，这篇文章不会介绍这些东西，因为不管结构多么复杂的服务器，都是由单个服务器组成的。所以这篇文章的侧重点是讨论单个服务程序的结构，而且这里的结构指的也是…- 27
- 0
-
JVM性能优化系列-(7) 深入了解性能优化
目前已经更新完《Java并发编程》和《Docker教程》，欢迎关注【后端精进之路】，轻松阅读全部文章。 Java并发编程： Java并发编程系列-(1) 并发编程基础 Java并发编程系列-(2) 线程的并发工具类 Java并发编程系列-(3) 原子操作与CAS Java并发编程系列-(4) 显式锁与AQS Java并发编程系列-(5) Java并发容器 Java并发编程系列-(6) Java线程…- 3
- 0
-
Java电商秒杀系统性能优化(五)——查询性能优化技术之页面静态化
页面静态化 概述 一、静态请求CDN 1.1 回源缓存设置 1.2 有效性判断 1.3 浏览器的三种刷新方式 1.4 CDN自定义缓存策略 二、静态资源部署策略 三、全页面静态化 概述 cdn的核心原理并将静态页面部署到cdn上，之后使用了phantomjs的无头浏览器方案实现了将静态请求和动态请求合并一同部署到cdn上，更进一步的将商品详情页的流量能力提升到极致； 页面静态化，其实就是将动态生成…- 135
- 0
-
vue、react、angular三大框架对比
首先，我们先了解什么是MVX框架模式？ MVX框架模式：MVC+MVP+MVVM 1.MVC：Model(模型)+View(视图)+controller(控制器)，主要是基于分层的目的，让彼此的职责分开。 View通过Controller来和Model联系，Controller是View和Model的协调者，View和Model不直接联系，基本联系都是单向的。 用户User通过控制器Control…- 5
- 0
-
亿级Web系统搭建——单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 **Web负载均衡 ** Web负载均衡（Load Balancing），简单地说就是给我们的服务器…- 12
- 0
-
关于 Log4j2漏洞（CVE-2021-44228）的影响
更新时间：2021年12月19日星期日 安全已关注到关于 Apache “Log4j2”的安全问题（CVE-2021-44228），并已第一时间启动安全风险的治理。安全会持续监控此问题的更新，保障与Log4j2相关的云产品及云服务的安全性，让广大用户放心使用。 安全强烈建议客户关注 Log4j2 相关应用和系统的更新，及时更新组件至最新版本，或使用相关应用、系统的自动更…- 142
- 0
-
秒杀系统架构分析与实战
互联网正在高速发展，使用互联网服务的用户越多，高并发的场景也变得越来越多。电商秒杀和抢购，是两个比较典型的互联网高并发场景。虽然我们解决问题的具体技术方案可能千差万别，但是遇到的挑战却是相似的，因此解决问题的思路也异曲同工。 1） 对现有网站业务的冲击 因为秒杀活动只是网站营销的一个附加活动，这个活动具有时间短，并发访问量大的特点，如果和网站原有应用部署在一起，必然会对现有业务造成冲击，稍有不慎…- 23
- 0
-
负载均衡、DNS、F5、反向代理、LVS、四层与七层、CDN
1.负载均衡 负载均衡：将负载(大量请求)均匀的、平衡的分摊到多个服务节点上进行处理。 实现负载均衡有很多种手段，例如：DNS、硬件负载均衡设备、Nginx反向代理、LVS。 1.1.DNS DNS：Domain Name System，域名系统，更加专业的名字为域名解析系统。 域名解析系统部署在DNS服务器上，提供域名解析服务。 简单来说，域名解析就是将一个域名解析成多个ip地址。 如下图是通过…- 404
- 0
-
整理大型网站架构必知必会的几个服务器知识
1. 初始阶段的网站架构 一般来讲，大型网站都是从小型网站发展而来，一开始的架构都比较简单，随着业务复杂和用户量的激增，才开始做很多架构上的改进。当它还是小型网站的时候，没有太多访客，一般来讲只需要一台服务器就够了，这时应用程序、数据库、文件等所有资源都在一台服务器上，网站架构如下图所示： 2. 应用服务和数据服务分离 ** 随着网站业务的发展和用户量的增加，一台服务器就无法再满足需求了。大量用户…- 8
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×