-
系统稳定性建设（1） – 如何做好系统稳定性建设系统
文章目录 Toggle 1. 背景介绍2. 故障源的分类3. 稳定性建设四要素第一要素：人第二要素：工具第三要素：预案第四要素：目标4. 稳定性建设四个方向第一个方向：根基要抓牢（45%）第二个方向：工作在日常（30%）第三个方向：预案是关键（15%）第四个方向：容量是核心（10%）3. 总结 1. 背景介绍 在移动互联网时代，用户群的积累比之前更容易，但同样，也会因为糟糕的用户体验，而快速流失用…- 1
- 0
-
稳定性建设 – 治理思路
文章目录 Toggle 一、背景二、目标三、治理3.1 变更规范治理3.2 监控埋点治理3.3 服务流量治理3.4 服务容错治理3.5 服务依赖治理四、故障应急流程 一、背景 伴随公司和业务的快速发展，服务稳定性也越来越重要，特别是对于基础架构或者重要的业务团队，我们的任何服务出现问题，都可能影响到依赖我们的服务，所以我们应该以更高的稳定性要求作为我们的目标。 业务发展看似并不一定需要稳定性建设，…- 1
- 0
-
思维模型 – 灯塔思维：明确远期目标，保持长远视野
迈克尔·西蒙斯通过研究成功的企业家，发现那些白手起家的亿万富翁企业家有着惊人的共性：他们总是能够从长远的视角来看待问题，而大多数人则只看眼前的利益。以亚马逊创始人贝索斯为例，他为了进行一些可能失败的实验，愿意长期投资数十亿美元，而他看重的并非短期的回报，而是未来可能带来的巨大收益。 灯塔思维强调的是长远的视角和耐心。就像航海者在茫茫大海中靠着远方的灯塔找到方向一样，人生中的灯塔指引我们始终保持目标…- 6
- 0
-
2024年 互联网故障盘点，我们能从故障中学到什么？
2024年已过，让我们来盘点今年出现的故障。回顾这一年，我们经历了各种挑战和困难，但也从中学到了许多宝贵的经验。 在面对不确定性时，我们学会了更多灵活地调整策略，每一次解决问题的过程，都是对能力的一次历练。虽然路途不易，所幸我们在变化中成长，塑造更强大的自己，也对未来充满了信心和期待。 2024年发生的宕机事件 谁能想到，“崩”也成了一种上热搜的新姿势。回顾2024年，微软、腾讯云、支付宝、美团、…- 4
- 0
-
2024年复盘-互联网十大故障分析回顾
故障回顾随着2024年的圆满结束，今天，我有幸与各位一同回顾并深入探讨2024年中出现的一些具有代表性的故障案例。我们将分析这些案例，总结经验教训，并探讨如何在未来避免类似问题的发生。 1 2024年 1月11日腾讯游戏故障 故障描述：1月11日晚，多位网友表示包括《英雄联盟》《王者荣耀》《和平精英》在内的多款腾讯旗下游戏出现服务器崩溃、掉线的问题。“腾讯游戏全部断开”甚至登上热搜，今天凌晨0时许…- 6
- 0
-
稳定性建设 – 高可用容灾架构思路
大型分布式系统稳定性建设的重要性与方法。首先，强调了高可用容灾架构的建设，遵循面向故障设计、墨菲定律和自动化原则。接着，介绍了依赖的视角，指出高可用架构中不应存在强依赖。然后，讲解了并发、吞吐和延迟的概念，引入了SRE、DIO和AI OPE的概念。接着，强调了AI的开放思想，指出稳定性保障的对象是用户视角下的功能范畴。最后，提出了五个等级的容灾能力，强调了事前预防的重要性。此外，视频还详细讲解了事…- 2
- 0
-
系统稳定性建设（11） – 系统总出故障怎么办？稳定性建设是什么？
大家好，我是树哥。 说到系统稳定性，不知道大家会想起什么？我想大多数人会觉得这个词挺虚的，不知道系统稳定性指的是什么。 一年前的我看到这个词，也是类似于这样的感受，大概只知道要消除单点、做好监控报警，但却并没有一个体系化的方法论。 经过一段时间的摸索，我对系统稳定性有了较为体系化的认识，于是迫不及待地希望和大家一起分享。所以今天，就让我跟大家简单聊聊系统稳定性建设这个话题吧！ 文章目录 Toggl…- 6
- 0
-
系统稳定性建设（16） – 稳定架构设计思路
系统稳定性建设是系统工程的核心内容之一。以下是一些重要的方面: 架构设计:采用模块化、松耦合的架构设计,以提高系统的可扩展性和可维护性。合理划分系统功能模块,降低单个模块的复杂度。定义清晰的接口和数据交换标准,确保各模块之间协调工作。 监控与报警:部署全面的监控体系,实时跟踪系统的运行状态和关键指标。建立完善的告警机制,及时发现并定位系统问题。 容错机制:建立完善的异常处理和容错机制,及时检测并隔…- 0
- 0
-
系统稳定性建设（9） – 稳定性监控体系建设实践
文章目录 Toggle 一、前言二、监控体系建设2.1 指标定义2.1.1 通用场景指标2.2.2 特定场景指标2.2 数据采集2.2.1 页面性能数据2.2.2 页面崩溃数据2.2.3 页面白屏数据2.2.4 页面报错数据2.2.5 页面卡顿数据2.3 监控方式2.3.1 数据看板2.3.2 监控告警2.3.3 数据推送三、监控体系运行3.1 解读周期3.2 现状分析3.3 定位异常3.4 异常…- 7
- 0
-
系统稳定性建设（15） – 各大互联网公司稳定性治理之线上故障处理
文章目录 Toggle 0x01 概述0x02 线上故障处理的目标0x03 线上故障处理的思路0x04 故障发现0x05 故障定位0x06 故障排除0x07 故障回溯0x08 线上故障处理的‘后勤保障’完善的监控/告警体系完善的日志 trace 体系完善的故障处理机制0x09 总结0x10 案例0x11 参考资料线上服务故障处理原则墨菲定律应急目标应急原则应急方法与流程发现问题系统层面监控包括应用…- 2
- 0
-
系统稳定性建设（8） – 业务团队系统稳定性的思与行
文章目录 Toggle 前言什么是SRE1，心态&态度1.1，谁适合做稳定性？1.2，业务团队如何支持稳定性SRE人员1.3，开发和SRE的区别1.4，SRE心态上的一些释疑1.4.1，疑惑1：做好了是应该的，出了问题就要负责任1.4.2，疑惑2：稳定性总是做擦屁股的工作 前言 2013年，当我第一次接触稳定性的时候，我是有些懵的，当时完全不知道稳定性是什么，也不清楚要做什么。在接下来的8…- 9
- 0
-
系统稳定性建设（14） – 稳定性治理思路与实践
想了想，还是把过往一段时间里，我们在稳定性建设中的实践记录下来，包含一些思路和方法，也算是一部大型踩坑记录，也只是一些实践过的野路子、野方法。 文章目录 Toggle 团队背景治理目标故障分级稳定性目标治理思路事前预防研发流程中的保障常态化治理专项优化故障发现基础组件监控服务监控链路监控业务监控流量监控故障恢复故障注入恢复手段扩容熔断/限流/降级多云多活技术治理之外的稳定性能力建设流程标准及自动化…- 2
- 0
-
系统稳定性建设（7） – 稳定性建设实践总结
2020 年，注定是个不平凡的一年。疫情的蔓延打乱了大家既定的原有的计划，同时也催生了一些在线业务办理能力的应用诉求，作为技术同学，需要在短时间内快速支持建设系统能力并保障其运行系统稳定性。恰逢年终月份，正好梳理总结下自己的系统稳定性建设经验和思考。 文章目录 Toggle 开篇一、系统稳定性建设是指什么？二、为什么需要系统稳定性建设？三、系统稳定性建设为什么难？3.1 面对的挑战比较大3.2 系…- 8
- 0
-
系统稳定性建设（13） – AI赋能稳定性思路
在当今数字化时代，从云端服务到智能工厂，从金融交易系统到医疗信息系统，各种复杂系统如同现代社会的“神经网络”，其稳定性直接关系到社会运转的顺畅与否。一旦系统出现故障，轻则造成不便，重则引发重大经济损失甚至危及生命安全。因此，系统稳定性治理成为了一个至关重要的课题。而近年来，人工智能（AI）技术的迅猛发展，为系统稳定性治理带来了前所未有的机遇，它如同一位“智能守护者”，正悄然改变着我们对系统稳定性的…- 2
- 0
-
系统稳定性建设（5） – 稳定性设计系统的思考
文章目录 Toggle 1、职责2、交付流程稳定性保障（1）方案设计规范（2）代码规范（3）流水线建设（4）上线规范（5）交付流程观测指标3、线上稳定性保障（1）事故预防1. 运维基础能力建设2. 服务治理3. 系统能力预估4. 业务梳理及风险排查（2）事故发现&排查1.原则：可观测性（Observability）2. 工具3. 多维度监控、报警4. 线上问题发现（3）事故处理1. 处理原…- 22
- 0
-
系统稳定性建设（12） – 线上监控指标全解(线上问题排查指南)
前言本文将从 基础设施（CPU、内存、网络、磁盘）、 服务内部（JVM、线程池、连接池等）、中间件（MySQL、Redis、MQ等）、服务治理（注册中心、熔断、分布式事务、服务间调用）、业务指标（支付成功率、转化漏斗）、用户体验（页面性能、用户反馈） 等全维度出发，讲解线上应用的全方面监控参数，大家设计线上服务监控的时候可以借鉴这些参数和思路。线上问题排查也可从这些角度出发。掌握这些将全方面提升你…- 4
- 0
-
系统稳定性建设（4） – 稳定性设计原则：简单、冗余、标准化、健壮
作者介绍 淇公 ，蚂蚁金服技术专家。热爱 java 和一些函数式语言，长期关注系统稳定性领域 文章目录 Toggle 一、差旅随想二、概述稳定性保障三、怎么做系统设计四、风险分析五、风险防范三板斧六、在此之外六、结束 一、差旅随想 因为 base 在分公司，需要经常去总部出差，所以搭乘飞机成了家常便饭，很多时候坐在飞机上会不由的感叹，设计制造这样精密复杂的机器的那帮人真的是了不起，他们是怎样保证这…- 1
- 0
-
系统稳定性建设（3） – 高可用稳定性建设实践指南
文章目录 Toggle 1.概述2. 良好的系统架构和实现2.1 架构设计2.1.1 消除单点2.1.2 数据一致性2.1.3 强弱依赖梳理和降级 2.1.4 热点 或 极限值处理2.1.5 资金交易类系统要仔细考虑资损的风险2.1.6 离线数据流2.1.7其他异常情况处理2.2 容量评估设计2.3 运维方案设计2.4 安全设计2.5 高质量的代码实现3.团队研发运维流程机制4. 技术同…- 2
- 0
-
系统稳定性建设（2） – 架构治理思路
一、稳定性建设是什么什么是稳定性？引用百度百科的解释是：系统稳定性是指系统要素在外界影响下表现出的某种稳定状态。简单理解，系统稳定性本质上是系统的确定性应答。从另一个角度解释，系统稳定性建设就是如何保障系统能够满足 SLA 所要求的服务等级协议。二、稳定性建设调研调研总结： 核心思路：按照时间顺序，围绕事前降低事故风险、事中提升发现能力、事后强化应急能力。核心手段：核心场景梳理。梳理核心场景强弱依…- 2
- 0
-
经验教训 – 凡是跟金额相关必要从业务角度进行监控，拼XX回应BUG事件回顾
2019-1-20 凌晨一点多，拼多多平台BUG出现。根据脉脉一个ID为“程序员·鹿杖客”的自我爆料，他作为拼多多的一个程序员，将一个100元的无门槛测试券，设置成了自动上线，并在凌晨一点多上线。这些100元无门槛优惠券，拼多多网站页面告知，可以全场通用（特殊商品除外）。 凌晨三点多，已经有大量用户通过网络相互转告领券。而这些可以无条件领取的100无门槛券，经过一些用户以及不排除大职业“羊毛党”发…- 0
- 0
-
实践案例 – 美团点评实时计算平台的 Flink 监控与告警实践
文章目录 Toggle 为什么我们关注指标监控指标：衡量和描述对象的方式监控：对指标进行监测和控制1. 监控报警的链路1.1 监控报警链路1.2 指标展示：Grafana2. 常用的监控项2.1 常用的指标■ 系统指标■ 自定义指标2.2 如何确定哪些指标需要关注？3. 指标的聚合方式4. 指标监控的应用4.1 作业异常报警4.2 指标大盘4.3 自动化运维Q&A 为什么我们关注指标监控 …- 1
- 0
-
经验教训 – 滴滴崩了滴滴官方公布P0级事故原因
11月29日，滴滴出行再就27日夜间系统故障致歉，提出了相应的补救措施和补偿方案。并公布了本次事故的初步调查结果：起因是底层系统软件发生故障，并非网传的“遭受攻击”。 同时，滴滴表示，当前所有服务已全部恢复，后续将深入开展技术风险隐患排查和升级工作，全面保障服务稳定性，尽最大努力避免类似事故再发生。 滴滴拥有庞大的业务线，其底层系统由复杂的软硬件构成，其中包括服务器、网络设备、数据库等等重要组成部…- 1
- 0
-
运维稳定性 – 虎牙APM可观测平台建设实践
随着虎牙业务量的大规模增长，分布式应用服务架构日益复杂，排障定位变得越来越困难，原有传统监控方式已无法跟上业务发展需要。虎牙新建设了一套APM平台，结合虎牙直播业务特性，也紧靠业界标准做了高度自研扩展，帮助研发和运维提高工作效率，保障线上应用服务稳定运行。 本次分享将通过以下几个部分来介绍整体思路和实践过程： 分享概要 一、项目背景 – 从当时痛点来思考关键切入点 二、方案实践 …- 1
- 0
-
IT服务管理 – ITIL培训- 服务台管理
服务台类型 服务台主要活动 – 运营管理 服务台主要活动 – 供应商联络 服务台主要活动 – 发布信息 服务台主要活动 – 响应呼叫 服务台主要活动 – 基架监控- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×