-
系统稳定性建设（14） – 稳定性治理思路与实践
想了想，还是把过往一段时间里，我们在稳定性建设中的实践记录下来，包含一些思路和方法，也算是一部大型踩坑记录，也只是一些实践过的野路子、野方法。 文章目录 Toggle 团队背景治理目标故障分级稳定性目标治理思路事前预防研发流程中的保障常态化治理专项优化故障发现基础组件监控服务监控链路监控业务监控流量监控故障恢复故障注入恢复手段扩容熔断/限流/降级多云多活技术治理之外的稳定性能力建设流程标准及自动化…- 6
- 0
-
系统稳定性建设（5） – 稳定性设计系统的思考
文章目录 Toggle 1、职责2、交付流程稳定性保障（1）方案设计规范（2）代码规范（3）流水线建设（4）上线规范（5）交付流程观测指标3、线上稳定性保障（1）事故预防1. 运维基础能力建设2. 服务治理3. 系统能力预估4. 业务梳理及风险排查（2）事故发现&排查1.原则：可观测性（Observability）2. 工具3. 多维度监控、报警4. 线上问题发现（3）事故处理1. 处理原…- 40
- 0
-
系统稳定性建设（12） – 线上监控指标全解(线上问题排查指南)
前言本文将从 基础设施（CPU、内存、网络、磁盘）、 服务内部（JVM、线程池、连接池等）、中间件（MySQL、Redis、MQ等）、服务治理（注册中心、熔断、分布式事务、服务间调用）、业务指标（支付成功率、转化漏斗）、用户体验（页面性能、用户反馈） 等全维度出发，讲解线上应用的全方面监控参数，大家设计线上服务监控的时候可以借鉴这些参数和思路。线上问题排查也可从这些角度出发。掌握这些将全方面提升你…- 21
- 0
-
系统稳定性建设（3） – 高可用稳定性建设实践指南
文章目录 Toggle 1.概述2. 良好的系统架构和实现2.1 架构设计2.1.1 消除单点2.1.2 数据一致性2.1.3 强弱依赖梳理和降级 2.1.4 热点 或 极限值处理2.1.5 资金交易类系统要仔细考虑资损的风险2.1.6 离线数据流2.1.7其他异常情况处理2.2 容量评估设计2.3 运维方案设计2.4 安全设计2.5 高质量的代码实现3.团队研发运维流程机制4. 技术同…- 8
- 0
-
系统稳定性建设（1） – 如何做好系统稳定性建设系统
文章目录 Toggle 1. 背景介绍2. 故障源的分类3. 稳定性建设四要素第一要素：人第二要素：工具第三要素：预案第四要素：目标4. 稳定性建设四个方向第一个方向：根基要抓牢（45%）第二个方向：工作在日常（30%）第三个方向：预案是关键（15%）第四个方向：容量是核心（10%）3. 总结 1. 背景介绍 在移动互联网时代，用户群的积累比之前更容易，但同样，也会因为糟糕的用户体验，而快速流失用…- 4
- 0
-
思维模型 – 系统思维是把世界看作一系列相互连接的部分
什么是系统思维？系统思维是一种看待事物的方法，它强调从整体出发，考虑各个组成部分之间的相互关系以及这些关系如何共同影响整个系统的运行。这种方法不仅关注单个元素的行为，还特别重视元素间的互动和反馈环路对系统动态的影响。 核心概念包括： 系统：由多个相互作用的部分组成的整体。边界：定义了系统的范围，区分系统内部和外部环境。输入与输出：描述了系统与外界交换的信息、物质或能量。反馈环路：正反馈（放大效应）…- 2
- 0
-
2024年复盘-互联网十大故障分析回顾
故障回顾随着2024年的圆满结束，今天，我有幸与各位一同回顾并深入探讨2024年中出现的一些具有代表性的故障案例。我们将分析这些案例，总结经验教训，并探讨如何在未来避免类似问题的发生。 1 2024年 1月11日腾讯游戏故障 故障描述：1月11日晚，多位网友表示包括《英雄联盟》《王者荣耀》《和平精英》在内的多款腾讯旗下游戏出现服务器崩溃、掉线的问题。“腾讯游戏全部断开”甚至登上热搜，今天凌晨0时许…- 6
- 0
-
系统稳定性建设（10） – 从哲学层面谈稳定性建设
背景我（姓名：黄凯，花名：兮之）在阿里工作了五年，一直在一个小团队从事电商的稳定性工作。看了很多稳定性相关的文档，很少有能把稳定性说明白的文档。也有一些文档也能把涉及的方方面面说清楚，但是这些方方面面的来源和推导是不提的。我想尝试系统化体系化的讲稳定性讲清楚。因为哲学上讲共性和个性，那么事物都可以按照从共性到个性进行分层描述，我从哲学层面开始讲起，讲到分布式信息化系统层面，希望你能从某个层面获得帮…- 3
- 0
-
系统稳定性建设（9） – 稳定性监控体系建设实践
文章目录 Toggle 一、前言二、监控体系建设2.1 指标定义2.1.1 通用场景指标2.2.2 特定场景指标2.2 数据采集2.2.1 页面性能数据2.2.2 页面崩溃数据2.2.3 页面白屏数据2.2.4 页面报错数据2.2.5 页面卡顿数据2.3 监控方式2.3.1 数据看板2.3.2 监控告警2.3.3 数据推送三、监控体系运行3.1 解读周期3.2 现状分析3.3 定位异常3.4 异常…- 11
- 0
-
系统稳定性建设（8） – 业务团队系统稳定性的思与行
文章目录 Toggle 前言什么是SRE1，心态&态度1.1，谁适合做稳定性？1.2，业务团队如何支持稳定性SRE人员1.3，开发和SRE的区别1.4，SRE心态上的一些释疑1.4.1，疑惑1：做好了是应该的，出了问题就要负责任1.4.2，疑惑2：稳定性总是做擦屁股的工作 前言 2013年，当我第一次接触稳定性的时候，我是有些懵的，当时完全不知道稳定性是什么，也不清楚要做什么。在接下来的8…- 17
- 0
-
IT服务管理 -携程监控思路与存储升级 ClickHouse 实践经验
大伟，携程软件技术专家，关注企业级监控、日志、可观测性领域。 监控领域有三大块，分别是 Metrics，Tracing，Logging。这三者作为 IT 可观测性数据的三剑客，基本可以满足各类监控、告警、分析、问题排查等需求。 Logs：我们对于 Logs 是更加宽泛的定义，即记录事物变化的载体，包括常见的访问日志、交易日志、内核日志等文本型以及 GPS、音视频等泛型数据。日志在调用链场景结构化后…- 1
- 0
-
实践案例 – 美团点评实时计算平台的 Flink 监控与告警实践
文章目录 Toggle 为什么我们关注指标监控指标：衡量和描述对象的方式监控：对指标进行监测和控制1. 监控报警的链路1.1 监控报警链路1.2 指标展示：Grafana2. 常用的监控项2.1 常用的指标■ 系统指标■ 自定义指标2.2 如何确定哪些指标需要关注？3. 指标的聚合方式4. 指标监控的应用4.1 作业异常报警4.2 指标大盘4.3 自动化运维Q&A 为什么我们关注指标监控 …- 2
- 0
-
故障最佳实践经验 – 微软 Azure 澳洲数据中心宕机超 24 小时！值得思考自动化、智能化等工具失效后运维人员是否还依然能管控好生产风险
宕机时时有，但持续 24 小时以上的却并不多见。 近日，位于澳大利亚悉尼的微软 Azure 服务突发中断，导致用户在超过 24 小时内无法访问 Azure、Microsoft 365 和 Power Platform 服务。而后微软针对此次事故发布了一份初步分析报告，引发众人关注。 这份报告将原因归咎于“电力骤降导致一个可用区内的一个数据中心的部分冷却装置处于脱机状态”。由于冷却装置无法正常工作，…- 9
- 0
-
故障复盘 – 丰田5WHY法 – 学会从试错的经历中复盘
复盘，原本是围棋中的一个术语。 指下完棋后，重新在棋盘上走一遍，看看棋子下得好的地方和不好之处，哪些地方可以有不同甚至是更好的下棋方法等。这种重复棋局且带有思考的过程，就称为复盘或复局。 图源：https://www.piqsels.com 这样做的目的不仅可以找出双方攻守的漏洞，还可以让各自加深印象、总结经验、提高棋艺水平。 放在IT人的工作当中，亦是如此。 “在故障中成长，在复盘中强大”，IT…- 6
- 0
-
经验教训 – 美媒：2022年IT行业经历太多重大挫折，有8点深刻教训
科技行业经历了许多重大挫折事件，比如埃隆·马斯克（Elon Musk）被迫接管推特、元宇宙仍未腾飞、谷歌关闭云游戏服务Stadia以及加密货币交易所FTX破产等。那么从这些挫折中，我们能够学到哪些教训？ 混乱成为社交媒体新常态 在过去几年里，Facebook、Instagram、YouTube和TikTok都曾卷入各种纠纷中，从政治争议到数据隐私等问题，但与推特最近2个月经历的事情相比，他们的各种…- 2
- 0
-
经验教训 – 运维工程师 不得不看的日常经验2，帮你远离故障
确保变更可以回滚佛说：“每次创伤都是一次成熟”。这是运维人员的真实写照。从某种意义上讲，运维是一份不断犯错、不断积累经验的工作。以前没有经历的东西，总是不定期的给你痛击。所以请保护好变更的现场，使得变更有回头的机会。 小心破坏性的操作什么是破坏性的操作？比如：对 Oracle 而言，有truncate table_name，delete table_name，drop table_name。这些语…- 0
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 11
- 0
-
PYTHON基础技能 – Python虚拟环境管理的17个必备知识
文章目录 Toggle 1. 什么是虚拟环境？为什么需要虚拟环境？示例代码：创建虚拟环境输出结果：2. 如何激活虚拟环境？Windows 系统：Linux/MacOS 系统：输出结果：3. 如何退出虚拟环境？输出结果：4. 安装和卸载包安装包：卸载包：输出结果：5. 查看已安装的包输出结果：6. 升级包输出结果：7. 创建和使用 requirements 文件创建 requirements 文件：…- 2
- 0
-
系统稳定性保障 – 美团AIOps在事件管理的硬核实践
文中所提及的事件并不仅限于故障，还包括运维工作中的告警、异常等。 “An incident is an unplanned interruption to an IT Service or a reduction in the Quality of an IT Service.” Source: Incident Management -ITIL 一、背景 在《AIOps在…- 5
- 0
-
2023已过，如何通过复盘获得提升？复盘六大工具
带领团队把任务完成，并不是完结，还缺少一个容易被忽略的环节——复盘总结。复盘是来自围棋领域的一个术语，是指一盘棋结束后，棋手复原整个棋局的全过程，反思自己和对方下棋的思路，思考下次对弈的策略。这种方法同样适用于管理，例如联想集团很早就已把复盘作为一个重要的管理方法论，强调及时对工作进行总结，从而做出优化和改进。 管理者带领团队进行的复盘可以分为两类： 一类是仪式感比较强的专项复盘，例如战…- 1
- 0
-
运维工具 – Flink 运行架构学习
文章目录 Toggle 一、Flink运行时各个组件介绍作业管理器（JobManager）资源管理器（ResourceManager）任务管理器（TaskManager）分发器（Dispatcher）二、Flink任务提交的流程一般的交互协作图：具体到Yarn上的交互图三、Flink任务调度原理更具体实践 。。。1.数据流图(Dataflow Graph)2. 并行度3. 算子链4. 作业图与执行…- 1
- 0
-
实践案例 – 苏宁基于 ClickHouse 的大数据全链路监控实践
文章目录 Toggle 简介苏宁大数据全链路监控平台1. 苏宁全链路监控平台介绍2. 如何实现将 ClickHouse 纳入到全链路监控平台ClickHouse 慢查询监控1. 实时慢查询监控2. 历史慢查询监控3. MergeTree 监控4. 慢查询归因分析ClickHouse 集群状态监控1. 集群、节点状态监控2. 集群、节点、分片 QPS 和连接数监控3. 集群、节点、分片可用性监控4.…- 5
- 0
-
最佳实践 – 技术如何从小白到管理，怎么支撑业务快速发展？
一、背景 技术管理者(技术总监/经理/CTO)期望通过体系化的管理方式建设，能够在百人，千人以上的团队中有效的构建聚焦目标、自我成长、高效能的研发作战团队，快速拿出成果，支撑业务的快速发展。 二、痛点 从小团队人员快速扩张，团队文化稀释，人员效能下降，目标逐渐弱化。 各自团队管理方式及标准不统一，人员管理及协同逐渐混乱。 组织扩大后，难以有效关注个人，无法准确评判个人的成长，贡献等。 三、目标 通…- 2
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×