-
系统稳定性建设（8） – 业务团队系统稳定性的思与行
文章目录 Toggle 前言什么是SRE1，心态&态度1.1，谁适合做稳定性？1.2，业务团队如何支持稳定性SRE人员1.3，开发和SRE的区别1.4，SRE心态上的一些释疑1.4.1，疑惑1：做好了是应该的，出了问题就要负责任1.4.2，疑惑2：稳定性总是做擦屁股的工作 前言 2013年，当我第一次接触稳定性的时候，我是有些懵的，当时完全不知道稳定性是什么，也不清楚要做什么。在接下来的8…- 8
- 0
-
系统稳定性建设（16） – 稳定架构设计思路
系统稳定性建设是系统工程的核心内容之一。以下是一些重要的方面: 架构设计:采用模块化、松耦合的架构设计,以提高系统的可扩展性和可维护性。合理划分系统功能模块,降低单个模块的复杂度。定义清晰的接口和数据交换标准,确保各模块之间协调工作。 监控与报警:部署全面的监控体系,实时跟踪系统的运行状态和关键指标。建立完善的告警机制,及时发现并定位系统问题。 容错机制:建立完善的异常处理和容错机制,及时检测并隔…- 0
- 0
-
系统稳定性建设（14） – 稳定性治理思路与实践
想了想，还是把过往一段时间里，我们在稳定性建设中的实践记录下来，包含一些思路和方法，也算是一部大型踩坑记录，也只是一些实践过的野路子、野方法。 文章目录 Toggle 团队背景治理目标故障分级稳定性目标治理思路事前预防研发流程中的保障常态化治理专项优化故障发现基础组件监控服务监控链路监控业务监控流量监控故障恢复故障注入恢复手段扩容熔断/限流/降级多云多活技术治理之外的稳定性能力建设流程标准及自动化…- 2
- 0
-
系统稳定性建设（13） – AI赋能稳定性思路
在当今数字化时代，从云端服务到智能工厂，从金融交易系统到医疗信息系统，各种复杂系统如同现代社会的“神经网络”，其稳定性直接关系到社会运转的顺畅与否。一旦系统出现故障，轻则造成不便，重则引发重大经济损失甚至危及生命安全。因此，系统稳定性治理成为了一个至关重要的课题。而近年来，人工智能（AI）技术的迅猛发展，为系统稳定性治理带来了前所未有的机遇，它如同一位“智能守护者”，正悄然改变着我们对系统稳定性的…- 2
- 0
-
系统稳定性建设（5） – 稳定性设计系统的思考
文章目录 Toggle 1、职责2、交付流程稳定性保障（1）方案设计规范（2）代码规范（3）流水线建设（4）上线规范（5）交付流程观测指标3、线上稳定性保障（1）事故预防1. 运维基础能力建设2. 服务治理3. 系统能力预估4. 业务梳理及风险排查（2）事故发现&排查1.原则：可观测性（Observability）2. 工具3. 多维度监控、报警4. 线上问题发现（3）事故处理1. 处理原…- 21
- 0
-
系统稳定性建设（12） – 线上监控指标全解(线上问题排查指南)
前言本文将从 基础设施（CPU、内存、网络、磁盘）、 服务内部（JVM、线程池、连接池等）、中间件（MySQL、Redis、MQ等）、服务治理（注册中心、熔断、分布式事务、服务间调用）、业务指标（支付成功率、转化漏斗）、用户体验（页面性能、用户反馈） 等全维度出发，讲解线上应用的全方面监控参数，大家设计线上服务监控的时候可以借鉴这些参数和思路。线上问题排查也可从这些角度出发。掌握这些将全方面提升你…- 2
- 0
-
系统稳定性建设（3） – 高可用稳定性建设实践指南
文章目录 Toggle 1.概述2. 良好的系统架构和实现2.1 架构设计2.1.1 消除单点2.1.2 数据一致性2.1.3 强弱依赖梳理和降级 2.1.4 热点 或 极限值处理2.1.5 资金交易类系统要仔细考虑资损的风险2.1.6 离线数据流2.1.7其他异常情况处理2.2 容量评估设计2.3 运维方案设计2.4 安全设计2.5 高质量的代码实现3.团队研发运维流程机制4. 技术同…- 2
- 0
-
系统稳定性建设（1） – 如何做好系统稳定性建设系统
文章目录 Toggle 1. 背景介绍2. 故障源的分类3. 稳定性建设四要素第一要素：人第二要素：工具第三要素：预案第四要素：目标4. 稳定性建设四个方向第一个方向：根基要抓牢（45%）第二个方向：工作在日常（30%）第三个方向：预案是关键（15%）第四个方向：容量是核心（10%）3. 总结 1. 背景介绍 在移动互联网时代，用户群的积累比之前更容易，但同样，也会因为糟糕的用户体验，而快速流失用…- 1
- 0
-
AI 喂饭指令 – DeepSeek
《DeepSeek：30个喂饭指令》涵盖内容创作、电商运营、知识付费、数据分析、编程开发、生活效率六大领域的30个指令，旨在为各领域工作者及有相关需求的人群提供便捷的任务执行指引。 在内容创作类，指令从不同创作形式出发。爆款标题生成指令，借助数字、情绪词和悬念吸引眼球；小红书种草文指令，要求突出使用场景和痛点解决方案；短视频脚本指令，强调开场悬念、中间反转和结尾行动号召；公众号长文指令，通过分论点…- 4
- 0
-
2024年十大网络安全事件盘点
10大网络安全事件 1微软高管邮箱被“午夜暴雪”攻陷 2024年1月，微软披露其遭到了威胁组织“午夜暴风雪”的攻击。攻击者主要针对微软的高级领导团队成员以及网络安全、法务等部门的员工，窃取了部分电子邮件和附件，同时还访问了一些源代码库和内部系统。 攻击者首先通过一个遗留的非生产测试租户账户获得访问权限，使用密码喷洒攻击，这种攻击方式涉及同时对多个账户尝试大量常见密码。在获得初步立足点后，他们从被攻…- 11
- 0
-
稳定性建设 – 高可用容灾架构思路
大型分布式系统稳定性建设的重要性与方法。首先，强调了高可用容灾架构的建设，遵循面向故障设计、墨菲定律和自动化原则。接着，介绍了依赖的视角，指出高可用架构中不应存在强依赖。然后，讲解了并发、吞吐和延迟的概念，引入了SRE、DIO和AI OPE的概念。接着，强调了AI的开放思想，指出稳定性保障的对象是用户视角下的功能范畴。最后，提出了五个等级的容灾能力，强调了事前预防的重要性。此外，视频还详细讲解了事…- 2
- 0
-
系统稳定性建设（10） – 从哲学层面谈稳定性建设
背景我（姓名：黄凯，花名：兮之）在阿里工作了五年，一直在一个小团队从事电商的稳定性工作。看了很多稳定性相关的文档，很少有能把稳定性说明白的文档。也有一些文档也能把涉及的方方面面说清楚，但是这些方方面面的来源和推导是不提的。我想尝试系统化体系化的讲稳定性讲清楚。因为哲学上讲共性和个性，那么事物都可以按照从共性到个性进行分层描述，我从哲学层面开始讲起，讲到分布式信息化系统层面，希望你能从某个层面获得帮…- 3
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 1
- 0
-
数字化转型-IT运营为什么改变很重要
IT当前的运营模式在受到挑战。IT的复杂性和变化率的增长暴露了当前工作方式的局限性。在当今的环境中，可以全面管理IT服务和产品生命周期的数字管理系统对于成功至关重要。组织需要专门针对新数字化现实来设计的运营模型。 本文介绍ITIL® 4如何与IT4IT ™标准一起使用，来统一管理新的数字现实。 这两个框架的结合实现了更加简化和自动化的交付模型：一种利用了敏捷和DevOps方法的模型。 ITIL与I…- 1
- 0
-
经验教训 – 从10次宕机事件中，我学到重要的经验“不要心存侥幸,你担心的事情一定会发生”
今年的灾难事件有几点是比较深刻体会： 第 1 课：循环依赖会破坏你的运维工具流程工具与生产工具是结合一起，出问题往往是最不起眼功能环节，就是一棵螺丝钉 第 2 课：愚蠢的自动化强依赖于流程工具与自动化工具，应急时缺少了走火通道 第 3 课：现在是 2023年，数据库仍然很棘手灾难恢复后最耗时就是数据关系重建，数据完整性、一致性处理 第 4 课：分阶段慢慢部署变更需要遵循最小灰度原则 第 5 课：为…- 2
- 0
-
经验教训 – 狡兔务必三窟：阿里云香港可用区C宕机血的教训与反思
自12月18日阿里云香港可用区C因为机房水冷机组出现故障，导致一次阿里云历史上最长的宕机后，官方终于在圣诞节那天，出具了一份非常翔实的调查报告《关于阿里云香港Region可用区C服务中断事件的说明》，称得上是实事求是面对问题了。 我从业十五年，参与建设过4000个节点的私有云，也搞过机房装修和上架，还有一点运维经验，算是有相关经验，跟大家讨论一下以后自家单位的容灾应该怎么做吧。 大家先看这次阿里云…- 3
- 0
-
PYTHON基础技能 – Python虚拟环境管理的17个必备知识
文章目录 Toggle 1. 什么是虚拟环境？为什么需要虚拟环境？示例代码：创建虚拟环境输出结果：2. 如何激活虚拟环境？Windows 系统：Linux/MacOS 系统：输出结果：3. 如何退出虚拟环境？输出结果：4. 安装和卸载包安装包：卸载包：输出结果：5. 查看已安装的包输出结果：6. 升级包输出结果：7. 创建和使用 requirements 文件创建 requirements 文件：…- 2
- 0
-
系统稳定性保障 – 混沌工程 – 持续保障系统稳定性和高可用：腾讯游戏混沌工程实践
最近一两年，我们可以发现混沌工程这个技术变得十分火热，大家都知道它变成了一个新的风口。常说做事情要顺势而为，我们希望能够抓住这个机会，所以我最近一年的工作主要是将混沌工程这一技术在腾讯游戏落地。 文章目录 Toggle 一、什么是混沌工程1、混沌工程的定义2、混沌工程的作用1）故障预防2）故障发现3）故障响应4）故障定位5）故障恢复6）复盘改进二、混沌工程平台建设1、流程设计1）实验前2）实验中3…- 1
- 0
-
2021.10.07 一行小错为何产生巨大破坏-Facebook史诗级故障大反思学习
Facebook大故障原因：一条写得很糟糕的命令、一款有缺陷的审核工具、一个阻碍成功恢复网络的DNS系统、以及严密的数据中心安全 Facebook故障是一系列不幸的事件酿成的！ 一条写得很糟糕的命令、一款有缺陷的审核工具、一个阻碍成功恢复网络的DNS系统以及严密的数据中心安全，所有这些因素导致了Facebook长达 7 个小时的重大故障。 Facebook 表示，周一故障的根本原因是例行维护工作出…- 3
- 0
-
经验教训 – 2022.08.02 微博为何总是宕机
8月3日早晨，“微博崩了”话题登上热搜榜，话题阅读量高达4.7亿，讨论量也达到了4.1万。不少网友表示虽然平时天天骂微博，但真和微博失联了几个小时，感觉和世界脱节了一样。没想到这年头竟然能在微博热搜上看到 “微博崩了”这个词条。 微博回应宕机原因 据@微博客服 消息，8月2日晚22时06分起，由于自动扩容系统故障，导致北京永丰等地机房的宽带容量超限，影响了部分省份移动端用户访问，期间PC端用户可正…- 1
- 0
-
ITIL 最佳实践中常出现的五个误区，领悟后有效提高生产质量管控
ITIL作为一种IT运维战略及最佳实践的方法，不仅仅能为IT部门自身的运维效率带来价值，更重要的是基于ITIL运维的IT服务体系能让整个企业的员工对IT服务的满意度得到提升。 但是，把ITIL想象成简单的工具实施是完全不足以达到ITIL运维体系所带来的效果。ITIL告诉大家对IT运维管理必须有一个深思熟虑的长久规划，尽可能的在实施过程中规避一些常见的误区，并且在整个过程中一定要不断地进行调整和改善…- 0
- 0
-
IT数字化转型 – 华为数字化转型的目标、蓝图和愿景
摘录于“华为数据之道” 一、华为数字化转型愿景 2016年下半年，华为数字化转型规划团队历时3个月，从“5看”方法入手，瞄准公司业务战略，对其进行解读，从中识别出了公司对数字化转型的诉求（见图1）。 图1:业务战略解读及对数字化转型的诉求 数字化转型愿景需与业务战略匹配。比如，规划团队针对“收入增加一倍，人员不显著增长”的目标，明确地将支撑公司业务增长、提升业务效率的要点体现在愿景中。再比如，“多…- 1
- 0
-
故障治理 – 线上故障分析与故障治理指引
文章目录 Toggle 1 生产故障分级规范概要1.1 开篇1.2 事故等级定义1.2.1 故障等级定义1.2.2 故障报告模板示例1.2.3 故障响应处理机制1.2.4 思考2 生产故障原因和分类2.1 故障分类2.2 bug是可以完全避免的么？-了解2.3 经典故障示例-了解2.4 混沌工程简介3 生产故障定位和解决流程3.1 影响服务质量的因素3.1.1我们常常面对如下的业务场景3.1.2 …- 3
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×