-
系统稳定性建设（15） – 各大互联网公司稳定性治理之线上故障处理
文章目录 Toggle 0x01 概述0x02 线上故障处理的目标0x03 线上故障处理的思路0x04 故障发现0x05 故障定位0x06 故障排除0x07 故障回溯0x08 线上故障处理的‘后勤保障’完善的监控/告警体系完善的日志 trace 体系完善的故障处理机制0x09 总结0x10 案例0x11 参考资料线上服务故障处理原则墨菲定律应急目标应急原则应急方法与流程发现问题系统层面监控包括应用…- 2
- 0
-
系统稳定性建设（6） – 研发路上对稳定性治理的一些总结与思考
我是在 2014 年入职饿了么，从前端和 PHP 一直做到后端架构和团队，从 2014 年到 2017 年陆续负责过公司客服、销售、代理商、支付、清结算、订单这些业务的产研与团队；2018 年从业务研发团队抽身，6 个人组起一个小组投身机器学习，试图结合实际的业务场景通过技术改造业务；2019 年回归到平台（中台）研发，负责交易、金融、营销三个中台的研发和团队工作。基于我在饿了么 4 年和阿里巴巴…- 2
- 0
-
系统稳定性建设（5） – 稳定性设计系统的思考
文章目录 Toggle 1、职责2、交付流程稳定性保障（1）方案设计规范（2）代码规范（3）流水线建设（4）上线规范（5）交付流程观测指标3、线上稳定性保障（1）事故预防1. 运维基础能力建设2. 服务治理3. 系统能力预估4. 业务梳理及风险排查（2）事故发现&排查1.原则：可观测性（Observability）2. 工具3. 多维度监控、报警4. 线上问题发现（3）事故处理1. 处理原…- 22
- 0
-
思维模型 – 懒蚂蚁思维：合理分工，做正确的事
在一个实验中，科学家们发现蚂蚁中有一部分看似懒惰的蚂蚁，它们不像其他蚂蚁那样忙于搬运食物，但在关键时刻，它们却能够带领整个蚁群找到新的食物来源。这些“懒蚂蚁”并非不愿劳动，而是将大部分时间用来侦查，确保蚁群在食物短缺时能够迅速找到新的资源。 这一点启示我们，在工作和生活中，并不是所有的时间都应该被用来“忙碌”。有时，我们需要在“懒散”中寻找战略性的突破，像“懒蚂蚁”一样，合理安排时间，做好最重要的…- 1
- 0
-
系统稳定性建设（1） – 如何做好系统稳定性建设系统
文章目录 Toggle 1. 背景介绍2. 故障源的分类3. 稳定性建设四要素第一要素：人第二要素：工具第三要素：预案第四要素：目标4. 稳定性建设四个方向第一个方向：根基要抓牢（45%）第二个方向：工作在日常（30%）第三个方向：预案是关键（15%）第四个方向：容量是核心（10%）3. 总结 1. 背景介绍 在移动互联网时代，用户群的积累比之前更容易，但同样，也会因为糟糕的用户体验，而快速流失用…- 1
- 0
-
思维模型 – 上游思维：追问需求，解决根本问题
顶级的工程师和程序员不仅仅是在解决眼前的问题，他们更擅长从根本上理解问题的本质。例如，腾讯副总裁郄小虎在谷歌时，面对业务部门提出的“将广告字体加大”的需求时，他并没有立刻做出改变，而是追问背后的核心问题。最终，他们发现用户转化率低的根本原因是广告展示位置不合适。通过简单的调整，问题得以解决。 “上游思维”要求我们在面对问题时，不仅仅看到表面现象，而是要深入探讨问题背后的根本原因。在职场中，很多人习…- 0
- 0
-
AI 喂饭指令 – DeepSeek
《DeepSeek：30个喂饭指令》涵盖内容创作、电商运营、知识付费、数据分析、编程开发、生活效率六大领域的30个指令，旨在为各领域工作者及有相关需求的人群提供便捷的任务执行指引。 在内容创作类，指令从不同创作形式出发。爆款标题生成指令，借助数字、情绪词和悬念吸引眼球；小红书种草文指令，要求突出使用场景和痛点解决方案；短视频脚本指令，强调开场悬念、中间反转和结尾行动号召；公众号长文指令，通过分论点…- 4
- 0
-
思维模型 – 系统思维是把世界看作一系列相互连接的部分
什么是系统思维？系统思维是一种看待事物的方法，它强调从整体出发，考虑各个组成部分之间的相互关系以及这些关系如何共同影响整个系统的运行。这种方法不仅关注单个元素的行为，还特别重视元素间的互动和反馈环路对系统动态的影响。 核心概念包括： 系统：由多个相互作用的部分组成的整体。边界：定义了系统的范围，区分系统内部和外部环境。输入与输出：描述了系统与外界交换的信息、物质或能量。反馈环路：正反馈（放大效应）…- 1
- 0
-
系统稳定性建设（10） – 从哲学层面谈稳定性建设
背景我（姓名：黄凯，花名：兮之）在阿里工作了五年，一直在一个小团队从事电商的稳定性工作。看了很多稳定性相关的文档，很少有能把稳定性说明白的文档。也有一些文档也能把涉及的方方面面说清楚，但是这些方方面面的来源和推导是不提的。我想尝试系统化体系化的讲稳定性讲清楚。因为哲学上讲共性和个性，那么事物都可以按照从共性到个性进行分层描述，我从哲学层面开始讲起，讲到分布式信息化系统层面，希望你能从某个层面获得帮…- 3
- 0
-
系统稳定性建设（9） – 稳定性监控体系建设实践
文章目录 Toggle 一、前言二、监控体系建设2.1 指标定义2.1.1 通用场景指标2.2.2 特定场景指标2.2 数据采集2.2.1 页面性能数据2.2.2 页面崩溃数据2.2.3 页面白屏数据2.2.4 页面报错数据2.2.5 页面卡顿数据2.3 监控方式2.3.1 数据看板2.3.2 监控告警2.3.3 数据推送三、监控体系运行3.1 解读周期3.2 现状分析3.3 定位异常3.4 异常…- 7
- 0
-
系统稳定性建设（8） – 业务团队系统稳定性的思与行
文章目录 Toggle 前言什么是SRE1，心态&态度1.1，谁适合做稳定性？1.2，业务团队如何支持稳定性SRE人员1.3，开发和SRE的区别1.4，SRE心态上的一些释疑1.4.1，疑惑1：做好了是应该的，出了问题就要负责任1.4.2，疑惑2：稳定性总是做擦屁股的工作 前言 2013年，当我第一次接触稳定性的时候，我是有些懵的，当时完全不知道稳定性是什么，也不清楚要做什么。在接下来的8…- 9
- 0
-
系统稳定性建设（7） – 稳定性建设实践总结
2020 年，注定是个不平凡的一年。疫情的蔓延打乱了大家既定的原有的计划，同时也催生了一些在线业务办理能力的应用诉求，作为技术同学，需要在短时间内快速支持建设系统能力并保障其运行系统稳定性。恰逢年终月份，正好梳理总结下自己的系统稳定性建设经验和思考。 文章目录 Toggle 开篇一、系统稳定性建设是指什么？二、为什么需要系统稳定性建设？三、系统稳定性建设为什么难？3.1 面对的挑战比较大3.2 系…- 8
- 0
-
实践案例 – 货拉拉全链路监控体系的落地与实践
今天分享的主题是货拉拉全链路监控体系的落地与实践，以下是分享大纲。 分享大纲 文章目录 Toggle 一、监控演进史1、行业2、货拉拉1）监控1.0时期2）监控2.0时期3）监控3.0时期二、货拉拉监控体系整体架构三、监控埋点1、JAVA SDK图谱2、什么是字节码增强技术？1）字节码增强技术的应用 – 热修复Log4j2漏洞2）Java Agent技术3）字节码增强框架4）字节码增强…- 16
- 0
-
运维原则 – 谷歌SRE的7条基本原则
拥抱合理的风险最大化系统的稳定性不仅毫无意义，而且会适得其反。不切实际的可靠性目标限制了新功能交付给用户的速度，而且用户通常不会注意到极端的可用性(比如99.99999%)，因为他们的体验是由最不稳定的组件决定的。 拥有100%的可用性需求严重限制了团队向系统交付更新和改进的能力。想要交付许多新特性的服务所有者应该选择不那么严格的SLOs，从而让他们在出现无关紧要的bug时可以继续交付。 服务所有…- 1
- 0
-
【运维工具】Flink SQL 实践12 流 join 常用技巧
文章目录 Toggle 1.序篇2.背景及应用场景介绍3.先来一个实战案例4.flink sql join4.1.flink sql4.2.left join4.3.inner join4.4.right join4.5.full join4.6.regular join 的总结4.7.怎样才能解决 retract 导致数据重复下发到 kafka 这个问题呢？5.总结与展望2.背景及应用场景介绍3…- 0
- 0
-
经验教训 – 网络安全经验经验，帮你降低损失风险
对于很多首席信息安全官来说，即将到来的2023年是一个很好的时机，可以反思他们在2022年里学到的经验和教训，以及如何将它们应用到未来。 动荡的2022年即将结束，在这一年，埃隆·马斯克收购了Twitter，俄乌冲突，许多员工重返办公室。人们还看到，一些安全主管因隐瞒数据泄露而被判入狱。 这些事件以及更多事件改变了业务格局，迫使首席信息安全官在不确定领域前行。Trustwave公司的首席信息官Ko…- 2
- 0
-
稳定性保障 – 故障应急体系构建及应用实践（1）
蚂蚁集团SRE技术专家刘凯宁在演讲中介绍了蚂蚁故障应急全流程体系，包括故障体系、应急体系、故障全生命周期及AI助力等方面，为保障线上系统稳定提供了全面的解决方案。 1. 蚂蚁故障体系 – 故障定义与等级：故障指服务中断、品质下降或用户体验受影响的情况，不包括用户方环境或自身操作问题。故障等级衡量影响度，数字越小级别越高，涵盖客诉量、资损金额等，由业务等相关方定义并定期更新。 ̵…- 0
- 0
-
故障复盘 – 复盘工具 SCQA模型复盘法
SCQA模型法SCQA模型是源自芭芭拉·明托在《金字塔原理》中提出的一种结构化表达和分析问题的工具，它由四个元素组成： S（Situation）： 情景 — 描述当前的背景、现状或已知的事实情况，通常是大家都熟悉的环境或事件。 C（Complication）： 冲突或问题 — 描述当前情景中存在的问题、矛盾、挑战或困境，它是对现状的一种偏离或打破平衡的因素。 Q（Question）： 提问 — 提…- 2
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 2
- 0
-
故障复盘 – 丰田5WHY法 – 学会从试错的经历中复盘
复盘，原本是围棋中的一个术语。 指下完棋后，重新在棋盘上走一遍，看看棋子下得好的地方和不好之处，哪些地方可以有不同甚至是更好的下棋方法等。这种重复棋局且带有思考的过程，就称为复盘或复局。 图源：https://www.piqsels.com 这样做的目的不仅可以找出双方攻守的漏洞，还可以让各自加深印象、总结经验、提高棋艺水平。 放在IT人的工作当中，亦是如此。 “在故障中成长，在复盘中强大”，IT…- 4
- 0
-
【运维工具】Flink SQL 实践11 去重不仅仅有 count distinct 还有强大的 deduplication
文章目录 Toggle 1.序篇2.背景及应用场景介绍3.来一个实战案例4.基于 Deduplication 的解决方案及原理解析4.1.sql 写法4.2.proctime 下 flink 生成的算子图及 sql 算子语义4.3.proctime 下 deduplication 原理解析5.总结与展望 1.序篇 源码公众号后台回复1.13.2 deduplication 的奇妙解析之路获取。 下…- 0
- 0
-
【运维工具】一文搞懂 Hadoop 生态系统的组件
Hadoop概述 Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图1所示。 图…- 1
- 0
-
PYTHON基础技能 – Python高手不可不知的12个文件处理窍门
文章目录 Toggle 引言1. 打开文件的基础方法2. 使用 with 语句自动管理文件3. 逐行读取文件4. 写入文件5. 追加内容到文件6. 读取二进制文件7. 使用 os 模块检查文件是否存在8. 重命名文件9. 删除文件10. 列出目录下的所有文件11. 处理 CSV 文件读取 CSV 文件写入 CSV 文件12. 使用 pandas 处理 CSV 文件读取 CSV 文件写入 CSV 文…- 0
- 0
-
故障复盘 – 复盘工具 Fishbone Diagram（鱼骨图法/因果分析图）
鱼骨图分析法，也称为因果图或Ishikawa图，是一种结构化的问题分析方法，用于识别问题的根本原因。它广泛应用于质量管理和其他领域，特别是在发现和解决问题的根本原因方面非常有效。鱼骨图通常包括以下几个方面：人（人员）、机（设备）、料（材料）、法（方法）、环（环境）。这些要素可以进一步细分为更小的部分，以揭示问题背后的复杂性。鱼骨图的绘制过程包括以下几个步骤：确定问题：选择要分析的问题，将其写…- 18
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×