-
系统稳定性建设（15） – 各大互联网公司稳定性治理之线上故障处理
文章目录 Toggle 0x01 概述0x02 线上故障处理的目标0x03 线上故障处理的思路0x04 故障发现0x05 故障定位0x06 故障排除0x07 故障回溯0x08 线上故障处理的‘后勤保障’完善的监控/告警体系完善的日志 trace 体系完善的故障处理机制0x09 总结0x10 案例0x11 参考资料线上服务故障处理原则墨菲定律应急目标应急原则应急方法与流程发现问题系统层面监控包括应用…- 2
- 0
-
系统稳定性建设（4） – 稳定性设计原则：简单、冗余、标准化、健壮
作者介绍 淇公 ，蚂蚁金服技术专家。热爱 java 和一些函数式语言，长期关注系统稳定性领域 文章目录 Toggle 一、差旅随想二、概述稳定性保障三、怎么做系统设计四、风险分析五、风险防范三板斧六、在此之外六、结束 一、差旅随想 因为 base 在分公司，需要经常去总部出差，所以搭乘飞机成了家常便饭，很多时候坐在飞机上会不由的感叹，设计制造这样精密复杂的机器的那帮人真的是了不起，他们是怎样保证这…- 1
- 0
-
系统稳定性建设（3） – 高可用稳定性建设实践指南
文章目录 Toggle 1.概述2. 良好的系统架构和实现2.1 架构设计2.1.1 消除单点2.1.2 数据一致性2.1.3 强弱依赖梳理和降级 2.1.4 热点 或 极限值处理2.1.5 资金交易类系统要仔细考虑资损的风险2.1.6 离线数据流2.1.7其他异常情况处理2.2 容量评估设计2.3 运维方案设计2.4 安全设计2.5 高质量的代码实现3.团队研发运维流程机制4. 技术同…- 2
- 0
-
思维模型 – 懒蚂蚁思维：合理分工，做正确的事
在一个实验中，科学家们发现蚂蚁中有一部分看似懒惰的蚂蚁，它们不像其他蚂蚁那样忙于搬运食物，但在关键时刻，它们却能够带领整个蚁群找到新的食物来源。这些“懒蚂蚁”并非不愿劳动，而是将大部分时间用来侦查，确保蚁群在食物短缺时能够迅速找到新的资源。 这一点启示我们，在工作和生活中，并不是所有的时间都应该被用来“忙碌”。有时，我们需要在“懒散”中寻找战略性的突破，像“懒蚂蚁”一样，合理安排时间，做好最重要的…- 1
- 0
-
系统稳定性建设（1） – 如何做好系统稳定性建设系统
文章目录 Toggle 1. 背景介绍2. 故障源的分类3. 稳定性建设四要素第一要素：人第二要素：工具第三要素：预案第四要素：目标4. 稳定性建设四个方向第一个方向：根基要抓牢（45%）第二个方向：工作在日常（30%）第三个方向：预案是关键（15%）第四个方向：容量是核心（10%）3. 总结 1. 背景介绍 在移动互联网时代，用户群的积累比之前更容易，但同样，也会因为糟糕的用户体验，而快速流失用…- 1
- 0
-
思维模型 – 灯塔思维：明确远期目标，保持长远视野
迈克尔·西蒙斯通过研究成功的企业家，发现那些白手起家的亿万富翁企业家有着惊人的共性：他们总是能够从长远的视角来看待问题，而大多数人则只看眼前的利益。以亚马逊创始人贝索斯为例，他为了进行一些可能失败的实验，愿意长期投资数十亿美元，而他看重的并非短期的回报，而是未来可能带来的巨大收益。 灯塔思维强调的是长远的视角和耐心。就像航海者在茫茫大海中靠着远方的灯塔找到方向一样，人生中的灯塔指引我们始终保持目标…- 4
- 0
-
支付宝5分钟狂亏上亿，不追款实有不得已的苦衷
一、 大事件，2025年1月16日，支付宝给大家发福利啦。 当日14:40-14:45，所有通过支付宝支付的订单，统统打8折，包括购物、还信用卡、转账等等。 网友跟过年一样，纷纷截图。 打折的名义，写着“政府补贴”。 支付宝官方表示，他们设置营销活动时，后来配置错了模版，把优惠额度和优惠金类型都写错了。 不知道哪位IT大神，把支付宝的营销费当做福利发给了全国网友，现在他还好吗？年终奖还有吗？ 真想…- 1
- 0
-
2024年十大网络安全事件盘点
10大网络安全事件 1微软高管邮箱被“午夜暴雪”攻陷 2024年1月，微软披露其遭到了威胁组织“午夜暴风雪”的攻击。攻击者主要针对微软的高级领导团队成员以及网络安全、法务等部门的员工，窃取了部分电子邮件和附件，同时还访问了一些源代码库和内部系统。 攻击者首先通过一个遗留的非生产测试租户账户获得访问权限，使用密码喷洒攻击，这种攻击方式涉及同时对多个账户尝试大量常见密码。在获得初步立足点后，他们从被攻…- 11
- 0
-
系统稳定性建设（10） – 从哲学层面谈稳定性建设
背景我（姓名：黄凯，花名：兮之）在阿里工作了五年，一直在一个小团队从事电商的稳定性工作。看了很多稳定性相关的文档，很少有能把稳定性说明白的文档。也有一些文档也能把涉及的方方面面说清楚，但是这些方方面面的来源和推导是不提的。我想尝试系统化体系化的讲稳定性讲清楚。因为哲学上讲共性和个性，那么事物都可以按照从共性到个性进行分层描述，我从哲学层面开始讲起，讲到分布式信息化系统层面，希望你能从某个层面获得帮…- 3
- 0
-
系统稳定性建设（8） – 业务团队系统稳定性的思与行
文章目录 Toggle 前言什么是SRE1，心态&态度1.1，谁适合做稳定性？1.2，业务团队如何支持稳定性SRE人员1.3，开发和SRE的区别1.4，SRE心态上的一些释疑1.4.1，疑惑1：做好了是应该的，出了问题就要负责任1.4.2，疑惑2：稳定性总是做擦屁股的工作 前言 2013年，当我第一次接触稳定性的时候，我是有些懵的，当时完全不知道稳定性是什么，也不清楚要做什么。在接下来的8…- 8
- 0
-
系统稳定性建设（7） – 稳定性建设实践总结
2020 年，注定是个不平凡的一年。疫情的蔓延打乱了大家既定的原有的计划，同时也催生了一些在线业务办理能力的应用诉求，作为技术同学，需要在短时间内快速支持建设系统能力并保障其运行系统稳定性。恰逢年终月份，正好梳理总结下自己的系统稳定性建设经验和思考。 文章目录 Toggle 开篇一、系统稳定性建设是指什么？二、为什么需要系统稳定性建设？三、系统稳定性建设为什么难？3.1 面对的挑战比较大3.2 系…- 8
- 0
-
IT服务治理 – SRE工具链建设思路与实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 1
- 0
-
ITIL 最佳实践中常出现的五个误区，领悟后有效提高生产质量管控
ITIL作为一种IT运维战略及最佳实践的方法，不仅仅能为IT部门自身的运维效率带来价值，更重要的是基于ITIL运维的IT服务体系能让整个企业的员工对IT服务的满意度得到提升。 但是，把ITIL想象成简单的工具实施是完全不足以达到ITIL运维体系所带来的效果。ITIL告诉大家对IT运维管理必须有一个深思熟虑的长久规划，尽可能的在实施过程中规避一些常见的误区，并且在整个过程中一定要不断地进行调整和改善…- 0
- 0
-
经验教训 – 服务稳定性SLA-2015年阿里双十一惨痛的教训
文章目录 Toggle 618&&双11SLA服务等级协议单个服务稳定性集群稳定性专项测试稳定性建设小结 618&&双11 作为研发，尤其是后端研发，每年在618或者双11的时候压力特别大，他们祈求服务不要出故障，交易能正常进行，而且期望用户体验非常棒而不是卡顿404等。 但是有时候就是事与愿违，比如在2015年11月11日傍晚，大部分用户反馈购物失败的情况，负责双…- 1
- 0
-
2023已过，如何通过复盘获得提升？复盘六大工具
带领团队把任务完成，并不是完结，还缺少一个容易被忽略的环节——复盘总结。复盘是来自围棋领域的一个术语，是指一盘棋结束后，棋手复原整个棋局的全过程，反思自己和对方下棋的思路，思考下次对弈的策略。这种方法同样适用于管理，例如联想集团很早就已把复盘作为一个重要的管理方法论，强调及时对工作进行总结，从而做出优化和改进。 管理者带领团队进行的复盘可以分为两类： 一类是仪式感比较强的专项复盘，例如战…- 1
- 0
-
IT服务治理 – 唯品会实现电商平台从业务到架构的治理体系
文章目录 Toggle VIP不同阶段发展历程的商业模式演进唯品会系统架构演变历程电商运营平台关键设计架构设计和治理 VIP不同阶段发展历程的商业模式演进 唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存消化完了，现在特卖，公司的重点在发生变化。目前电商被分为了分成了两类，一是平台级公司，包…- 1
- 0
-
运维稳定性 – 软件测试的价值
阿里十年总结之软件测试的价值 最近拜读了很多集团测试大佬总结过往工作经验写下的文字。我想，自己从事测试工作已经十几年，绝大部分工作历程是在阿里度过的，经历了测试团队的分分合合，见过山川大海，也走过土丘洼地。借此机会，也对“软件测试的价值”做个探讨，也希望有机会跟团队一起走出当前的周期。 质量是什么？ 质量是一种奢侈品 以前跟同事聊天时说，一个创业团队是不需要测试的。包括太禅老师文章中关于“来往”的…- 2
- 0
-
经验教训 – 狡兔务必三窟：阿里云香港可用区C宕机血的教训与反思
自12月18日阿里云香港可用区C因为机房水冷机组出现故障，导致一次阿里云历史上最长的宕机后，官方终于在圣诞节那天，出具了一份非常翔实的调查报告《关于阿里云香港Region可用区C服务中断事件的说明》，称得上是实事求是面对问题了。 我从业十五年，参与建设过4000个节点的私有云，也搞过机房装修和上架，还有一点运维经验，算是有相关经验，跟大家讨论一下以后自家单位的容灾应该怎么做吧。 大家先看这次阿里云…- 3
- 0
-
实践案例 – 苏宁基于 ClickHouse 的大数据全链路监控实践
文章目录 Toggle 简介苏宁大数据全链路监控平台1. 苏宁全链路监控平台介绍2. 如何实现将 ClickHouse 纳入到全链路监控平台ClickHouse 慢查询监控1. 实时慢查询监控2. 历史慢查询监控3. MergeTree 监控4. 慢查询归因分析ClickHouse 集群状态监控1. 集群、节点状态监控2. 集群、节点、分片 QPS 和连接数监控3. 集群、节点、分片可用性监控4.…- 5
- 0
-
故障复盘 – 丰田5WHY法 – 学会从试错的经历中复盘
复盘，原本是围棋中的一个术语。 指下完棋后，重新在棋盘上走一遍，看看棋子下得好的地方和不好之处，哪些地方可以有不同甚至是更好的下棋方法等。这种重复棋局且带有思考的过程，就称为复盘或复局。 图源：https://www.piqsels.com 这样做的目的不仅可以找出双方攻守的漏洞，还可以让各自加深印象、总结经验、提高棋艺水平。 放在IT人的工作当中，亦是如此。 “在故障中成长，在复盘中强大”，IT…- 4
- 0
-
[运维工具]每秒几十亿实时处理，阿里巴巴超大规模 Flink 集群运维揭秘
今天主要讲三块： 第一，阿里 Flink 发展的历史背景，怎么来的，现状规模到底什么样第二，阿里 Flink 运维管控平台第三，阿里 Flink 平台运维技术解决方案 文章目录 Toggle 一、阿里 Flink 集群运维挑战二、阿里 Flink 运维管控三、Flink 运维解决方案 一、阿里 Flink 集群运维挑战 首先说一下流计算，批计算就是数据集是有限的，每次的计算都可以拿到一样的结果，在…- 1
- 0
-
思维认知 – 亮剑精神，怎么带好团队
2005年，《亮剑》一经播出便迅速燃爆各大卫视，并以近14%的收视率，创下当年央视一套电视剧收视率的新纪录。 时至今日，这部剧的重播次数已超3000次，总播放量更是突破了10亿次，至今仍以9.5分稳居豆瓣高分国产剧榜，被称为让人无法拒绝的“抗日神剧”。 为什么《亮剑》能从多如牛毛的影视剧中脱颖而出，成为经典中的经典？ 有人说，这是因为剧中的人物没有陷入脸谱化的表达方式；也有人说，它动人心弦的故事、…- 2
- 0
-
故障复盘 – 故障复盘哪三大关键问题？
这是很多企业/团队都要面对的问题，有着超10年系统稳定性保障经验的李道兵老师给我们分享了他的观点： 故障复盘的三大关键问题： 怎么有效降低故障的影响？ 事故处理的流程和原则有哪些？ 相关管理制度怎么设置比较合理？ 故障复盘的四大注意项： 1.事故复盘不是给人定责的，要有系统思维将优化项实际落地才能推动系统优化； 2.事故报告的重点应该是事故提升项，监控、定位、根因、架构四个部分都必须涉及； 3.事…- 1
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 11
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×