-
故障治理 – 滴滴顺风车服务端之稳定性规范故障治理
服务端作为顺风车技术部内最大的工程团队，随着人员的扩张和迭代，流程规范在其中扮演着原来越重要的角色。一方面规范化可以提高我们的交付质量、交付效率，另一方面，我们也希望在一次次的实战中不断的总结，探索出适用于我们团队的最佳实践。 基于此，我们制定并推广了一套适用于服务端开发的可执行、最小限制的工程规范，包括研发流程、稳定性、性能成本等多个方面。 本文给出其中稳定性相关的规范，这些规范都是顺风车成立五…- 3
- 0
-
[经验分享]远离故障的十大原则
故障是运维人员永远的痛。相信每一个运维人员的KPI中都有一项：可用性。可用性高就是不出故障，各个公司对可用性和故障评级的标准都不相同，但是避免故障的方法却是殊途同归。我们怎么避免故障，沃趣科技简单列举了以下几条，与大家共勉！1、变更要有回滚，在同样的环境测试过2、对破坏性的操作谨慎小心3、设置好命令提示4、备份并验证备份有效性5、对生产环境存有敬畏之心6、交接和休假最容易出故障，变更请谨慎7、搭建…- 3
- 0
-
可观测性（Observability） – 链路追踪
虽然 2010 年之前就已经有了 X-Trace、Magpie 等跨服务的追踪系统了，但现代分布式链路追踪公认的起源是 Google 在 2010 年发表的论文《Dapper : a Large-Scale Distributed Systems Tracing Infrastructure》，这篇论文介绍了 Google 从 2004 年开始使用的分布式追踪系统 Dapper 的实现原理。此后，…- 13
- 0
-
运维工具 – 唯品会Dragonfly日志系统的Elasticsearch实践
文章目录 Toggle 开篇-唯品会日志系统初探Elasticsearch简介硬件配置日志索引管理1. 索引预创建2. 替补索引3. Force Merge4. 冷热分离5. 日志归档日志写入降级策略结语 开篇-唯品会日志系统初探 唯品会日志系统，承接了公司上千个应用的日志，提供了日志快速查询、统计、告警等基础服务，是保障公司技术体系正常运行必不可缺的重要系统之一。日均接入应用日志600亿条，压缩…- 3
- 0
-
实践案例 – 故障治理 阿里智能化故障治理流程探索和实践
阿里巴巴集团拥有电商、金融、文娱、新零售、云计算等种多种业务形态，如何对这些业务形态做集团层面的统一故障治理，对产品/技术/运营都是巨大的挑战。阿里巴巴集团全球运行指挥中心（GOC）通过多年的探索，积累了大量跨 BU 故障治理经验，并在过程中使用了创新了自动化、智能化体系。 本次演讲将会对阿里巴巴集团故障治理整体流程及实战中的自动化、智能化体系做以介绍，并对未来故障治理领域智能运维工作进行展望。 …- 1
- 0
-
故障最佳实践经验 – 微软 Azure 澳洲数据中心宕机超 24 小时！值得思考自动化、智能化等工具失效后运维人员是否还依然能管控好生产风险
宕机时时有，但持续 24 小时以上的却并不多见。 近日，位于澳大利亚悉尼的微软 Azure 服务突发中断，导致用户在超过 24 小时内无法访问 Azure、Microsoft 365 和 Power Platform 服务。而后微软针对此次事故发布了一份初步分析报告，引发众人关注。 这份报告将原因归咎于“电力骤降导致一个可用区内的一个数据中心的部分冷却装置处于脱机状态”。由于冷却装置无法正常工作，…- 4
- 0
-
故障复盘 – 故障复盘哪三大关键问题？
这是很多企业/团队都要面对的问题，有着超10年系统稳定性保障经验的李道兵老师给我们分享了他的观点： 故障复盘的三大关键问题： 怎么有效降低故障的影响？ 事故处理的流程和原则有哪些？ 相关管理制度怎么设置比较合理？ 故障复盘的四大注意项： 1.事故复盘不是给人定责的，要有系统思维将优化项实际落地才能推动系统优化； 2.事故报告的重点应该是事故提升项，监控、定位、根因、架构四个部分都必须涉及； 3.事…- 1
- 0
-
故障治理 – 稳定性保障6步走：高可用系统大促作战指南！
一、前言 年年有大促，大家对于大促稳定性保障这个词都不陌生，业务场景尽管各不相同，“套路”往往殊路同归，全链路压测、容量评估、限流、紧急预案等，来来去去总少不了那么几板斧。 跳出这些“套路”，回到问题的本质，我们为什么要按照这些策略来做? 除了口口相传的历史经验，我们还能做些什么?又有什么理论依据? 二、怎样的系统算是稳定? 首先回答另一个问题，怎样的系统算是稳定的? Google SRE中(SR…- 4
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践（2）
一、前言 之前在《云原生背景下的运维价值思考与实践(上)》 里，重点介绍了云原生背景下运维转型的思考，围绕着整个 DevOps 交付链，贴近业务不断输出运维的能力与价值。这篇内容我想谈谈 DevOps 的下半段，通过我们的构建服务稳定性保障实践，利用 SRE 的思想与方法，不断去冲刺稳定性的终极目标：“提升 MTBF（平均故障时间间隔）、降低 MTTR（故障平均修复时间）”，很多小伙伴会有疑问，D…- 2
- 0
-
可观测性（Observability）- 事件日志
日志用来记录系统运行期间发生过的离散事件。相信没有哪一个生产系统能够缺少日志功能，然而也很少人会把日志作为多么关键功能来看待。日志就像阳光与空气，无可或缺却不太被重视。程序员们会说日志简单，其实这是在说“打印日志”这个操作简单，打印日志的目的是为了日后从中得到有价值的信息，而今天只要稍微复杂点的系统，尤其是复杂的分布式系统，就很难只依靠 tail、grep、awk 来从日志中挖掘信息了，往往还要有…- 1
- 0
-
经验教训 – 凡是跟金额相关必要从业务角度进行监控，拼XX回应BUG事件回顾
2019-1-20 凌晨一点多，拼多多平台BUG出现。根据脉脉一个ID为“程序员·鹿杖客”的自我爆料，他作为拼多多的一个程序员，将一个100元的无门槛测试券，设置成了自动上线，并在凌晨一点多上线。这些100元无门槛优惠券，拼多多网站页面告知，可以全场通用（特殊商品除外）。 凌晨三点多，已经有大量用户通过网络相互转告领券。而这些可以无条件领取的100无门槛券，经过一些用户以及不排除大职业“羊毛党”发…- 0
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 1
- 0
-
2023.11.12 阿里云的史诗级故障，故障原因曝光
2023年11月12日，双十一刚过，一大片阿里的产品都挂了，来了一波“史诗级”大翻车。 阿里云断网并不少见，但这种全面崩溃在历史上还是第一次，全国所有数据中心全军覆没，阿里所有产品全军覆没！ 阿里云官方的通知是： “2023年11月12日17:44起，阿里云产品控制台访问及API调用出现异常……20:12 北京、杭州等地域消息队列MQ已完成重启，其余地域逐步恢复中。” 在出问题的这接近两个多小时时…- 12
- 0
-
运维稳定性 – 虎牙APM可观测平台建设实践
随着虎牙业务量的大规模增长，分布式应用服务架构日益复杂，排障定位变得越来越困难，原有传统监控方式已无法跟上业务发展需要。虎牙新建设了一套APM平台，结合虎牙直播业务特性，也紧靠业界标准做了高度自研扩展，帮助研发和运维提高工作效率，保障线上应用服务稳定运行。 本次分享将通过以下几个部分来介绍整体思路和实践过程： 分享概要 一、项目背景 – 从当时痛点来思考关键切入点 二、方案实践 …- 1
- 0
-
故障治理 – 从行业巨头重大事故，炼成系统稳定性治理最全方略(系统稳定性保障)
系统的稳定性，主要决定于整体的系统架构设计，然而也不可忽略编程的细节，正所谓“千里之堤，溃于蚁穴”，一旦考虑不周，看似无关紧要的代码片段可能会带来整体软件系统的崩溃。 稳定性的工作，一般都是水下的工作。就像冰山，真正强大的系统下，要有更加强大的底层支撑，水面下的问题才是真正需要解决的问题。当然不一样的工作内容，水下的工作是不同的，对于盖楼来说，可能就是地基的深度。对于我们写业务逻辑来说，水下的工作…- 3
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 11
- 0
-
系统稳定性保障 – 混沌工程 – 持续保障系统稳定性和高可用：腾讯游戏混沌工程实践
最近一两年，我们可以发现混沌工程这个技术变得十分火热，大家都知道它变成了一个新的风口。常说做事情要顺势而为，我们希望能够抓住这个机会，所以我最近一年的工作主要是将混沌工程这一技术在腾讯游戏落地。 文章目录 Toggle 一、什么是混沌工程1、混沌工程的定义2、混沌工程的作用1）故障预防2）故障发现3）故障响应4）故障定位5）故障恢复6）复盘改进二、混沌工程平台建设1、流程设计1）实验前2）实验中3…- 1
- 0
-
IT服务治理 – SRE工具链建设思路与实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 1
- 0
-
经验教训 – 2022.08.02 微博为何总是宕机
8月3日早晨，“微博崩了”话题登上热搜榜，话题阅读量高达4.7亿，讨论量也达到了4.1万。不少网友表示虽然平时天天骂微博，但真和微博失联了几个小时，感觉和世界脱节了一样。没想到这年头竟然能在微博热搜上看到 “微博崩了”这个词条。 微博回应宕机原因 据@微博客服 消息，8月2日晚22时06分起，由于自动扩容系统故障，导致北京永丰等地机房的宽带容量超限，影响了部分省份移动端用户访问，期间PC端用户可正…- 1
- 0
-
最佳实践 – 技术如何从小白到管理，怎么支撑业务快速发展？
一、背景 技术管理者(技术总监/经理/CTO)期望通过体系化的管理方式建设，能够在百人，千人以上的团队中有效的构建聚焦目标、自我成长、高效能的研发作战团队，快速拿出成果，支撑业务的快速发展。 二、痛点 从小团队人员快速扩张，团队文化稀释，人员效能下降，目标逐渐弱化。 各自团队管理方式及标准不统一，人员管理及协同逐渐混乱。 组织扩大后，难以有效关注个人，无法准确评判个人的成长，贡献等。 三、目标 通…- 2
- 0
-
Flink SQL – 网易云音乐flink实践与优化
文章目录 Toggle 一、背景简介二、云音乐的实时计算 Notebook 服务三、性能优化四、运维监控增强五、未来规划 一、背景简介 1.Flink in Music 先简单的介绍下云音乐的现状，目前音乐这边的客户端日志，服务端日志大概在每日大千亿条左右，维度表数据源像 Redis，MySQL 这些大概有上百个。而服务的实时计算任务开发的人员有上百名，其中不仅包扩数据开发工程师，分析师，也包括算…- 1
- 0
-
经验教训 – 运维工程师 不得不看的日常经验2，帮你远离故障
确保变更可以回滚佛说：“每次创伤都是一次成熟”。这是运维人员的真实写照。从某种意义上讲，运维是一份不断犯错、不断积累经验的工作。以前没有经历的东西，总是不定期的给你痛击。所以请保护好变更的现场，使得变更有回头的机会。 小心破坏性的操作什么是破坏性的操作？比如：对 Oracle 而言，有truncate table_name，delete table_name，drop table_name。这些语…- 0
- 0
-
CMDB是配置管理库它应该长得怎么样？数据资产体系如何建设？
一、认识数据资产 二、数据治理-方法论 三、CMDB平台建设 四、B站SRE资产平台建设之路 一、认识数据资产 1. 数据资产——企业IT价值 如图所示，未进行数据资产化建设时，数据可能呈现离散状态，数据生产和消费不统一，容易出现数据孤岛或零利益的情况。 建设数据资产化后，我们整合不同渠道数据，构造统一的数据源，或数据采集、存储、分析的流程链路，进而统一对应的数据结构、数据关系和消费出口。 运营数…- 1
- 0
-
系统稳定性保障 – 事件激励与约束 故障分计算思路
“阿里稳定分”不是一个官方术语，但我们可以基于阿里云对服务稳定性的重视和实践，构想一个类似的评估体系。阿里云对于服务稳定性的评估通常会涉及多个维度，包括但不限于可用性、性能、容灾能力、故障恢复速度、监控与预警能力等。以下是一个基于这些维度的“阿里稳定分”评估标准和计算的构想，以及一个实践案例的详细说明。 文章目录 Toggle 评估标准计算方法实践案例计算“阿里稳定分”注意事项故障评估框架计算公式…- 7
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×