-
经验教训 – 2020.10.16 微盟宕机8天，赔偿1.5亿！电商技术专家，总结6条经验
微盟经历了8天的至暗时刻，数据修复工作终于有了进展，并于3月1日对外发布公告： 截止到3月1日晚8点，在腾讯云团队协助下，经过7*24小时的努力，我们数据已经全面找回，由于此次数据量规模非常大，为了保证数据一致性和线上体验，我们将于3月2日凌晨2点进行系统上线演练，将于3月3日上午9点数据恢复正式上线。 此次事故给商家经营造成了严重的影响，公司管理层对此深感自责和愧疚，我们准备了1.5亿元人民币赔…- 2
- 0
-
故障复盘 – 故障复盘哪三大关键问题？
这是很多企业/团队都要面对的问题，有着超10年系统稳定性保障经验的李道兵老师给我们分享了他的观点： 故障复盘的三大关键问题： 怎么有效降低故障的影响？ 事故处理的流程和原则有哪些？ 相关管理制度怎么设置比较合理？ 故障复盘的四大注意项： 1.事故复盘不是给人定责的，要有系统思维将优化项实际落地才能推动系统优化； 2.事故报告的重点应该是事故提升项，监控、定位、根因、架构四个部分都必须涉及； 3.事…- 3
- 0
-
【运维工具】flink sql 实践思路案例
文章目录 Toggle 短视频生产消费监控项目简介方案设计方案 1方案 2方案 3方案 4总结技术架构QuestionWHAT：实时 & 离线公共画像维表？概念区别离线公共画像维表实时公共画像维表WHY：为什么建设实时公共画像维表？直播间画像维表主播 & 观众用户画像维表HOW + WHO：怎样建设？用什么建设？直播间生命周期 & 数据流转直播间画像维表-实时直播间画像实时…- 3
- 0
-
经验教训 – 2024.4.8 腾讯云事件持续近87分钟学习经验
腾讯云发布了 4.8 号大故障的复盘报告。我认为是一件好事，因为阿里云双十一大故障的官方故障复盘至今仍然是拖欠着的。公有云厂商想要真正成为 —— 提供水与电的公共基础设施，那就需要承担起责任，接受公众监督 —— 云厂商有义务披露自己故障原因，并提出切实的可靠性改进方案与措施。 那么我们就来看一看这份复盘报告，看看里面有哪些信息，以及可以从中学到什么教训。 事实是什么？ 原因是什么？ 影响…- 10
- 0
-
故障复盘 – 复盘工具 时间线分析法复盘
时间线分析法是一种通过构建事件时间轴来回顾和分析过程的方法。复盘时，将关键事件、决策点、里程碑等标注在时间线上，直观呈现项目或活动的全过程。 文章目录 Toggle 案例1：大促活动期间服务器崩溃案例2：商品详情页加载缓慢案例3：订单配送延迟 案例1：大促活动期间服务器崩溃 时间线： 促销活动前两周，技术团队进行系统压力测试和优化。 活动前一天，服务器负载测试达标，系统上线。 活动开始后两小时，访…- 4
- 0
-
运维工具 – 唯品会王玉：老司机教你如何调教Presto和ClickHouse，应对业务难题！
导读：大家好，我是来自唯品会实时平台 OLAP 团队的王玉，主要负责唯品会这边 Presto、Kylin、ClickHouse、Kudu，这些在 OLAP 比较常用组件的开源修改、组件优化还有维护的工作，并且我们还负责一些为业务指导、设计 OLAP 方案支持的工作。 本文主要介绍唯品会 OLAP 的演进，包括 Presto 智能化和容器化实践，以及 Clickhouse 在实验平台海量数据存储和计…- 9
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 52
- 0
-
运维稳定性 – 虎牙APM可观测平台建设实践
随着虎牙业务量的大规模增长，分布式应用服务架构日益复杂，排障定位变得越来越困难，原有传统监控方式已无法跟上业务发展需要。虎牙新建设了一套APM平台，结合虎牙直播业务特性，也紧靠业界标准做了高度自研扩展，帮助研发和运维提高工作效率，保障线上应用服务稳定运行。 本次分享将通过以下几个部分来介绍整体思路和实践过程： 分享概要 一、项目背景 – 从当时痛点来思考关键切入点 二、方案实践 …- 2
- 0
-
故障治理 – 稳定性保障6步走：高可用系统大促作战指南！
一、前言 年年有大促，大家对于大促稳定性保障这个词都不陌生，业务场景尽管各不相同，“套路”往往殊路同归，全链路压测、容量评估、限流、紧急预案等，来来去去总少不了那么几板斧。 跳出这些“套路”，回到问题的本质，我们为什么要按照这些策略来做? 除了口口相传的历史经验，我们还能做些什么?又有什么理论依据? 二、怎样的系统算是稳定? 首先回答另一个问题，怎样的系统算是稳定的? Google SRE中(SR…- 8
- 0
-
系统稳定性保障 – 迄今见过最易懂的混沌工程落地实践
一、背景 从 2010 年 Netflix 上线 Chaos Mokey 的第一个版本到现在，虽然混沌工程发展已历时十年，但其实只在少数大厂里面有较成熟的落地，对绝大部分研发同学来说，混沌工程还是一个比较陌生的领域。 分布式和微服务化已经成为主流的系统架构设计方案，大规模分布式系统的可用性保障能力越来越成为关注的重点。混沌工程也开始如雨后春笋般在各大企业内部萌芽生长，但大部分还处于初期的探索阶段，…- 3
- 0
-
故障复盘 – 复盘工具 SMART原则复盘法
SMART原则（S=Specific、M=Measurable、A=Attainable、R=Relevant、T=Time-bound）是为了利于员工更加明确高效地工作，更是为了管理者将来对员工实施绩效考核提供了考核目标和考核标准，使考核更加科学化、规范化，更能保证考核的公正、公开与公平。 绩效指标必须是具体的（Specific） 绩效指标必须是可以衡量的（Measurable） 绩效指标必须是…- 2
- 0
-
运维工具 – 快手基于 Flink 构建实时数仓场景化实践(监控实施思路)
本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》，内容包括： 快手实时计算场景快手实时数仓架构及保障措施快手场景问题及解决方案未来规划 GitHub 地址https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~ 文章目录 Toggle 一、快手实时计算场景…- 2
- 0
-
服务稳定性保障的五大误解
在线服务的稳定性保障一直是运维和技术部门的核心工作之一。但时至今日，这个方向实际仍然有很多基本的概念都没有对齐。 今天这篇文章就罗列下那些混淆不清的概念，期望有一天大家沟通时不是鸡同鸭讲，各说各话。 文章目录 Toggle 误解一：服务可用性误解二：故障误解三：根本原因误解四：根因定位误解五：业务监控总结 误解一：服务可用性 听过很多技术分享，看过很多平台的承诺，上来都是讲我们的服务稳定性99.9…- 2
- 0
-
Flink SQL – 网易云音乐flink实践与优化
文章目录 Toggle 一、背景简介二、云音乐的实时计算 Notebook 服务三、性能优化四、运维监控增强五、未来规划 一、背景简介 1.Flink in Music 先简单的介绍下云音乐的现状，目前音乐这边的客户端日志，服务端日志大概在每日大千亿条左右，维度表数据源像 Redis，MySQL 这些大概有上百个。而服务的实时计算任务开发的人员有上百名，其中不仅包扩数据开发工程师，分析师，也包括算…- 3
- 0
-
故障治理 – 从行业巨头重大事故，炼成系统稳定性治理最全方略(系统稳定性保障)
系统的稳定性，主要决定于整体的系统架构设计，然而也不可忽略编程的细节，正所谓“千里之堤，溃于蚁穴”，一旦考虑不周，看似无关紧要的代码片段可能会带来整体软件系统的崩溃。 稳定性的工作，一般都是水下的工作。就像冰山，真正强大的系统下，要有更加强大的底层支撑，水面下的问题才是真正需要解决的问题。当然不一样的工作内容，水下的工作是不同的，对于盖楼来说，可能就是地基的深度。对于我们写业务逻辑来说，水下的工作…- 66
- 0
-
系统稳定性保障 – 字节跳动混沌工程故障演练实践总结
什么是混沌工程 在生产环境中实际运行分布式系统，难免会有各种不可预料的突发事件发生。同时，云原生的发展，不断推进着微服务的进一步解耦，海量的数据与用户规模也带来了基础设施的大规模分布式演进。分布式系统天生有着各种相互依赖，可以出错的地方数不胜数，处理不好就会导致业务受损，或者是其他各种无法预期的异常行为。 在复杂的分布式系统中，无法阻止这些故障的发生，我们应该致力于在这些异常行为被触发之前，尽可能…- 45
- 0
-
故障复盘 – 复盘工具 AAR（After Action Review/事后回顾）
AAR最早是美国陆军所进行的一项任务后的检视方法，对美国陆军来说，使用这种方法的好处是当新的理解被产生时，可以马上响应到行动上，他们使用AAR解决了许多问题。美国陆军使用AAR的成功因素包括：结构化、有目地的对谈；打破层级的藩篱；能迅速反映至行动中；将学习的成果记录下来等。在美国陆军的成功使用经验之后，Analog Devices公司T&IPD (Transportation & …- 10
- 0
-
IT服务治理 – 腾讯运维的 AI 实践思路指引
讲师简介 张戎 机器学习研究员社交网络运营部 我是一个做机器学习的人，目前接触运维的时间并不长，大约半年左右。 主要做社交网络的运维、监控和异常检测方面的工作。本文将按照下面四大块内容分享。 1. 时间序列异常检测 监控领域做运维，最基础的是时间序列的异常检测。如果是基于机器学习的智能运维，主要分三个场景： 第一步是发现问题，如果我们无法发现问题就无法定位问题、甚至解决问题。 既然提到发现问题，最…- 2
- 0
-
SRE实战手册 – 技能宝典
先聊一聊SRE的工作职责，聊一下我所理解的SRE的核心目标；初步看一下稳定性建设的工作范畴，看一看从宏观上如何划分我们的工作内容；然后我们由此进入今天的主题：故障管理，我将按照我的理解对故障管理进行拆解和分析；再后面，围绕故障管理，我们深入聊一下SRE的体系建设，如何通过体系建设来更好地做故障管理；最后我们再简单做下对未来的展望，共同畅想一下SRE工作的未来。 文章目录 Toggle 一、SRE的…- 11
- 0
-
运维稳定性 – 故障处理的系统稳定性与可观测性能力实践
笔者从 12 年开始入行，从事 DevOps 研发工作，做过部署系统、监控系统、可观测性相关产品，也做过 SRE 一线和管理工作，对于可观测性的理解和实践，有一些小小的见解，利用本文和大家做一个探讨分享。本文主要内容包括： 可观测性在整个商业体系中的位置和价值 如何快速发现故障，使用哪类指标告警 SRE 在谈论故障定位的时候，谈的是什么 如何找到故障直接原因，找到止损依据 如何让可观测性系统呈现观…- 1
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 1
- 0
-
系统稳定性保障 – 哪儿网故障演练实践经验
大家好，我是来自去哪儿网的刘志志，19年加入去哪儿网，主要参与CI/CD平台建设，负责故障演练平台的开发。今天的分享主要分为以下三个部分： 一、背景&价值 如图所示，左边是近期发生的一件影响较大的事故：Facebook服务宕机。持续时长约7小时，造成了次日超过60亿美金的市值下跌，损失数额巨大。右边所展示的则是我们公司中某个业务线的服务调用关系。可以看到，整个链路非常复杂，如果其中某个链路…- 2
- 0
-
IT服务治理 – AIOps 在腾讯的探索和实践
1 从一个 NLP 故事说起 首先我想从一个 NLP 小的故事来说起。 在二十世纪三四十年代，人们大量尝试用机器的方式去理解自然语言，开始是用类似于左图一样的语法树的基于规则的方式处理的，但后来逐渐地变化为以统计的方式去做。 到了二十世纪七十年代之后，基于规则的句法分析逐渐地走到了尽头。 1972年的时候，自然语言处理领域大师贾里尼克加入了IBM。1974年左右，他在 IBM 提出了基于…- 7
- 0
-
2023.12.3 腾讯视频崩了,会员没了?
“看到一半说会员没了，我昨天刚充的会员……” 12月3日晚，“腾讯视频崩了”和“腾讯会员没了”两个话题热搜爆了！ 有不少网友发微博称腾讯视频的会员突然没有了，想观看会员频道影片也无法观看。 还有网友表示，腾讯视频崩了，会员都没了，网名也变成腾讯网友了。 相关话题登上热搜后，引发了不少网友吐槽。“还以为我手机出问题了，又是重新登陆又是清理垃圾又是重启手机的，结果问题在腾讯这儿…- 40
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×