-
经验教训 – 2020.02.23 微盟花23亿买下一个惨痛教训
2月23日晚7点左右，微盟多个小程序显示出现未知错误，多次刷新仍未恢复正常。 基于微盟的商家小程序也都随之宕机，一度无法打开。从23日晚间起，宕机超过24小时，线上生意基本停摆的商家不在少数。 对此，官方一开始回应称设备物理故障，正在紧急抢修和修复。 2月25日，微盟集团(2013.HK)发布关于系统故障的公告，称SaaS(软件即服务)业务数据遭到员工人为破坏，并表示已向上海警方报…- 2
- 0
-
可观测性（Observability）- 事件日志
日志用来记录系统运行期间发生过的离散事件。相信没有哪一个生产系统能够缺少日志功能，然而也很少人会把日志作为多么关键功能来看待。日志就像阳光与空气，无可或缺却不太被重视。程序员们会说日志简单，其实这是在说“打印日志”这个操作简单，打印日志的目的是为了日后从中得到有价值的信息，而今天只要稍微复杂点的系统，尤其是复杂的分布式系统，就很难只依靠 tail、grep、awk 来从日志中挖掘信息了，往往还要有…- 3
- 0
-
经验教训 – 凡是跟金额相关必要从业务角度进行监控，拼XX回应BUG事件回顾
2019-1-20 凌晨一点多，拼多多平台BUG出现。根据脉脉一个ID为“程序员·鹿杖客”的自我爆料，他作为拼多多的一个程序员，将一个100元的无门槛测试券，设置成了自动上线，并在凌晨一点多上线。这些100元无门槛优惠券，拼多多网站页面告知，可以全场通用（特殊商品除外）。 凌晨三点多，已经有大量用户通过网络相互转告领券。而这些可以无条件领取的100无门槛券，经过一些用户以及不排除大职业“羊毛党”发…- 0
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 43
- 0
-
FLINK SQL 实践 – （十五）：flink sql 开发企业级利器之 Dlink
发现有两款非常优秀的利器： Apache Zeppelin Dlink 为啥先介绍 Dlink 呢？ 因为博主和其开发人员混的很熟了，所以就先拿 Dlink 来尝试尝试。 废话不多说，大家都想先看效果再看怎么部署。先看看最终效果。 文章目录 Toggle 2.Dlink 平台效果2.1.登录2.2.flink sql 开发界面3.安装部署篇3.1.Dlink 的 github3.2.部署环境准备3…- 1
- 0
-
经验教训 – 狡兔务必三窟：阿里云香港可用区C宕机血的教训与反思
自12月18日阿里云香港可用区C因为机房水冷机组出现故障，导致一次阿里云历史上最长的宕机后，官方终于在圣诞节那天，出具了一份非常翔实的调查报告《关于阿里云香港Region可用区C服务中断事件的说明》，称得上是实事求是面对问题了。 我从业十五年，参与建设过4000个节点的私有云，也搞过机房装修和上架，还有一点运维经验，算是有相关经验，跟大家讨论一下以后自家单位的容灾应该怎么做吧。 大家先看这次阿里云…- 7
- 0
-
故障复盘 – 复盘工具 多视角复盘法
这种方法鼓励团队成员从多个角度（如管理者、执行者、客户、竞争对手等视角）去审视同一个事件。 管理者视角：关注总体战略执行、资源配置、团队协调等方面的得失。 执行者视角：聚焦具体操作层面的问题，改进工作流程和技术能力。 客户视角：深入了解客户需求和体验，优化产品和服务。 竞争对手视角：借鉴对手的优点，规避缺点，寻求竞争优势。 文章目录 Toggle 案例1：用户购物车功能异常案例2：退款流程繁琐，用…- 2
- 0
-
IT服务治理 – 唯品会基于 Clickhouse 存储日志的实践 
1、背景 唯品会日志系统dragonfly 1.0是基于EFK构建，于2014年服务至今已长达7年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。 随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，主要表现在应用数量和打印的日志越来越多，开发需要打印更多日志，定位业务问题，做出运营数据分析；另外外部攻击问题和审计要求，需要更多安全相关的日志数据要上报…- 3
- 0
-
经验教训 – 滴滴崩了滴滴官方公布P0级事故原因
11月29日，滴滴出行再就27日夜间系统故障致歉，提出了相应的补救措施和补偿方案。并公布了本次事故的初步调查结果：起因是底层系统软件发生故障，并非网传的“遭受攻击”。 同时，滴滴表示，当前所有服务已全部恢复，后续将深入开展技术风险隐患排查和升级工作，全面保障服务稳定性，尽最大努力避免类似事故再发生。 滴滴拥有庞大的业务线，其底层系统由复杂的软硬件构成，其中包括服务器、网络设备、数据库等等重要组成部…- 1
- 0
-
监控治理 – 监控报警优化经验总结
当一个中大型互联网公司，每天由监控系统发出大量报警，而故障却始终无法及时发现的时候，如何能够快速找到问题的根源，如何改进，以及如何度量改进的效果，这一系列的问题就会摆在我们面前，本文基于作者在多家公司的监控治理经验，从评价体系角度出发，整理了十多个相关的指标，从而能够对监控系统以及各个业务线进行有效度量。 评价体系分为三类 第一类是效果指标，用于概要性说明监控治理的结果，通过召回率和发现时长来进行…- 2
- 0
-
故障治理 – 线上故障分析与故障治理指引
文章目录 Toggle 1 生产故障分级规范概要1.1 开篇1.2 事故等级定义1.2.1 故障等级定义1.2.2 故障报告模板示例1.2.3 故障响应处理机制1.2.4 思考2 生产故障原因和分类2.1 故障分类2.2 bug是可以完全避免的么？-了解2.3 经典故障示例-了解2.4 混沌工程简介3 生产故障定位和解决流程3.1 影响服务质量的因素3.1.1我们常常面对如下的业务场景3.1.2 …- 4
- 0
-
故障复盘 – 复盘工具 5Why法
发明者用五个以W开头的英语单词和两个以H开头的英语单词进行设问，发现解决问题的线索，寻找发明思路，进行设计构思，从而搞出新的发明项目，这就叫做5W2H法。（1）WHAT——是什么，目的是什么，做什么工作。（2）WHY——为什么要做，可不可以不做，有没有替代方案。（3）WHO——谁，由谁来做。（4）WHEN——何时，什么时间做，什么时机最适宜。（5）WHERE——何处，在哪里做。（6）HOW ——怎…- 2
- 0
-
IT服务管理:故障治理 – 运维故障排查处理思路
在讲解事件、故障处理思路前，先讲一个故障场景（以呼叫中心系统作为一例子）： 业务人员反映呼叫中心系统运行缓慢，部份电话在自助语言环节系统处理超时，话务转人工座席，人工座席出现爆线情况。 运维人员开始忙活了，查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去，但是原因还未定位。 经理过来了解情况：“系统恢复了吗？”、“故障影响是什么？”、…- 31
- 0
-
2023.11.27滴滴系统崩了 P0级故障？
昨天（11月26日）晚上，不少用户向潮新闻记者帮反映“滴滴系统崩了，还车还不了。” 今天（11月27日）早上，滴滴发布最新通告，致歉的同时表示，系统已修复。 原文如下： 经技术团队连夜修复，滴滴网约车等服务已恢复，用户可下载滴滴App使用打车服务。骑车等服务还在陆续修复中，所有可开锁或未关锁的青桔车辆均可免费骑行，希望能为缓解早高峰压力努力多做一点点。 11月27日晚间因系统故障导致App服务异常…- 16
- 0
-
故障治理 – 京东科技之全链路故障诊断-智能运维实践
讲师介绍 张静，京东科技智能运维算法高级经理。硕士毕业于东北大学，持续深耕智能运维领域多年，带领团队致力于京东智能运维算法迭代，把智能算法能力落地京东线上横向业务场景，算法在监控、数据库、网络、资源调度等多个纵向场景取得突破，提升了产品和运维的技术竞争力。善于将实践中沉淀的技术与日常算法工作中积累的技术与创新总结成专利和IEEE论文，申请智能运维发明专利50余项，IEEE国际会议论文收录9篇。 分…- 1
- 0
-
[经验分享]远离故障的十大原则
故障是运维人员永远的痛。相信每一个运维人员的KPI中都有一项：可用性。可用性高就是不出故障，各个公司对可用性和故障评级的标准都不相同，但是避免故障的方法却是殊途同归。我们怎么避免故障，沃趣科技简单列举了以下几条，与大家共勉！1、变更要有回滚，在同样的环境测试过2、对破坏性的操作谨慎小心3、设置好命令提示4、备份并验证备份有效性5、对生产环境存有敬畏之心6、交接和休假最容易出故障，变更请谨慎7、搭建…- 4
- 0
-
故障复盘 – 复盘工具 5Why法
文章目录 Toggle 5Why法案例1：生产设备突然停机案例2：网络服务器宕机案例3：APP闪退问题 5Why法 5Why法是一种深度追问、寻找问题根本原因的分析方法，通过连续问五个“为什么”，逐步揭示问题的本质。以下是三个应用5Why法进行故障复盘的案例： 案例1：生产设备突然停机 What（什么）：生产设备突然停机，无法正常运转。 Why1（为什么）：因为电机过热导致自动保护开关跳闸。 Wh…- 4
- 0
-
运维工具 – 大众点评评论文本挖掘基础案例实践
文章目录 Toggle 一、爬虫整体思路网页爬取和解析数据存储反爬虫对抗二、探索性分析与文本数据预处理探索性分析数据预处理词云展示三、文本的情感分析文本特征提取（TF-IDF）机器学习建模样本数据不平衡模型评估测试1. 朴素贝叶斯相关的统计学知识 2. 朴素贝叶斯的模型3. 朴素贝叶斯的推断过程4. 朴素贝叶斯的参数估计5. 朴素贝叶斯算法过程6.&nbs…- 17
- 0
-
IT运维治理 – 美团点评数据库智能运维探索与实践
讲师介绍： 赵应钢，曾就职于百度、新浪、去哪儿网等，10年数据库自动化运维开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。现为美团点评运维研究员，DBA团队(北京)负责人，负责MySQL、KV服务的平台建设和技术保障工作。 演讲大纲： ● 数据库平台的演变; ● 现状和面临的挑战; ● 从自动化到智能化; 文章摘要： 传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用…- 7
- 0
-
故障最佳实践经验 – 一个简单代码错拼、误删 17 个生产级数据库，宕机10小时
微软 Azure DevOps 是一套应用程序生命周期服务，提供了从代码管理到持续集成、持续交付、测试、监控等一系列功能。然而，就在 5 月 24 日，这个服务在巴西南部区域发生了长达 10 小时的宕机，影响了数千名客户。事后调查发现，竟然是因为一个简单的拼写错误，导致了 17 个生产数据库被误删。 事件背景起源于，Azure DevOps 工程师有时需要对生产数据库的快照进行保存，以调查报告的问…- 2
- 0
-
经验教训 – 从10次宕机事件中，我学到重要的经验“不要心存侥幸,你担心的事情一定会发生”
今年的灾难事件有几点是比较深刻体会： 第 1 课：循环依赖会破坏你的运维工具流程工具与生产工具是结合一起，出问题往往是最不起眼功能环节，就是一棵螺丝钉 第 2 课：愚蠢的自动化强依赖于流程工具与自动化工具，应急时缺少了走火通道 第 3 课：现在是 2023年，数据库仍然很棘手灾难恢复后最耗时就是数据关系重建，数据完整性、一致性处理 第 4 课：分阶段慢慢部署变更需要遵循最小灰度原则 第 5 课：为…- 2
- 0
-
故障复盘 – 复盘工具 KPT法
文章目录 Toggle KPT法故障复盘案例案例1：服务器宕机事件案例2：网络通信故障案例3：软件系统bug导致用户数据异常 KPT法故障复盘案例 KPT法（Keep/Problem/Try）是一种简洁实用的复盘方法，分别对应保留（维持好的做法）、问题（识别现存问题）和尝试（提出改进措施）三个方面。下面是三个应用KPT法进行故障复盘的案例： 案例1：服务器宕机事件 Keep（保留）：在此次服务器宕…- 4
- 0
-
最佳实践 – 测试定位问题思路
为什么定位问题如此重要？ 可以明确一个问题是不是真的“bug” 很多时候，我们找到了问题的原因，结果发现这根本不是bug。原因明确，误报就会降低 多个系统交互，可以明确指出是哪个系统的缺陷，防止“踢皮球”，提高问题解决的效率 增强开发对测试的信任度，沟通更有效，配合的更好，开发修改bug时效增强 更有效的了解系统的内部逻辑、数据流处理流程，更能提高测试人员的水平，缺陷修复后，影响的测试范围评估更精…- 5
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×