-
系统稳定性保障 – 哪儿网故障演练实践经验
大家好，我是来自去哪儿网的刘志志，19年加入去哪儿网，主要参与CI/CD平台建设，负责故障演练平台的开发。今天的分享主要分为以下三个部分： 一、背景&价值 如图所示，左边是近期发生的一件影响较大的事故：Facebook服务宕机。持续时长约7小时，造成了次日超过60亿美金的市值下跌，损失数额巨大。右边所展示的则是我们公司中某个业务线的服务调用关系。可以看到，整个链路非常复杂，如果其中某个链路…- 5
- 0
-
可观测性(Observability) – 三要素日志、追踪、度量
随着分布式架构渐成主流，可观测性（Observability）一词也日益频繁地被人提起。最初，它与可控制性（Controllability）一起，是由匈牙利数学家 Rudolf E. Kálmán 针对线性动态控制系统提出的一组对偶属性，原本的含义是“可以由其外部输出推断其内部状态的程度”。 在学术界，虽然“可观测性”这个名词是近几年才从控制理论中借用的舶来概念，不过其内容实际在计算机科学中已有多…- 4
- 0
-
故障复盘 – 复盘工具 六顶思考帽复盘法
六顶思考帽不是思考者的类型。每个思考者都应该会用所有的帽子 。 白色思考帽：资料与信息 获得客观信息和认识，保证思维尊重事实。 红色思考帽：直觉与感情 决策时恰当的情感、直觉和预感 黄色思考帽：积极与乐观 进行统一的、逻辑的、深刻的负面论证。 黑色思考帽：逻辑与批判 进行统一的、逻辑的、不断的正面探索。 绿色思考帽：创新与冒险 不断实施出新奇的探索，寻求新的方法。 蓝色的思考帽：系统与控…- 2
- 0
-
经验教训 – 可乐可乐危机事件
1999年6月可口可乐遭遇灭顶之灾，比利时和法国的一些中小学生因饮用美国饮料可口可乐而中毒，比利时政府禁止销售可口可乐饮料，可口可乐公司对此进行了危机公关，虽然此次处理危机的力度并不弱，但决策节奏显然慢了半拍。 1999年6月初，比利时和法国的一些中小学生饮用美国饮料可口可乐，发生了中毒。 一周后，比利时政府颁布禁令，禁止本国销售可口可乐公司生产的各种品牌的饮料。 已经拥有113年历史的可口可乐公…- 11
- 0
-
最佳实践 – 运维服务器故障排查与定位常用命令
整理总结了一些常用分析网站的命令方便大家快速定位故障所在排除故障，最小化的减少故障给业务带来的影响。 文章目录 Toggle 1. 背景2. 说明3. 分析问题的方法论4. cpu4.1 说明4.2 分析工具4.3 使用方式5. 内存5.1 说明5.2 分析工具5.3 使用方式6. 磁盘IO6.1 说明6.2 分析工具6.3 使用方式7. 网络7.1 说明7.2 分析工具7.3 使用方式8. 系统…- 67
- 0
-
运维工具 – 异常数据分析实践，批量拆分列数据或批量汇总数据
Excel的分列功能可以将一列数据按照指定的分隔符拆分为多列，本节则要利用Python编程实现类似的功能，对多个工作簿中的列进行拆分。 from pathlib import Path import xlwings as xw import pandas as pd src_folder = Path('\\每月统计表\\') file_list = list(src_fold…- 1
- 0
-
实践案例 – B 站 SRE 实践总结了 4 大关键步骤建设监控告警治理
是不是经常会遇到，有人在群里 @你，告诉你你的系统出故障了，你在犹豫是不是真的出故障的同时还得慌乱地去查找？ 老板问你系统现在到底健康与否，能不能快速给个判断，你却不敢断言？ 业务方说你的系统有问题，但你认为没问题，又无法自证？ 这一切都源自于你的系统没有做好监控和告警： 没有监控或者没有一个好的监控，导致你无法快速判断系统是不是健康的；没有告警或者没有一个精准的告警，当系统出问题时不能及时通知到…- 21
- 0
-
实践案例 – 360容器平台监控实践
背景 360 在做容器化平台之前，有一个基于小米开源的 Open-Falcon 进行二次开发的老监控系统 (Wonder)，这个系统承揽了公司所有的物理机和虚拟机的监控任务。随着容器技术的普及，以容器的方式在创建应用时，由于 Kubernetes 容器编排系统部署的服务具有弹性扩容的特性，而老的监控系统无法感知这些动态创建的服务，已经不适合容器化的场景，所以 360 团队就搭建了一套可以支持服务发…- 1
- 0
-
经验教训 – 滴滴崩了滴滴官方公布P0级事故原因
11月29日，滴滴出行再就27日夜间系统故障致歉，提出了相应的补救措施和补偿方案。并公布了本次事故的初步调查结果：起因是底层系统软件发生故障，并非网传的“遭受攻击”。 同时，滴滴表示，当前所有服务已全部恢复，后续将深入开展技术风险隐患排查和升级工作，全面保障服务稳定性，尽最大努力避免类似事故再发生。 滴滴拥有庞大的业务线，其底层系统由复杂的软硬件构成，其中包括服务器、网络设备、数据库等等重要组成部…- 2
- 0
-
数字化运营基础技能 – pandas实战 – 数据清洗
这篇文章我会先给你讲解数据清洗的重要性，然后我会跟你列举数据清洗的四大准则，最后，我会用一个实战案例带你学会如何使用Python进行数据清洗。 也可以直接访问我的Github地址进行下载: https://github.com/RecordLiu/Python-Data-cleaning 好了，接下来，咱们详细看一看。 文章目录 Toggle 认识数据清洗数据清洗四大准则使用Python进行数据清…- 1
- 0
-
数字化转型-IT运营为什么改变很重要
IT当前的运营模式在受到挑战。IT的复杂性和变化率的增长暴露了当前工作方式的局限性。在当今的环境中，可以全面管理IT服务和产品生命周期的数字管理系统对于成功至关重要。组织需要专门针对新数字化现实来设计的运营模型。 本文介绍ITIL® 4如何与IT4IT ™标准一起使用，来统一管理新的数字现实。 这两个框架的结合实现了更加简化和自动化的交付模型：一种利用了敏捷和DevOps方法的模型。 ITIL与I…- 19
- 0
-
排查 K8S 问题的经验和技巧
最近更新：故障经验、Kubernetes架构、持久化存储、Helm、CICD、Ingress-nginx、监控告警、应用可观察性、服务治理等相关文章。 排查 Kubernetes 问题需要有一定的经验和技巧。在实际使用过程中，可以通过学习和实践来积累经验，并结合官方文档和社区资源进行学习和交流。同时，也可以考虑采用监控和日志系统等第三方工具来帮助进行排查和预警。这样可以更好地保障应用程序的稳定性和…- 1
- 0
-
FLINK SQL 实践 – 14 维表 lookup join 实战
背景及应用场景介绍：博主期望你能了解到，flink sql 提供了轻松访问外部存储的 lookup join（与上节不同，上节说的是流与流的 join）。lookup join 可以简单理解为使用 flatmap 访问外部存储数据然后将维度字段拼接到当前这条数据上面 来一个实战案例：博主以曝光用户日志流关联用户画像（年龄、性别）维表为例介绍 lookup join 应该达到的关联的预期效果。 fl…- 10
- 0
-
数字化运维 – PYTHON 日常数据分析 – EXCEL常用聚合函数处理技巧
文章目录 Toggle 案例01 对一个工作簿中的所有工作表分别求和举一反三 对一个工作簿中的所有工作表分别求和并将求和结果写入固定单元格案例02 批量统计工作簿的最大值和最小值 案例01 对一个工作簿中的所有工作表分别求和 代码文件：对一个工作簿中的所有工作表分别求和.py – 数据文件：采购表.xlsx import os import xlwings as xw import p…- 0
- 0
-
告警服务治理 – 简单有效经验分享
Facebook 深入探讨的问题是：“人类应当留意哪些 IT 告警？” Facebook 的产品工程师 Brian Smith 首先向我们介绍了 Facebook 用来确定 IT 事件应否入人类法眼（这一过程被称为 SAR，即信号、可行动性和关联性）的准则的初步定义。 信号 — 这是误报吗？一定是信号不足！ 可行动性 — 收到这一告警时，能立即采取措施吗？ 关联性 — 收到这一告警时，有其他告警传…- 0
- 0
-
【运维工具】Flink SQL 实践6 flink sql 约会 calcite
文章目录 Toggle 1.序篇-本文结构2.背景篇-一条 flink sql 的执行过程2.1.先发挥自己的想象力2.2.看看 flink 的实现3.简介篇-calcite 在 flink sql 中的角色3.1.calcite 是啥？3.2.flink sql 为什么选择 calcite？4.案例篇-calcite 的能力、案例4.1.先用用 calcite4.2.关系代数4.2.1.常用关系…- 1
- 0
-
故障治理 – 滴滴顺风车服务端之稳定性规范故障治理
服务端作为顺风车技术部内最大的工程团队，随着人员的扩张和迭代，流程规范在其中扮演着原来越重要的角色。一方面规范化可以提高我们的交付质量、交付效率，另一方面，我们也希望在一次次的实战中不断的总结，探索出适用于我们团队的最佳实践。 基于此，我们制定并推广了一套适用于服务端开发的可执行、最小限制的工程规范，包括研发流程、稳定性、性能成本等多个方面。 本文给出其中稳定性相关的规范，这些规范都是顺风车成立五…- 5
- 0
-
IT 故障治理 – 运维救火必备：问题排查与系统优化手册（结合教训现身说法）
软件工程领域存在一个共识：维护代码所花费的时间要远多于写代码。而整个代码维护过程中，最惊心动魄与扣人心弦的部分，莫过于问题排查（Trouble-shooting）了。特别是那些需要 7×24 小时不间断维护在线业务的一线服务端程序员们，大大小小的问题排查线上救火早已成为家常便饭，一不小心可能就吃成了自助餐 —— 竖着进躺着出，吃不了也兜不住。 本文分享作者在服务端问题排查方面的一些经验，…- 3
- 0
-
PYTHON基础技能 – Python自动化办公的14个实用脚本
在日常工作中，重复性的任务不仅耗时，还容易出错。Python凭借其简洁易学的语法，成为许多办公室自动化任务的首选工具。今天，我们就一起来看看如何用Python编写一些实用的小脚本，提高工作效率。 文章目录 Toggle 1. 文本文件批量重命名2. Excel数据清洗3. PDF合并器4. 图片压缩工具5. 文本内容替换6. 数据抓取与解析7. 数据导出到CSV8. 邮件自动发送9. 文件夹监控与…- 3
- 0
-
PYTHON基础技能 – Python 10个日期和时间操作的实用技巧
文章目录 Toggle 技巧1：导入时间和datetime模块技巧2：格式化日期技巧3：计算日期差技巧4：提取日期部分技巧5：解析字符串为日期技巧6：日期的加减技巧7：处理时区技巧8：循环日期技巧9：日期时间的比较技巧10：日期作为序列实战案例：年龄计算 技巧1：导入时间和datetime模块 在Python中，处理日期和时间首先需要导入相应的模块。datetime模块提供了非常强大的功能。 im…- 1
- 0
-
稳定性建设——《蚂蚁集团混沌工程技术理论与实践》
混沌初开，方兴未艾。混沌工程的概念由Netflix在2014年提出，近些年阿里，华为，腾讯，百度，工商银行等国内企业都有该领域的实践。 蚂蚁集团于2016年开始建设混沌工程体系，经历近6年的发展，目前以红蓝攻防为主要形式的混沌工程已有相当大的规模，从技术、机制、文化等层面驱动蚂蚁集团风险防控水位不断提升。 本文主要介绍蚂蚁集团的混沌工程体系，包括蚂蚁混沌工程的发展历程、业务特色、关键技术和平台以及…- 2
- 0
-
盒马新零售运维保障解决方案
今天我带来的是“新零售运维保障解决方案”，内容包括三方面，新零售的现状以及它的挑战、运维保障体系以及未来的发展和方向。 1. 新零售的现状及运维挑战 大家有没有听过“盒区房”？现在新零售其中一个比较典型的业务就是盒马鲜生。 继我们曾经“学区房”的概念之后现在已经出现了“盒区房”的概念，即围绕着盒马鲜生 3 公里内的配送范围区域被称作“盒区房”。 现在像盒马鲜生这样的新零售模式越来越火，而早在 20…- 1
- 0
-
系统稳定性保障 – 货拉拉微服务架构故障演练实践
文章目录 Toggle 一、背景二、体系全览三、工具体系故障演练平台架构故障演练能力全景控制爆炸半径演练自动化四、管理体系故障演练类型故障演练流程五、运营体系运营数据六、未来展望 一、背景 随着货拉拉微服务架构、容器化技术广泛使用，软件架构的复杂度在不断提升，由服务之间的依赖所带来的不确定性也呈指数级增长。在这样的依赖网中，任何一环出现非预期或者异常的变化，都可能对其他服务造成非常大的影响。因此，…- 7
- 0
-
系统稳定性保障 – 1-3-5-10的应急响应中心专业治理宕机
背景 随着业务规模的不断扩张和日常需求的快速迭代，即使是最优秀的业务架构、最完善的生产体系也无法确保系统100%的可用性，参考墨菲定律，会出错的事总会出错，故障在生产环境中不可避免。为了在故障发生时能够快速定界定位，采取有效措施止损，避免同根因故障重复发生，我们需要对故障全生命周期进行统一管理。 故障应急体系一般包括以下环节，故障预防、故障发现、故障定位、故障恢复、故障复盘及改进，其中故障预防阶段…- 3
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×