-
故障发生最重要的是快速恢复故障
故障发生时在故障发生时，最重要的是快速恢复故障。 而快速恢复故障的前提是快速定位故障源。因为在很多分布式系统中，一旦发生故障就会出现“多米诺骨牌效应”。也就是说，系统会随着一个故障开始一点一点地波及到其它系统，而且这个过程可能会很快。 一旦很多系统都在报警，要想快速定位到故障源就不是一件简单的事了。 在亚马逊内部，每个开发团队至少都会有一位 oncall 的工程师。在 oncall 的时候，工程师…- 2
- 0
-
IT服务治理 – 腾讯 PCG 数据中台 DEVOPS 和 AIOPS 实践
文章目录 Toggle 01 腾讯PCG的前世今生1. 问题和挑战02 MQ架构的内核生态改造1. 面临的问题2. 解决方案03 日志管道系统（ATTA）04 实时数仓流批一体架构05 定义系统可运维性目标1. 定义中台内各平台的可运维性2. 定义错误预算06 全生命周期管理1. 方案的阶段2. 开发阶段3. 发布阶段4. 持续运营保障阶段07 全面监控08 数字化运维能力建设09 故障处理由繁入…- 0
- 0
-
实践案例 – vivo监控系统这样演进才稳妥
一、业务背景 当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来越多的业务也会导致系统的复杂性。 当核心业务出现了问题影响用户体验，开发人员没有及时发现，发现问题时已经为时已晚，又或者当服务器的CPU持续增高，磁盘空间被打满等，需要运维人员及时发现并处理，这就需要一套有效的监控系统对其进行监控和预警。 如何对这些业务和服务器进行监控和维护是…- 4
- 0
-
运维工具 – 阿里超大规模 Flink 集群运维实践（实时监控必备工具之一）
一、演进历史和运维挑战 阿里的实时计算经历了近 10 年的快速发展，总体来说可以分成三大时代： 1.0 时代：2013 年到 2017 年，三大实时计算引擎并存。大家熟悉的 Jstorm 和 Blink 当时都还叫做流式计算。 2.0 时代：2017 年集团合并了三大实时计算引擎，Blink 凭借着出色的性能、高效的吞吐成为唯一的实时计算引擎，实现了大一统。在接下来的 4 年里，集团所有实时计算业…- 4
- 0
-
ITIL 服务管理框架,实践成功案例
1. IBM：IBM采用了ITIL框架来改进其IT服务管理流程，提高了服务交付效率和客户满意度。2. 英国政府：英国政府采用ITIL框架来统一和标准化其IT服务管理实践，提高了服务质量和效率。3. 西门子：西门子使用ITIL框架来优化其IT服务管理流程，提高了服务响应时间和问题解决能力。4. 谷歌：谷歌采用ITIL框架来管理其全球范围内的IT服务，确保高可用性和稳定性。5. 微软：微软使用ITIL…- 0
- 0
-
【运维工具】flink sql 实践思路案例
文章目录 Toggle 短视频生产消费监控项目简介方案设计方案 1方案 2方案 3方案 4总结技术架构QuestionWHAT：实时 & 离线公共画像维表？概念区别离线公共画像维表实时公共画像维表WHY：为什么建设实时公共画像维表？直播间画像维表主播 & 观众用户画像维表HOW + WHO：怎样建设？用什么建设？直播间生命周期 & 数据流转直播间画像维表-实时直播间画像实时…- 2
- 0
-
经验教训 – 2020.02.23 微盟花23亿买下一个惨痛教训
2月23日晚7点左右，微盟多个小程序显示出现未知错误，多次刷新仍未恢复正常。 基于微盟的商家小程序也都随之宕机，一度无法打开。从23日晚间起，宕机超过24小时，线上生意基本停摆的商家不在少数。 对此，官方一开始回应称设备物理故障，正在紧急抢修和修复。 2月25日，微盟集团(2013.HK)发布关于系统故障的公告，称SaaS(软件即服务)业务数据遭到员工人为破坏，并表示已向上海警方报…- 2
- 0
-
PYTHON基础技能 – Python的10个文件对比与合并高效策略
在日常编程或数据分析工作中，经常需要处理多个文件的对比与合并任务。Python因其强大的文件处理能力和丰富的库支持，成为了处理这类任务的理想选择。下面，我们将逐步探索10种高效的文件对比与合并策略，每一步都配有详细的代码示例和解释。 文章目录 Toggle 1. 基础文件读写2. 文件内容对比3. 基于行的合并4. 去重合并5. CSV文件合并6. 按列合并CSV7. 大文件高效对比8. 文本文件…- 1
- 0
-
可观测性(Observability) – 监控和可观测性区别
文章目录 Toggle 监控定义如何使用监控监控的缺陷可观测性可观测性的背景可观测性的理解可观测性的意义使用场景可观测性的要求收集数据metriclogtraceprofile接入简单/无侵入式关联数据关联哪些数据关联数据的意义如何关联数据标准化/结构化数据(metric/log/trace等)空间上的关联时间上的关联设计模型仪表板展示场景覆盖全面可观测性构建的扩展观测性分析平台业务画像智能化、定…- 4
- 0
-
最佳实践 – 运维服务器故障排查与定位常用命令
整理总结了一些常用分析网站的命令方便大家快速定位故障所在排除故障，最小化的减少故障给业务带来的影响。 文章目录 Toggle 1. 背景2. 说明3. 分析问题的方法论4. cpu4.1 说明4.2 分析工具4.3 使用方式5. 内存5.1 说明5.2 分析工具5.3 使用方式6. 磁盘IO6.1 说明6.2 分析工具6.3 使用方式7. 网络7.1 说明7.2 分析工具7.3 使用方式8. 系统…- 31
- 0
-
IT运维治理 – 美团点评数据库智能运维探索与实践
讲师介绍： 赵应钢，曾就职于百度、新浪、去哪儿网等，10年数据库自动化运维开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。现为美团点评运维研究员，DBA团队(北京)负责人，负责MySQL、KV服务的平台建设和技术保障工作。 演讲大纲： ● 数据库平台的演变; ● 现状和面临的挑战; ● 从自动化到智能化; 文章摘要： 传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用…- 2
- 0
-
监控中心 NOC 是什么 ？怎么来？
在阿里巴巴隐藏着很多神秘的部门，GOC就是其中之一，你在互联网甚至搜不到关于它的一丁点儿信息。但就是这么一个“名不见经传”的部门，却“指挥”着阿里巴巴旗下几乎所有业务的运行情况。 它的名字有点儿高大上——Alibaba Global Operations Center，阿里巴巴全球运行指挥中心。 GOC从何而来？ 要掰扯一下GOC的诞生历程，还得从“远古”的2012年说起。 在2012年及以前，阿…- 1
- 0
-
IT服务管理:告警治理 – 京东基于Zabbix告警治理优化实践
大规模Zabbix万台应用监控场景下，针对告警、可靠性工程实践经验；通过Zabbix二次开发，集成运维平台、工单、值班、自愈系统，通告警服务化、数据化，为业务保驾护航，保障稳定性工程落地。 京东集团是一家定位于以技术为本，业务为基，多场景的高增长型互联网公司。我们的运营团队隶属于京东集团的信息化部门，负责对内对外各BG、BU和相关子公司提供园区分支应用系统基础设施等IT解决方案。1SRE与告警的关…- 2
- 0
-
FLINK SQL 实践 – 14 维表 lookup join 实战
背景及应用场景介绍：博主期望你能了解到，flink sql 提供了轻松访问外部存储的 lookup join（与上节不同，上节说的是流与流的 join）。lookup join 可以简单理解为使用 flatmap 访问外部存储数据然后将维度字段拼接到当前这条数据上面 来一个实战案例：博主以曝光用户日志流关联用户画像（年龄、性别）维表为例介绍 lookup join 应该达到的关联的预期效果。 fl…- 0
- 0
-
故障治理 – 稳定性保障6步走：高可用系统大促作战指南！
一、前言 年年有大促，大家对于大促稳定性保障这个词都不陌生，业务场景尽管各不相同，“套路”往往殊路同归，全链路压测、容量评估、限流、紧急预案等，来来去去总少不了那么几板斧。 跳出这些“套路”，回到问题的本质，我们为什么要按照这些策略来做? 除了口口相传的历史经验，我们还能做些什么?又有什么理论依据? 二、怎样的系统算是稳定? 首先回答另一个问题，怎样的系统算是稳定的? Google SRE中(SR…- 4
- 0
-
经验教训 – 狡兔务必三窟：阿里云香港可用区C宕机血的教训与反思
自12月18日阿里云香港可用区C因为机房水冷机组出现故障，导致一次阿里云历史上最长的宕机后，官方终于在圣诞节那天，出具了一份非常翔实的调查报告《关于阿里云香港Region可用区C服务中断事件的说明》，称得上是实事求是面对问题了。 我从业十五年，参与建设过4000个节点的私有云，也搞过机房装修和上架，还有一点运维经验，算是有相关经验，跟大家讨论一下以后自家单位的容灾应该怎么做吧。 大家先看这次阿里云…- 5
- 0
-
盒马新零售运维保障解决方案
今天我带来的是“新零售运维保障解决方案”，内容包括三方面，新零售的现状以及它的挑战、运维保障体系以及未来的发展和方向。 1. 新零售的现状及运维挑战 大家有没有听过“盒区房”？现在新零售其中一个比较典型的业务就是盒马鲜生。 继我们曾经“学区房”的概念之后现在已经出现了“盒区房”的概念，即围绕着盒马鲜生 3 公里内的配送范围区域被称作“盒区房”。 现在像盒马鲜生这样的新零售模式越来越火，而早在 20…- 1
- 0
-
可观测性（Observability）- 聚合度量
度量（Metrics）的目的是揭示系统的总体运行状态。相信大家应该见过这样的场景：舰船的驾驶舱或者卫星发射中心的控制室，在整个房间最显眼的位置，布满整面墙壁的巨型屏幕里显示着一个个指示器、仪表板与统计图表，沉稳端坐中央的指挥官看着屏幕上闪烁变化的指标，果断决策，下达命令……如果以上场景被改成指挥官双手在键盘上飞舞，双眼紧盯着日志或者追踪系统，试图判断出系统工作是否正常。这光想像一下，都能感觉到一股…- 4
- 0
-
运维工具 – Hadoop高可用的架构知识
hadoop 2.0 对于Hadoop高可用架构节点介绍 NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中，如果存在两个NameNode节点同时服务，这种情况称之为“脑裂” 为什么会出现脑裂脑裂出现原因一般发生在主备NamoNode切换，由于网络延迟、设备故障等，备用的StandbyNameNode【备用节点】认为ActiveNameNode【主节点】失效，此…- 1
- 0
-
故障治理 – 运行无间：阿里巴巴运维保障体系的一种最佳实践
阿里巴巴全球运行指挥中心，GOC (Global Operations Center)保障阿里经济体的业务稳定运行的核心团队。我们负责了整个阿里巴巴全局生产系统的稳定性。就像业界经常提到谷歌的SRE，我们相当于阿里巴巴的SRE。 今天我的分享分为四个部分： 1、稳定性现状及挑战 2、运维…- 2
- 0
-
经验教训 – B站崩，如何谋划稳定性保障SRE升级思路？比较全面优化思路
随着B站近几年的快速发展，业务规模越来越大，迭代速度越来越快，系统运行复杂度也越来越高。线上每天都会发生各种各样的故障，且发生的场景越来越刁钻。为了应对这种情况，保障业务在任何时刻都能将稳定性维持在一个高基线之上，B站专门成立了SRE体系团队，在提升业务稳定性领域进行了全方位、体系化的积极探索，从理论性支撑和能力化建设进行着手，从故障应急响应、事件运营、容灾演练、意识形态等多方面进行稳定性运营体系…- 4
- 0
-
数字化转型-IT运营为什么改变很重要
IT当前的运营模式在受到挑战。IT的复杂性和变化率的增长暴露了当前工作方式的局限性。在当今的环境中，可以全面管理IT服务和产品生命周期的数字管理系统对于成功至关重要。组织需要专门针对新数字化现实来设计的运营模型。 本文介绍ITIL® 4如何与IT4IT ™标准一起使用，来统一管理新的数字现实。 这两个框架的结合实现了更加简化和自动化的交付模型：一种利用了敏捷和DevOps方法的模型。 ITIL与I…- 2
- 0
-
Flink SQL 实践 – sql 基本手册
文章目录 Toggle Flink SQL 数据类型 # Flink SQL 本页面描述了 Flink 所支持的 SQL 语言，包括数据定义语言（Data Definition Language，DDL）、数据操纵语言（Data Manipulation Language，DML）以及查询语言。Flink 对 SQL 的支持基于实现了 SQL 标准的 Apache …- 0
- 0
-
故障治理 – 从行业巨头重大事故，炼成系统稳定性治理最全方略(系统稳定性保障)
系统的稳定性，主要决定于整体的系统架构设计，然而也不可忽略编程的细节，正所谓“千里之堤，溃于蚁穴”，一旦考虑不周，看似无关紧要的代码片段可能会带来整体软件系统的崩溃。 稳定性的工作，一般都是水下的工作。就像冰山，真正强大的系统下，要有更加强大的底层支撑，水面下的问题才是真正需要解决的问题。当然不一样的工作内容，水下的工作是不同的，对于盖楼来说，可能就是地基的深度。对于我们写业务逻辑来说，水下的工作…- 2
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×