-
系统稳定性建设（14） – 稳定性治理思路与实践
想了想，还是把过往一段时间里，我们在稳定性建设中的实践记录下来，包含一些思路和方法，也算是一部大型踩坑记录，也只是一些实践过的野路子、野方法。 文章目录 Toggle 团队背景治理目标故障分级稳定性目标治理思路事前预防研发流程中的保障常态化治理专项优化故障发现基础组件监控服务监控链路监控业务监控流量监控故障恢复故障注入恢复手段扩容熔断/限流/降级多云多活技术治理之外的稳定性能力建设流程标准及自动化…- 2
- 0
-
系统稳定性建设（12） – 线上监控指标全解(线上问题排查指南)
前言本文将从 基础设施（CPU、内存、网络、磁盘）、 服务内部（JVM、线程池、连接池等）、中间件（MySQL、Redis、MQ等）、服务治理（注册中心、熔断、分布式事务、服务间调用）、业务指标（支付成功率、转化漏斗）、用户体验（页面性能、用户反馈） 等全维度出发，讲解线上应用的全方面监控参数，大家设计线上服务监控的时候可以借鉴这些参数和思路。线上问题排查也可从这些角度出发。掌握这些将全方面提升你…- 1
- 0
-
2024年十大网络安全事件盘点
10大网络安全事件 1微软高管邮箱被“午夜暴雪”攻陷 2024年1月，微软披露其遭到了威胁组织“午夜暴风雪”的攻击。攻击者主要针对微软的高级领导团队成员以及网络安全、法务等部门的员工，窃取了部分电子邮件和附件，同时还访问了一些源代码库和内部系统。 攻击者首先通过一个遗留的非生产测试租户账户获得访问权限，使用密码喷洒攻击，这种攻击方式涉及同时对多个账户尝试大量常见密码。在获得初步立足点后，他们从被攻…- 2
- 0
-
IT服务管理:故障治理 – 运维故障排查处理思路
在讲解事件、故障处理思路前，先讲一个故障场景（以呼叫中心系统作为一例子）： 业务人员反映呼叫中心系统运行缓慢，部份电话在自助语言环节系统处理超时，话务转人工座席，人工座席出现爆线情况。 运维人员开始忙活了，查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去，但是原因还未定位。 经理过来了解情况：“系统恢复了吗？”、“故障影响是什么？”、…- 3
- 0
-
【运维工具】Flink SQL 基础实践 – SQL Client
https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/d/ud/372169841042.mp4 文章目录 Toggle 前言如何使用场景示例准备数据安装Flink和依赖启动Flink SQL client执行SQL提交作业数据类型常见错误找不到Hadoop相关依赖SQL client 提交任务的时候连接拒绝补充内容 前言 Flink提供了S…- 0
- 0
-
PYTHON基础技能 – 一键掌握：Python函数声明与调用的20个最佳实践
今天我们要一起探索的是Python世界中的一块基石——函数！想象一下，像魔术师一样，轻轻一挥手，复杂的任务就被封装成简洁的命令，这就是函数的魅力。下面，让我们用最接地气的方式，揭开它的神秘面纱，掌握那些让代码飞起来的20个小技巧。 文章目录 Toggle 1. 基础中的基础：Hello, Function!2. 参数传递：位置VS关键字3. *args 和 **kwargs：无限参数的秘密4. 返…- 0
- 0
-
思维认知 – 亮剑精神，怎么带好团队
2005年，《亮剑》一经播出便迅速燃爆各大卫视，并以近14%的收视率，创下当年央视一套电视剧收视率的新纪录。 时至今日，这部剧的重播次数已超3000次，总播放量更是突破了10亿次，至今仍以9.5分稳居豆瓣高分国产剧榜，被称为让人无法拒绝的“抗日神剧”。 为什么《亮剑》能从多如牛毛的影视剧中脱颖而出，成为经典中的经典？ 有人说，这是因为剧中的人物没有陷入脸谱化的表达方式；也有人说，它动人心弦的故事、…- 0
- 0
-
【运维工具】Flink SQL 实践3 – 自定义 redis 数据汇表
本文主要介绍了 flink sql redis 数据汇表的实现过程。 如果想在本地测试下： 在公众号后台回复 flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义…- 0
- 0
-
Python基础技能 – Pyecharts实践案例
文章目录 Toggle Pyecharts概要基础使用各类图形实现 Pyecharts概要 Pyecharts是一个基于Echarts JavaScript库的Python库，用于生成丰富的图表类型。它易于使用，可以创建多种精美的图表。 基础使用 通过pip命令安装Pyecharts库。 导入所需的模块，例如：from pyecharts.charts import Line。 根据图表类型创建对…- 0
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 4
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 0
- 0
-
系统稳定性保障 – 哪儿网故障演练实践经验
大家好，我是来自去哪儿网的刘志志，19年加入去哪儿网，主要参与CI/CD平台建设，负责故障演练平台的开发。今天的分享主要分为以下三个部分： 一、背景&价值 如图所示，左边是近期发生的一件影响较大的事故：Facebook服务宕机。持续时长约7小时，造成了次日超过60亿美金的市值下跌，损失数额巨大。右边所展示的则是我们公司中某个业务线的服务调用关系。可以看到，整个链路非常复杂，如果其中某个链路…- 1
- 0
-
故障最佳实践经验 – 微软 Azure 澳洲数据中心宕机超 24 小时！值得思考自动化、智能化等工具失效后运维人员是否还依然能管控好生产风险
宕机时时有，但持续 24 小时以上的却并不多见。 近日，位于澳大利亚悉尼的微软 Azure 服务突发中断，导致用户在超过 24 小时内无法访问 Azure、Microsoft 365 和 Power Platform 服务。而后微软针对此次事故发布了一份初步分析报告，引发众人关注。 这份报告将原因归咎于“电力骤降导致一个可用区内的一个数据中心的部分冷却装置处于脱机状态”。由于冷却装置无法正常工作，…- 1
- 0
-
经验教训 – 运维工程师 不得不看的日常经验2，帮你远离故障
确保变更可以回滚佛说：“每次创伤都是一次成熟”。这是运维人员的真实写照。从某种意义上讲，运维是一份不断犯错、不断积累经验的工作。以前没有经历的东西，总是不定期的给你痛击。所以请保护好变更的现场，使得变更有回头的机会。 小心破坏性的操作什么是破坏性的操作？比如：对 Oracle 而言，有truncate table_name，delete table_name，drop table_name。这些语…- 0
- 0
-
数字化运营基础技能 – python学习路线图经典版
关于Python数据分析，其实网上能够找到的学习资源很多，主要分为两类：一类是提供各种资源的推荐，比如书单、教程、以及学习的先后顺序；另一类是提供具体的学习内容，知识点或实际案例。 但很多繁琐而又杂乱的内容，除了给初学者增加理解和认识的噪音外，真正能够起到明确的方向指引导的，确实不多。以至于很多人一开始没有明确的方向就一头扎进去，学了很久却不知道自己到底在学什么，或者自己学了很久不知道能够做什么。…- 2
- 0
-
宝贵的人生建议 – 凯文·凯利：给子女，100条建议
一、永远不要为你不想成为的人工作 1. 如果你不想投资于一家公司，就不要在这家公司工作。因为当你工作时，你是在投入自己拥有的一切：你的时间。 2. 在同意参加一场工作会议之前，你必须先看会议日程，并知道需要做出什么样的决定。如果不需要做出任何决定，你可以跳过这场会议。3. …- 1
- 0
-
【运维工具】一文搞懂 Hadoop 生态系统的组件
Hadoop概述 Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图1所示。 图…- 1
- 0
-
大规模运行 Apache Airflow 的经验和教训
Apache Airflow 是一个能够开发、调度和监控工作流的编排平台。在 Shopify，我们已经在生产中运行了两年多的 Airflow，用于各种工作流，包括数据提取、机器学习模型训练、Apache Iceberg 表维护和 DBT 驱动的数据建模。在撰写本文时，我们正通过 Celery 执行器和 MySQL 8 在 Kubernetes 上来运行 Airflow 2.2。 Shopify 在…- 1
- 0
-
数字化运营基础技能 – pandas实战 – 数据清洗
这篇文章我会先给你讲解数据清洗的重要性，然后我会跟你列举数据清洗的四大准则，最后，我会用一个实战案例带你学会如何使用Python进行数据清洗。 也可以直接访问我的Github地址进行下载: https://github.com/RecordLiu/Python-Data-cleaning 好了，接下来，咱们详细看一看。 文章目录 Toggle 认识数据清洗数据清洗四大准则使用Python进行数据清…- 1
- 0
-
经验教训 – 运维工程师 不得不看的日常经验，帮你远离故障
1. 测试使用 当初学习Linux的使用，从基础到服务到集群，都是在虚拟机做的，虽然老师告诉我们跟真机没有什么差别，可是对真实环境的渴望日渐上升，不过虚拟机的各种快照却让我们养成了各种手贱的习惯，以致于拿到服务器操作权限时候，就迫不及待的想去试试。 记得上班第一天，老大把root密码交给我，由于只能使用putty，我就想使用xshell，于是悄悄登录服务器尝试改为xshell+密钥登录，因为没有测…- 1
- 0
-
可观测性（Observability）- 聚合度量
度量（Metrics）的目的是揭示系统的总体运行状态。相信大家应该见过这样的场景：舰船的驾驶舱或者卫星发射中心的控制室，在整个房间最显眼的位置，布满整面墙壁的巨型屏幕里显示着一个个指示器、仪表板与统计图表，沉稳端坐中央的指挥官看着屏幕上闪烁变化的指标，果断决策，下达命令……如果以上场景被改成指挥官双手在键盘上飞舞，双眼紧盯着日志或者追踪系统，试图判断出系统工作是否正常。这光想像一下，都能感觉到一股…- 2
- 0
-
Hive Sql：工作中常用HSQL语句大全 一
文章目录 Toggle Hive Sql 大全hive的DDL语法对数据库的操作对数据表的操作对管理表(内部表)的操作对外部表操作对分区表的操作对分桶表操作修改表和删除表向hive表中加载数据hive表中数据导出hive的DQL查询语法单表查询Hive函数聚合函数关系运算数学运算逻辑运算数值运算条件函数日期函数字符串函数复合类型构建操作复杂类型访问操作复杂类型长度统计函数hive当中的latera…- 2
- 0
-
IT运维最佳实践 – 一线游戏运维心得（同行经验）
自2015年开始从事游戏行业一线运维工作，至今（2022）已经近7年。 网易游戏：2015.04 ~ 2021.04灵犀互娱：2021.04 至今 文章目录 Toggle 背景1、运维人员的定位运维叫什么？PE？SRE？什么是SRE？什么是可用率？可用率到底要达到几个9？不同人眼中的运维项目组对运维的核心诉求技术要专，还是广？运维SRE的段位2、做事方法新手常犯的错误或误区怎么推进事情落地？忙不过…- 1
- 0
-
数据治理 – XX业务数据分析体系的架构与实践
导读：讲述在业务快速迭代发展过程中，为了让大数据更好地赋能业务，高效的为用户提供有业务价值的数据产品和服务，百度爱番番的数据团队构建实时和离线大数据基础平台的心路历程，包括如何应对业务、技术、组织等方面的挑战和解决实际痛点过程中的思考与实践。 全文9911字，预计阅读时间24分钟。 文章目录 Toggle 一、前言1.1 名词解释三、实践及经验分享3.1 数据架构3.1.1 什么是数据架构3.1.…- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×