-
-
【运维工具】Flink SQL 实践3 – 自定义 redis 数据汇表
本文主要介绍了 flink sql redis 数据汇表的实现过程。 如果想在本地测试下： 在公众号后台回复 flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义…- 1
- 0
-
经验教训 – 运维工程师 不得不看的日常经验，帮你远离故障
1. 测试使用 当初学习Linux的使用，从基础到服务到集群，都是在虚拟机做的，虽然老师告诉我们跟真机没有什么差别，可是对真实环境的渴望日渐上升，不过虚拟机的各种快照却让我们养成了各种手贱的习惯，以致于拿到服务器操作权限时候，就迫不及待的想去试试。 记得上班第一天，老大把root密码交给我，由于只能使用putty，我就想使用xshell，于是悄悄登录服务器尝试改为xshell+密钥登录，因为没有测…- 1
- 0
-
[运维工具] 数据分析与数据运营 – excel 常规处理实例
简单的读取excel 数据 import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book=False) wb=app.books.open('D:\Excel\8.1.1节\超市销售数据2020-9.xlsx') sht=wb.sheets('销售数据') data_pd=…- 3
- 0
-
PYTHON基础技能 – Python正则表达式的10个实用模式
小伙伴们，今天我们要一起探索的是Python中的一个超级神器——正则表达式（Regex），它就像是字符串处理的瑞士军刀，小巧却强大无比。别看它名字听起来高深莫测，其实掌握了几个核心模式，你也能成为字符串处理的大师。来，让我们一边玩一边学，轻松掌握这10个超实用的Python正则表达式技巧！ 文章目录 Toggle 1. 基本匹配：从Hello World开始2. 贪心与非贪心：吃多与适可而止3. …- 2
- 0
-
PYTHON基础技能 – 使用 Pandas 进行时间序列分析的 11 个关键点
今天我们来聊聊如何用 Pandas 库进行时间序列分析。Pandas 是 Python 中最强大的数据处理库之一，非常适合处理时间序列数据。这篇文章将带你逐步了解时间序列分析的基础知识，以及如何用 Pandas 实现。 文章目录 Toggle 1. 时间序列数据简介2. 设置日期为索引3. 数据重采样4. 插值方法5. 移动平均6. 季节性分解7. 时间序列滞后8. 自相关和偏自相关函数9. 差分…- 1
- 0
-
PYTHON基础技能 – Python增强办公效率的11个实用代码段
文章目录 Toggle 引言1. 快速生成批量文件夹2. 批量重命名文件3. Excel 数据处理4. PDF 文档合并5. 文本内容替换6. 发送邮件自动化7. 数据可视化8. Excel 数据批量处理9. 自动化生成报告10. 文件压缩与解压11. 实战案例：自动化数据处理与报告生成总结 引言 在日常工作中，许多任务可以通过编程自动化来提高效率。本文将介绍一些实用的 Python 脚本，用于批…- 6
- 0
-
PYTHON基础技能 – Python条件表达式优化的15个实例
文章目录 Toggle 引言1. 基础：三元运算符2. 简化比较操作3. 列表或空值处理4. 避免重复计算5. 字符串操作进阶技巧与应用6. 多条件判断7. 列表推导中的应用8. 初始化变量9. 函数返回值优化继续深入：条件表达式的高级应用与实战案例10. 错误处理简化11. 高级：嵌套条件12. 利用条件表达式进行列表过滤13. 逻辑与短路特性14. 实战案例：动态配置设置15. 最后的思考：平…- 0
- 0
-
数字化运营基础技能 – 会员数字化运营实践案例
导入库 import time # 时间库 import numpy as np # numpy库 import pandas as pd # pandas库 import pymysql # mysql连接库 from sklearn.ensemble import RandomForestClassifier # RF库 # from pyecharts import Bar3D # 老版本代…- 1
- 0
-
故障复盘 – 复盘工具 KPT法
文章目录 Toggle KPT法故障复盘案例案例1：服务器宕机事件案例2：网络通信故障案例3：软件系统bug导致用户数据异常 KPT法故障复盘案例 KPT法（Keep/Problem/Try）是一种简洁实用的复盘方法，分别对应保留（维持好的做法）、问题（识别现存问题）和尝试（提出改进措施）三个方面。下面是三个应用KPT法进行故障复盘的案例： 案例1：服务器宕机事件 Keep（保留）：在此次服务器宕…- 10
- 0
-
2015.5·27支付宝大规模宕机事故反思学习
事故背景支付宝拥有超过4万亿年交易总额，是中国第一大第三方交易平台，约占中国整体社会消费金额的六分之一。2014年年11月，就有用户反映，支付宝钱包目前无法转账和提现，当用户使用这两项功能时会提示出现未知错误或创建交易失败，该问题在移动客户端以及电脑网页端均存在。 事故经过2015年5月27日下午4点半左右，陆续有多个地区网友反映，支付宝出现网络故障，账号无法登录或转账。打开余额宝后，不能显示余额…- 6
- 0
-
运维工具 – 数据合并实例
data=df.merge(df3,how='left',on='order_sn') v="{} vs{}ss {}".format("hello", "world", "world") import pandas as pd df1 = pd.DataFrame({'…- 0
- 0
-
IT服务治理 – 腾讯 PCG 数据中台 DEVOPS 和 AIOPS 实践
文章目录 Toggle 01 腾讯PCG的前世今生1. 问题和挑战02 MQ架构的内核生态改造1. 面临的问题2. 解决方案03 日志管道系统（ATTA）04 实时数仓流批一体架构05 定义系统可运维性目标1. 定义中台内各平台的可运维性2. 定义错误预算06 全生命周期管理1. 方案的阶段2. 开发阶段3. 发布阶段4. 持续运营保障阶段07 全面监控08 数字化运维能力建设09 故障处理由繁入…- 44
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 10
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 55
- 0
-
故障处理最佳实践 – ‘踩坑’、‘跳坑’、‘填坑’、‘避坑’
墨菲定律任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事情总会出错如果担心某个事情发生，那么它更有可能发生 文章目录 Toggle 墨菲定律暗示我们，如果担心某种情况会发生，那么它更有可能发生，久而久之就一定会发生。这警示我们，在互联网公司，对生成环境发生的任何怪异现象和问题都不要轻视，对其背后的原因一定要调查清楚。同样，海恩法则也强调任何严重的事故背后都是很多次小问题…- 1
- 0
-
有趣视频 – 千万别动那个bug，该项目就是靠那个bug运行的
千万别修改这个bug,项目就是靠这个bug运行的,这里面水太深别问 – 没有十全十美东西，质量与效率是相互依存的关系,质量好则相对成本下降,效率上升;反之则下降- 1
- 0
-
故障复盘 – 丰田5WHY法 – 学会从试错的经历中复盘
复盘，原本是围棋中的一个术语。 指下完棋后，重新在棋盘上走一遍，看看棋子下得好的地方和不好之处，哪些地方可以有不同甚至是更好的下棋方法等。这种重复棋局且带有思考的过程，就称为复盘或复局。 图源：https://www.piqsels.com 这样做的目的不仅可以找出双方攻守的漏洞，还可以让各自加深印象、总结经验、提高棋艺水平。 放在IT人的工作当中，亦是如此。 “在故障中成长，在复盘中强大”，IT…- 7
- 0
-
新的工业革命即将开始?
工业革命是指从18世纪末到19世纪中叶，以及20世纪初的一系列重大技术、经济和社会变革的过程。虽然没有一个确切的定义，但通常认为工业革命经历了三次主要的阶段，每一次都具有不同的特征和影响。 一、 第一次工业革命（1760年-1840年）第一次工业革命发生在18世纪末到19世纪初，主要集中在英国。以下是第一次工业革命的特征：1. 蒸汽动力的应用：蒸汽机的发明和应用是第一次工业革命的核心。蒸…- 1
- 0
-
数字化运维 – PYTHON 日常数据分析 –新闻文本分类实战
文章目录 Toggle 文本数据载入及清洗把数据集分为训练集和测试集中文分词引入停用词文本特征提取（词库表示法）机器学习建模文本特征提取(TF-IDF)N-gram模型 文本数据载入及清洗 搜狗新闻数据源：http://www.sogou.com/labs/resource/ca.php 我们从搜狗下载的数据是类似XML的带标签对的数据，因此需要使用正则表达式或者BeautifulSoup等工具处…- 1
- 0
-
运维工具 – excel 日常数据分析 – 常用多条件查找与统计经验
Excel中的多条件查找，其实不是很难，很多小伙伴都知道查找用lookup、vlookup函数，但具体怎么使用却不知所措。 今天跟大家分享多条件查找最常用的8个方法，如果你以前不懂，现在看看这篇文章，绝对可以给你带来收获~ 下图是一个学科成绩表，我们需要通过左表的姓名和学号两个条件在右表中查找对应的成绩并返回到左表的E列中。 方法一：使用LOOKUP函数。 具体操作步骤如下： 1、选中E2单元格 …- 1
- 0
-
经验教训 – 摘录多年运维监控报警优化经验总结文章
整个文章的关键在于ITIL的持续运营阶段 运维工程师面试者第一个问题是：需要值班吗？笔者自己也曾经历过月入十万的时期，在那个时候，数个系统同时发布下一代版本，而老系统还需要过渡很长时间，工作量直接翻倍，大家只能勉强应付一线运维工作，团队成员开始陆续离职，而新人又无法在短时间内上手，整体情况不断恶化，持续半年左右才缓过劲来。 下面两张截图是我挑选的两个团队一周报警数的对比图，前者的单日报警量最高是 …- 2
- 0
-
【运维工具】Flink SQL 实践 – source\sink 原理
文章目录 Toggle 1.序篇-本文结构2.背景篇-关于 sql3.定义篇-sql source、sink4.实战篇-sql source、sink 的用法5.原理剖析篇-sql source、sink 是怎么跑起来的5.1.connector 怎样映射到具体算子？5.2.format 怎样映射到具体 serde？5.3.其他配置属性怎么加载？6.总结与展望篇 1.序篇-本文结构 本文从以下五个…- 2
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×