-
PYTHON基础技能 – Python的10个文件对比与合并高效策略
在日常编程或数据分析工作中，经常需要处理多个文件的对比与合并任务。Python因其强大的文件处理能力和丰富的库支持，成为了处理这类任务的理想选择。下面，我们将逐步探索10种高效的文件对比与合并策略，每一步都配有详细的代码示例和解释。 文章目录 Toggle 1. 基础文件读写2. 文件内容对比3. 基于行的合并4. 去重合并5. CSV文件合并6. 按列合并CSV7. 大文件高效对比8. 文本文件…- 1
- 0
-
系统稳定性保障 – 哪儿网故障演练实践经验
大家好，我是来自去哪儿网的刘志志，19年加入去哪儿网，主要参与CI/CD平台建设，负责故障演练平台的开发。今天的分享主要分为以下三个部分： 一、背景&价值 如图所示，左边是近期发生的一件影响较大的事故：Facebook服务宕机。持续时长约7小时，造成了次日超过60亿美金的市值下跌，损失数额巨大。右边所展示的则是我们公司中某个业务线的服务调用关系。可以看到，整个链路非常复杂，如果其中某个链路…- 1
- 0
-
可观测性(Observability) – 三要素日志、追踪、度量
随着分布式架构渐成主流，可观测性（Observability）一词也日益频繁地被人提起。最初，它与可控制性（Controllability）一起，是由匈牙利数学家 Rudolf E. Kálmán 针对线性动态控制系统提出的一组对偶属性，原本的含义是“可以由其外部输出推断其内部状态的程度”。 在学术界，虽然“可观测性”这个名词是近几年才从控制理论中借用的舶来概念，不过其内容实际在计算机科学中已有多…- 4
- 0
-
故障复盘 – 复盘工具 六顶思考帽复盘法
六顶思考帽不是思考者的类型。每个思考者都应该会用所有的帽子 。 白色思考帽：资料与信息 获得客观信息和认识，保证思维尊重事实。 红色思考帽：直觉与感情 决策时恰当的情感、直觉和预感 黄色思考帽：积极与乐观 进行统一的、逻辑的、深刻的负面论证。 黑色思考帽：逻辑与批判 进行统一的、逻辑的、不断的正面探索。 绿色思考帽：创新与冒险 不断实施出新奇的探索，寻求新的方法。 蓝色的思考帽：系统与控…- 2
- 0
-
入门同学对ITIL管理十大误解
一、ITIL是国外的管理最佳实践不适合中国国情ITIL是IT服务管理领域的最佳实践，是一种IT部门进行日常工作管理的方法论，既然他是一种管理方法就没有地域国情的限制，只要IT部门有管理的动作都可以参考ITIL的相关流程。产生这以误解多半是因为没有领会ITIL对IT管理的精髓，而是停留在简单的流程层面。同样说ITIL 只适合与大型IT组织或公司，适合于管理比较成熟的机构，也是类似的误解，ITIL是I…- 3
- 0
-
运维工具 – 异常数据分析 Prophet时序预测实践
研判银行间资金利率走势，对于分析债券市场而言非常重要。Facebook在2017年开源了一个时间序列预测的算法，叫做fbprophet，其功能包括： 为预测设置上下限；设置趋势断点；处理季节性和节假日效应；允许乘法形式的季节性；区间预测；处理异常值；处理非日度数据；模型检测。 我们认为，可以用这个算法，来为银行间资金利率，做出一个基础性的预测。初步探索如下： 文章目录 Toggle 一、安装二、数…- 1
- 0
-
运维工具 – 异常数据分析实践，将多个表格生成一个表格或将一个表格生成多个工作簿
把多个工作表合并为一个工作表是办公中相当常见的工作任务。如果只是合并两三个工作表，可以手动完成，但如果要合并几十个甚至更多的工作表，手动操作的效率就太低了。本节将利用Python将多个工作簿中的同名工作表快速合并为一个工作表，并保存为一个新的工作簿。 from pathlib import Path import xlwings as xw src_folder = Path('D:\\…- 0
- 0
-
实践案例 – 告警治理 腾讯业务监控的修炼之路
概述 本文作为监控告警产品专题系列第一篇文章，涉及的主要内容为监控产品设计的相关基础知识，算是整个系列文章的一个索引。主要内容有： • 关于监控告警的一些概念• 立体化监控体系的阐述老鸟们可以关注后续的文章（文末有三期内容预告，关键词：IAAS, CMDB, 组件监控）业务运维 vs 产品经理以前做 QQ 业务运维的时候，有一类平台是自己天天会用，那这类平台是什么呢？就是监控告警平台，每…- 2
- 0
-
思维认知 – 亮剑精神，怎么带好团队
2005年，《亮剑》一经播出便迅速燃爆各大卫视，并以近14%的收视率，创下当年央视一套电视剧收视率的新纪录。 时至今日，这部剧的重播次数已超3000次，总播放量更是突破了10亿次，至今仍以9.5分稳居豆瓣高分国产剧榜，被称为让人无法拒绝的“抗日神剧”。 为什么《亮剑》能从多如牛毛的影视剧中脱颖而出，成为经典中的经典？ 有人说，这是因为剧中的人物没有陷入脸谱化的表达方式；也有人说，它动人心弦的故事、…- 2
- 0
-
故障复盘 – 什么样的原则review 监控告警
某企业内部故障统计数据显示85%的异常是靠用户上报发现而非监控发现。针对一个故障场景增加一个告警，往往需要增加数百上千个监控项，这样加下去，真的能提升业务异常的监控效率吗？到底告警要怎样加才是有效的？ TakinTalks社区的4位专家，分别给出了这些注意事项，总结如下： 1.业务视角的告警比其他告警更重要，是评判告警该不该加的重要标准。 2.告警要紧贴业务，而业务分核心与非核心，围绕核心用户旅程…- 9
- 0
-
Python 日常数据分析 – EXCEL实战- 分类汇总
import xlwings as xw import pandas as pd app = xw.App(visible=False, add_book=False) workbook = app.books.open('文件名.xlsx') worksheets = workbook.sheets table = pd.DataFrame() for i, j in enu…- 0
- 0
-
ITIL 最佳实践中常出现的五个误区，领悟后有效提高生产质量管控
ITIL作为一种IT运维战略及最佳实践的方法，不仅仅能为IT部门自身的运维效率带来价值，更重要的是基于ITIL运维的IT服务体系能让整个企业的员工对IT服务的满意度得到提升。 但是，把ITIL想象成简单的工具实施是完全不足以达到ITIL运维体系所带来的效果。ITIL告诉大家对IT运维管理必须有一个深思熟虑的长久规划，尽可能的在实施过程中规避一些常见的误区，并且在整个过程中一定要不断地进行调整和改善…- 0
- 0
-
故障复盘 – 哈啰出行高质量故障复盘法
一、故障和复盘真的都是坏事吗？提到复盘，大多数人第一时间想到的是线上出了故障，这下又要有人背锅了；或者是为那个可怜的兄弟暗暗担心；也或者是因为跟自己无关，所以松了一口气。那么故障和复盘真的都是坏事吗？我们该如何理解它呢？我从以下三点讲一下我对故障和复盘的理解。 1.1 正视故障发生的必然性 – 有好也有坏在聊复盘之前，先聊下我对线上故障的看法，…- 0
- 0
-
Flink SQL 实践 – sql 基本手册
文章目录 Toggle Flink SQL 数据类型 # Flink SQL 本页面描述了 Flink 所支持的 SQL 语言，包括数据定义语言（Data Definition Language，DDL）、数据操纵语言（Data Manipulation Language，DML）以及查询语言。Flink 对 SQL 的支持基于实现了 SQL 标准的 Apache …- 0
- 0
-
运维工具 – python 日常数据分析 – excel工作簿与工作表处理技巧
代码文件：筛选一个工作簿中的所有工作表数据.py – 数据文件：采购表.xlsx 下图所示是按月份存放在不同工作表中的物品采购明细数据，如果要更改为按物品名称存放在不同工作表中，你会怎么做呢？ 思路：先合并所有表，再按采购物品名称进行分表： import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book…- 0
- 0
-
【运维工具】Flink SQL 实践11 去重不仅仅有 count distinct 还有强大的 deduplication
文章目录 Toggle 1.序篇2.背景及应用场景介绍3.来一个实战案例4.基于 Deduplication 的解决方案及原理解析4.1.sql 写法4.2.proctime 下 flink 生成的算子图及 sql 算子语义4.3.proctime 下 deduplication 原理解析5.总结与展望 1.序篇 源码公众号后台回复1.13.2 deduplication 的奇妙解析之路获取。 下…- 0
- 0
-
运维工具 – excel 日常数据分析 – 常用彻底清除格式处理经验
1、清除整个表格的格式。此方法适合清除整个工作表套用的格式。使用此方法将会把工作表套用的格式全部清除掉。首先打开一个已经套用了表格格式的电子表格。2、然后将套用了格式的表格全部选中，如下表中把A2：F8全部选中。这点非常重要，如果只选择了表格的一部分，清除格式操作将会失败。3、单击“开始”菜单标签，再单击工具栏“编辑“组中的”清除”按钮。4、单击“清除“按钮后，在弹出的下拉列表中选择“清除格式”命…- 0
- 0
-
【运维工具】Flink SQL 事件时间下数据乱序丢数踩坑
本文分为以下几个部分： 「1.本次踩坑的应用场景」 「2.应用场景中发生的丢数故障分析」 「3.待修复的故障点」 「4.丢数故障解决方案及原理」 「5.总结」 文章目录 Toggle 应用场景丢数故障分析待修复的故障点解决方案以及原理丢数故障解决方案解决方案原理输入数据样例输出数据样例总结学习资料flink 应用场景 应用场景如下： 「flink 任务 A」 以「处理时间」语义做过滤产出…- 2
- 0
-
经验教训 – 2015.09.20 从Amazon最新云停机事故中学到的三个教训（亚马逊云宕机事件）
Amazon刚刚经历的云服务停机事故引发业界对云技术的又一番争论。 就在上周日上午时段，Amazon Web Services数据中心遭遇一起相当严重的意外事故。 美国东部时间清晨六点，该公司负责承载AWS东弗吉尼亚区域负载的名为DynamoDB的大规模NoSQL数据库发生使用率暴涨状况——顺带一提，东弗吉尼亚州区域为该公司历史最悠久、规模***的九个全球性区域之一。到当日上午七点五十二分，AWS…- 1
- 0
-
PYTHON基础技能 – Python字典深度探索：25个高级操作技巧
今天，我们踏入字典的神秘森林，挖掘那些不为人知的宝藏。字典，Python中的超级英雄，存储数据的魔法帽，今天我们将解锁它的20个高级特技，让你的代码飞起来！ 文章目录 Toggle 1. 初始化大法：花式建字典2. 隐形合并术：|操作符3. 深度合并秘籍：deepmerge4. 魔法键值对交换：zip与dict联袂出演5. 神秘的get：安全取值法6. update的奥义：优雅的更新7. 键的遍历…- 1
- 0
-
PYTHON基础技能 – Python中利用正则表达式的16个常见任务
文章目录 Toggle 1. 正则表达式是什么？2. 安装与导入3. 字符匹配4. 范围匹配5. 排除字符6. 字符集组合7. 位置锚定8. 分组与引用9. 非捕获组10. 替换文本11. 贪婪与非贪婪匹配12. 条件分支13. 重复限定符14. 特殊字符15. 边界限定符16. 标志位实战案例分析 1. 正则表达式是什么？ 正则表达式是一种用于匹配字符串的语言。它由一系列字符和特殊符号组成，用来…- 1
- 0
-
盒马新零售运维保障解决方案
今天我带来的是“新零售运维保障解决方案”，内容包括三方面，新零售的现状以及它的挑战、运维保障体系以及未来的发展和方向。 1. 新零售的现状及运维挑战 大家有没有听过“盒区房”？现在新零售其中一个比较典型的业务就是盒马鲜生。 继我们曾经“学区房”的概念之后现在已经出现了“盒区房”的概念，即围绕着盒马鲜生 3 公里内的配送范围区域被称作“盒区房”。 现在像盒马鲜生这样的新零售模式越来越火，而早在 20…- 1
- 0
-
系统稳定性保障 – 货拉拉微服务架构故障演练实践
文章目录 Toggle 一、背景二、体系全览三、工具体系故障演练平台架构故障演练能力全景控制爆炸半径演练自动化四、管理体系故障演练类型故障演练流程五、运营体系运营数据六、未来展望 一、背景 随着货拉拉微服务架构、容器化技术广泛使用，软件架构的复杂度在不断提升，由服务之间的依赖所带来的不确定性也呈指数级增长。在这样的依赖网中，任何一环出现非预期或者异常的变化，都可能对其他服务造成非常大的影响。因此，…- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×