-
故障复盘 – 丰田5WHY法 – 学会从试错的经历中复盘
复盘，原本是围棋中的一个术语。 指下完棋后，重新在棋盘上走一遍，看看棋子下得好的地方和不好之处，哪些地方可以有不同甚至是更好的下棋方法等。这种重复棋局且带有思考的过程，就称为复盘或复局。 图源：https://www.piqsels.com 这样做的目的不仅可以找出双方攻守的漏洞，还可以让各自加深印象、总结经验、提高棋艺水平。 放在IT人的工作当中，亦是如此。 “在故障中成长，在复盘中强大”，IT…- 7
- 0
-
新的工业革命即将开始?
工业革命是指从18世纪末到19世纪中叶，以及20世纪初的一系列重大技术、经济和社会变革的过程。虽然没有一个确切的定义，但通常认为工业革命经历了三次主要的阶段，每一次都具有不同的特征和影响。 一、 第一次工业革命（1760年-1840年）第一次工业革命发生在18世纪末到19世纪初，主要集中在英国。以下是第一次工业革命的特征：1. 蒸汽动力的应用：蒸汽机的发明和应用是第一次工业革命的核心。蒸…- 1
- 0
-
数字化运维 – PYTHON 日常数据分析 –新闻文本分类实战
文章目录 Toggle 文本数据载入及清洗把数据集分为训练集和测试集中文分词引入停用词文本特征提取（词库表示法）机器学习建模文本特征提取(TF-IDF)N-gram模型 文本数据载入及清洗 搜狗新闻数据源：http://www.sogou.com/labs/resource/ca.php 我们从搜狗下载的数据是类似XML的带标签对的数据，因此需要使用正则表达式或者BeautifulSoup等工具处…- 1
- 0
-
运维工具 – excel 日常数据分析 – 常用多条件查找与统计经验
Excel中的多条件查找，其实不是很难，很多小伙伴都知道查找用lookup、vlookup函数，但具体怎么使用却不知所措。 今天跟大家分享多条件查找最常用的8个方法，如果你以前不懂，现在看看这篇文章，绝对可以给你带来收获~ 下图是一个学科成绩表，我们需要通过左表的姓名和学号两个条件在右表中查找对应的成绩并返回到左表的E列中。 方法一：使用LOOKUP函数。 具体操作步骤如下： 1、选中E2单元格 …- 1
- 0
-
经验教训 – 摘录多年运维监控报警优化经验总结文章
整个文章的关键在于ITIL的持续运营阶段 运维工程师面试者第一个问题是：需要值班吗？笔者自己也曾经历过月入十万的时期，在那个时候，数个系统同时发布下一代版本，而老系统还需要过渡很长时间，工作量直接翻倍，大家只能勉强应付一线运维工作，团队成员开始陆续离职，而新人又无法在短时间内上手，整体情况不断恶化，持续半年左右才缓过劲来。 下面两张截图是我挑选的两个团队一周报警数的对比图，前者的单日报警量最高是 …- 2
- 0
-
【运维工具】Flink SQL 实践 – source\sink 原理
文章目录 Toggle 1.序篇-本文结构2.背景篇-关于 sql3.定义篇-sql source、sink4.实战篇-sql source、sink 的用法5.原理剖析篇-sql source、sink 是怎么跑起来的5.1.connector 怎样映射到具体算子？5.2.format 怎样映射到具体 serde？5.3.其他配置属性怎么加载？6.总结与展望篇 1.序篇-本文结构 本文从以下五个…- 2
- 0
-
经验教训 – 2012.08.01 兵败DevOps！一个Bug损失4.6亿美金，不得不看的惨痛教训！
缺乏最佳实践的 DevOps，会给你的企业带来缓慢的发布周期，甚至是灾难性的错误。本文向你介绍一些能够充分使用 DevOps 的小技巧。 本文会分享一些有趣的 DevOps 原则，并通过应用展示它们给高效的项目交付与转化所带来的好处。 这里所提及的概念都源于 John Willis，他有着丰富的 IT 管理经验，同时也是 DevOps 运动的最初倡导者。 当一个组织考虑去实践 DevOps 的时候…- 1
- 0
-
PYTHON基础技能 – Python环境搭建与管理的9个常见问题解答
文章目录 Toggle 引言问题一：如何选择Python版本？问题二：如何安装Python？问题三：如何管理多个Python版本？问题四：如何解决Python依赖冲突？问题五：如何升级Python版本？问题六：如何设置Python环境变量？实战案例：使用虚拟环境管理多版本Python项目示例：激活和使用项目A的虚拟环境示例：激活和使用项目B的虚拟环境问题七：如何管理项目依赖？使用 requirem…- 2
- 0
-
PYTHON基础技能 – 一行Python代码实现数据清洗的18种方法
数据清洗可能是你们遇到的第一个大挑战，但别担心，Python的魔力在于能用简洁的代码解决复杂问题。今天，我们就来学习如何用一行代码完成数据清洗的十八个小绝招。准备好，让我们一起化繁为简，成为数据清洗的高手！ 文章目录 Toggle 1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统计元素出现次数6. 字符串分割成列表7. 列表合并8. 数据填充9. 提…- 2
- 0
-
PYTHON基础技能 – 15个Python进阶操作系统交互高级命令
今天我们要来探索那些让程序与操作系统无缝对接的高级命令！让我们一起把Python变成操作系统的隐形指挥官吧！ 文章目录 Toggle 1. 系统调用：os模块的魔法杖2. 目录间的舞蹈：os.path3. 文件的搬运工：shutil4. 文件的读写艺术家：open()5. 批处理文件名：glob6. 进程的交响乐：multiprocessing7. 定时任务：schedule8. 环境变量的探秘：…- 1
- 0
-
PYTHON基础技能 – Python中提升文件操作速度的7个秘诀
文章目录 Toggle 引言1. 使用with语句安全地处理文件2. 批量处理文件3. 使用缓冲区提高读写速度4. 使用二进制模式处理大文件5. 利用多线程或进程加速文件处理6. 使用pickle模块进行高效序列化7. 使用csv模块高效处理CSV文件实战案例：日志文件分析总结 引言 在Python编程中，高效且安全地处理文件是一项重要技能。本文将探讨几种优化文件处理的方法，包括使用with语句、…- 10
- 0
-
系统稳定性保障 – 字节跳动混沌工程故障演练实践总结
什么是混沌工程 在生产环境中实际运行分布式系统，难免会有各种不可预料的突发事件发生。同时，云原生的发展，不断推进着微服务的进一步解耦，海量的数据与用户规模也带来了基础设施的大规模分布式演进。分布式系统天生有着各种相互依赖，可以出错的地方数不胜数，处理不好就会导致业务受损，或者是其他各种无法预期的异常行为。 在复杂的分布式系统中，无法阻止这些故障的发生，我们应该致力于在这些异常行为被触发之前，尽可能…- 50
- 0
-
可观测性(Observability) – 监控和可观测性区别
文章目录 Toggle 监控定义如何使用监控监控的缺陷可观测性可观测性的背景可观测性的理解可观测性的意义使用场景可观测性的要求收集数据metriclogtraceprofile接入简单/无侵入式关联数据关联哪些数据关联数据的意义如何关联数据标准化/结构化数据(metric/log/trace等)空间上的关联时间上的关联设计模型仪表板展示场景覆盖全面可观测性构建的扩展观测性分析平台业务画像智能化、定…- 6
- 0
-
故障复盘 – 复盘优势与局限
复盘的优势主要包括： 经验提炼：复盘可以帮助个体或团队深入剖析过去的行为和决策过程，提取有效的方法论和经验教训，避免重复犯同样的错误，同时也巩固和传播成功的实践经验。 技能提升：对于股票交易或其他需要技能和判断力的活动而言，复盘是提升专业技能和盘感的有效手段，投资者可以通过复盘分析市场走势、个股表现以及自己买卖决策的合理性，从而提高投资水平。 风险控制：复盘有助于识别潜在的风险点和失误之处，通过提…- 2
- 0
-
运维工具 – 异常数据分析实践，10+个数据分析必会的数据模型
给大家整理了20种常用的分析模型 【注】资料、数据、代码、交流，文末获取。 文章目录 Toggle 1、5W2H分析2、3W黄金圈法则3、金字塔原理4、PEST5、SCQA模型6、RFM模型7、AARRR模型8、KANO模型9、波士顿矩阵10、A/B测试11、SWOT分析12、STP13、4P营销理论14、马斯洛需求层次理论15、波特五力竞争模型16、数据分析六步法17、PDCA循环18、AISA…- 1
- 0
-
运维工具 – 唯品会Dragonfly日志系统的Elasticsearch实践
文章目录 Toggle 开篇-唯品会日志系统初探Elasticsearch简介硬件配置日志索引管理1. 索引预创建2. 替补索引3. Force Merge4. 冷热分离5. 日志归档日志写入降级策略结语 开篇-唯品会日志系统初探 唯品会日志系统，承接了公司上千个应用的日志，提供了日志快速查询、统计、告警等基础服务，是保障公司技术体系正常运行必不可缺的重要系统之一。日均接入应用日志600亿条，压缩…- 45
- 0
-
IT运维治理 – 美团点评数据库智能运维探索与实践
讲师介绍： 赵应钢，曾就职于百度、新浪、去哪儿网等，10年数据库自动化运维开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。现为美团点评运维研究员，DBA团队(北京)负责人，负责MySQL、KV服务的平台建设和技术保障工作。 演讲大纲： ● 数据库平台的演变; ● 现状和面临的挑战; ● 从自动化到智能化; 文章摘要： 传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用…- 14
- 0
-
经验教训 – 2022.08.02 微博为何总是宕机
8月3日早晨，“微博崩了”话题登上热搜榜，话题阅读量高达4.7亿，讨论量也达到了4.1万。不少网友表示虽然平时天天骂微博，但真和微博失联了几个小时，感觉和世界脱节了一样。没想到这年头竟然能在微博热搜上看到 “微博崩了”这个词条。 微博回应宕机原因 据@微博客服 消息，8月2日晚22时06分起，由于自动扩容系统故障，导致北京永丰等地机房的宽带容量超限，影响了部分省份移动端用户访问，期间PC端用户可正…- 3
- 0
-
服务稳定性保障的五大误解
在线服务的稳定性保障一直是运维和技术部门的核心工作之一。但时至今日，这个方向实际仍然有很多基本的概念都没有对齐。 今天这篇文章就罗列下那些混淆不清的概念，期望有一天大家沟通时不是鸡同鸭讲，各说各话。 文章目录 Toggle 误解一：服务可用性误解二：故障误解三：根本原因误解四：根因定位误解五：业务监控总结 误解一：服务可用性 听过很多技术分享，看过很多平台的承诺，上来都是讲我们的服务稳定性99.9…- 2
- 0
-
2023.11.12 阿里云的史诗级故障 故障时长185.76分钟，怎么赔付？
前言2024年还有一个月多一点即将落幕，距离阿里云11.12超级大故障已有13天的时间（传闻故障赔偿近1亿)。24号收到了来自阿里云的一则赔偿短信（详见下文），赔偿对象为视频点播服务。 然而，尽管阿里云已经开始采取补偿行动，对于受到影响的用户而言，恢复信心可能需要更多时间。故障事件引起的不便和对服务可靠性的担忧，可能需要云服务商通过更强有力的行动和更有效的沟通，来重新赢得用户的信任和支持。 故障赔…- 13
- 0
-
HIVE SQL：工作中常用HSQL语句大全 二
1、 hive书写顺序 — 1）hive书写顺序 select ……from ……where ……group by……having……order by……limit — 2）sql执行顺序（having –过滤分组） from ……where ……group by ……having ……select ……order by……limit 2…- 1
- 0
-
Flink SQL – 唯品会flink实践与优化
文章目录 Toggle 一 、发展概览二、Flink 容器化实践三、Flink SQL 平台化建设四、应用案例五、未来规划 一 、发展概览 平台支持公司内部所有部门的实时计算应用。主要的业务包括实时大屏、推荐、实验平台、实时监控和实时数据清洗等。 1.1 集群规模 平台现有异地双机房双集群，具有 2000 多的物理机节点，利用 k8s 的 namespaces，labels 和 taints 等，…- 2
- 0
-
Flink SQL 抖音实时数仓保障及治理实践与优化
文章目录 Toggle 一、实时数仓场景介绍二、实时数仓场景初探三、典型场景实践四、未来规划 一、实时数仓场景介绍 为了数据湖更好的落地，我们在落地之前与业务做了一些深入的沟通，并根据不同业务的特点主要分为了三个场景： 1）场景一典型的业务主要是短视频和直播，它的数据量级一般都比较大，例如大流量的日志数据，其计算周期一般是自然的天、小时或者分钟级别的，实时性的要求一般是五分钟内，主要诉求是批流的复…- 39
- 0
-
数字化运维 – PYTHON 日常数据分析 – EXCEL使用回归分析预测未来值案例
文章目录 Toggle 使用回归分析预测未来值举一反三 使用回归方程计算预测值 使用回归分析预测未来值 回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。一般来说，通过回归分析我…- 0
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×