-
实践案例 – 苏宁 AI 监控运维保障建设实践
文章目录 Toggle 建设背景大规模时间序列分析与根因定位业务背景异常检测平台能力异常检测指标预测多维度分析自定义仪表盘时序预测方法1 DeepAR2 MQ-RNN3 MQ-CNN[2]集成方法根因定位运维知识图谱背景构建流程1. 样本构建2. 因果发现3. 因果推理大规模海量日志分析的 818 保障阶段一阶段二阶段三阶段四阶段五愿景 建设背景 近些年，苏宁一直基于云技术对外提供服务、产品、内容…- 166
- 0
-
实践案例 – vivo监控系统这样演进才稳妥
一、业务背景 当今时代处在信息大爆发的时代，信息借助互联网的潮流在全球自由的流动，产生了各式各样的平台系统和软件系统，越来越多的业务也会导致系统的复杂性。 当核心业务出现了问题影响用户体验，开发人员没有及时发现，发现问题时已经为时已晚，又或者当服务器的CPU持续增高，磁盘空间被打满等，需要运维人员及时发现并处理，这就需要一套有效的监控系统对其进行监控和预警。 如何对这些业务和服务器进行监控和维护是…- 80
- 0
-
故障最佳实践经验 – 一个简单代码错拼、误删 17 个生产级数据库，宕机10小时
微软 Azure DevOps 是一套应用程序生命周期服务，提供了从代码管理到持续集成、持续交付、测试、监控等一系列功能。然而，就在 5 月 24 日，这个服务在巴西南部区域发生了长达 10 小时的宕机，影响了数千名客户。事后调查发现，竟然是因为一个简单的拼写错误，导致了 17 个生产数据库被误删。 事件背景起源于，Azure DevOps 工程师有时需要对生产数据库的快照进行保存，以调查报告的问…- 33
- 0
-
Python 日常数据分析 – EXCEL实战- 批量拆分列
from pathlib import Path import xlwings as xw import pandas as pd src_folder = Path('文件夹') file_list = list(src_folder.glob('*.xlsx')) app = xw.App(visible=False, add_book=False) f…- 2
- 0
-
人工智能 – 摘录互联网TOP10好用AI办公软件盘点
当今社会，人工智能技术的快速发展正在改变着我们的生活方式。在办公场景中，人工智能技术也被广泛应用。越来越多的AI办公软件涌现出来，为我们提供了更加高效便捷的工作方式。从智能办公到自动化流程，这些AI办公软件正在以惊人的速度改变着我们的办公方式。 在本文中，我们将盘点多款AI办公软件，探索它们的特点和优势，带你领略AI办公的魅力。 本文提及的 AI办公软件列表：ChatGPT、boardmix AI…- 56
- 0
-
Flink SQL – 字节跳动Flink实践与优化
本文由 Apache Flink Committer，字节跳动架构研发工程师李本超分享，以四个章节来介绍 Flink 在字节的应用实战。 内容如下： 整体介绍 实践优化 流批一体 未来规划 一、整体介绍 文章目录 Toggle 2018 年 12 月 Blink 宣布开源，经历了约一年的时间 Flink 1.9 于 2019 年 8 月 22 发布。在 Flink 1.9 发布之前字节跳动内部基于…- 110
- 0
-
Flink SQL – 如何写出简单高效的 Flink SQL实战
一、Flink SQL InsightFlink 作为流批一体计算引擎，给大家提供了统一的 API，统一的算子描述，以及统一的调度。但 Flink 算子的底层仍有一些细微的差别。对于一个批算子而言，它的输入是一个有限数据集。批算子会基于完整数据集进行计算，计算过程中如果内存装不下，数据会 Spill 到磁盘。对于流算子而言，它的输入是一个无限数据集。与批算子不同，流算子不能在收集到所有输入数据之后…- 9
- 0
-
IT数字化转型 – 华为数字化转型的目标、蓝图和愿景
摘录于“华为数据之道” 一、华为数字化转型愿景 2016年下半年，华为数字化转型规划团队历时3个月，从“5看”方法入手，瞄准公司业务战略，对其进行解读，从中识别出了公司对数字化转型的诉求（见图1）。 图1:业务战略解读及对数字化转型的诉求 数字化转型愿景需与业务战略匹配。比如，规划团队针对“收入增加一倍，人员不显著增长”的目标，明确地将支撑公司业务增长、提升业务效率的要点体现在愿景中。再比如，“多…- 24
- 0
-
【运维工具】Flink SQL 实践9 window tvf tumble window 的奇思妙解
Flink 1.13 是一个社区大版本，解决的 issue 在 1000 个以上，通过上图我们可以看到，解决的问题大部分是关于 Table/SQL 模块，一共 400 多个 issue 占了总体的 37% 左右。这些 issue 主要围绕了 5 个 FLIP 展开，在本文中我们也会根据这 5 个方面进行介绍，它们分别是： img 下面我们对这些 FLIP 进行详细解读。 文章目录 Toggle 二…- 47
- 0
-
【运维工具】Flink SQL 实践2 – 自定义 redis 数据维表
文章目录 Toggle 1.Flink sql redis2.背景篇-为啥需要 redis 维表2.1.啥是维表？事实表？2.2.为啥需要 redis 维表？3.目标篇-做 redis 维表预期效果是什么4.难点剖析篇-目前有哪些实现5.维表实现篇-维表实现的过程5.1.flink 维表原理5.2.flink 维表实现方案5.2.1.复用 bahir connector5.2.2.复用 forma…- 62
- 0
-
故障治理 – 从行业巨头重大事故，炼成系统稳定性治理最全方略(系统稳定性保障)
系统的稳定性，主要决定于整体的系统架构设计，然而也不可忽略编程的细节，正所谓“千里之堤，溃于蚁穴”，一旦考虑不周，看似无关紧要的代码片段可能会带来整体软件系统的崩溃。 稳定性的工作，一般都是水下的工作。就像冰山，真正强大的系统下，要有更加强大的底层支撑，水面下的问题才是真正需要解决的问题。当然不一样的工作内容，水下的工作是不同的，对于盖楼来说，可能就是地基的深度。对于我们写业务逻辑来说，水下的工作…- 296
- 0
-
经验教训 – 狡兔务必三窟：阿里云香港可用区C宕机血的教训与反思
自12月18日阿里云香港可用区C因为机房水冷机组出现故障，导致一次阿里云历史上最长的宕机后，官方终于在圣诞节那天，出具了一份非常翔实的调查报告《关于阿里云香港Region可用区C服务中断事件的说明》，称得上是实事求是面对问题了。 我从业十五年，参与建设过4000个节点的私有云，也搞过机房装修和上架，还有一点运维经验，算是有相关经验，跟大家讨论一下以后自家单位的容灾应该怎么做吧。 大家先看这次阿里云…- 101
- 0
-
PYTHON基础技能 – Python异常捕获全解析：从try-except到finally的22个关键要点
今天，我们就来聊聊Python中的“安全网”——异常处理机制，让你的代码健壮得像超人一样！ 文章目录 Toggle 1. 异常处理：编程的必备生存技能2. 多重捕获：一网打尽各种错误3. 捕获所有异常：使用Exception作为通配符4. finally：无论风雨，最后的温柔5. 没有异常的except：小心陷阱！6. 自定义异常：让错误个性化7. with语句与上下文管理器：优雅的资源管理8. …- 5
- 0
-
PYTHON基础技能 – Python集合应用：10+个集合操作的实用案例
集合（Set）在Python中是一个无序且不重复元素的序列，它非常适合用于数据去重和集合运算。今天，我们将通过10个实用案例，一步步探索集合的奥秘，让Python编程更加得心应手。 文章目录 Toggle 案例1：创建集合和基本操作案例2：集合的并集案例3：交集案例4：差集案例5：对称差集案例6：集合的子集和超集案例7：集合推导式案例8：集合与字符串案例9：集合与迭代案例10：实际场景应用：数据清…- 2
- 0
-
PYTHON基础技能 – 23个Python在自然语言处理中的应用实例
文章目录 Toggle 1. 文本清洗2. 分词3. 去除停用词4. 词干提取5. 词形还原6. 词频统计7. 情感分析8. 词向量化9. 主题建模10. 文本分类11. 命名实体识别（NER）12. 机器翻译13. 文本摘要14. 词云生成15. 问答系统16. 信息抽取17. 关系抽取18. 文本聚类19. 事件检测20. 词性标注21. 依存句法分析22. 语法树构建23. 词性转换实战案例…- 11
- 0
-
PYTHON基础技能 – 13 种常用文本匹配模式
文本匹配是编程中非常常见的任务，特别是在处理大量数据时。Python 提供了多种强大的工具来帮助我们实现高效的文本匹配。本文将详细介绍 13 种常用的文本匹配模式，从简单的字符串方法到复杂的正则表达式，逐步引导你掌握这些强大的工具。 文章目录 Toggle 1. 使用 in 关键字2. 使用 str.find()3. 使用 str.index()4. 使用 str.startswith()5. 使…- 111
- 0
-
数字化运营基础技能 – KMeans聚类分析实践案例
K均值聚类既然是聚类嘛，那肯定就用最经典也比较简单的K均值聚类方法。 K-Means算法是一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。 也是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离聚类中心点最近均值的算法。 原理就不多说了，反正也都是用sklearn的包实现。 导入库 import matplotlib.pypl…- 15
- 0
-
故障复盘 – 复盘工具 SMART原则复盘法
SMART原则（S=Specific、M=Measurable、A=Attainable、R=Relevant、T=Time-bound）是为了利于员工更加明确高效地工作，更是为了管理者将来对员工实施绩效考核提供了考核目标和考核标准，使考核更加科学化、规范化，更能保证考核的公正、公开与公平。 绩效指标必须是具体的（Specific） 绩效指标必须是可以衡量的（Measurable） 绩效指标必须是…- 23
- 0
-
中国数据智能产业研究
技能收集： 毕业设计 基于网络爬虫的新闻采集和订阅系统的设计与实现 https://github.com/BillBillBillBill/NewsCrawler 基于LSTM网络与自注意力机制对中文评论进行细粒度情感分析 https://github.com/viewlei/fsauor2018 基于Python的南京二手房数据采集及可视化分析 https://github.com/zqm23…- 31
- 0
-
IT服务管理 -携程监控思路与存储升级 ClickHouse 实践经验
大伟，携程软件技术专家，关注企业级监控、日志、可观测性领域。 监控领域有三大块，分别是 Metrics，Tracing，Logging。这三者作为 IT 可观测性数据的三剑客，基本可以满足各类监控、告警、分析、问题排查等需求。 Logs：我们对于 Logs 是更加宽泛的定义，即记录事物变化的载体，包括常见的访问日志、交易日志、内核日志等文本型以及 GPS、音视频等泛型数据。日志在调用链场景结构化后…- 39
- 0
-
IT服务治理 – 唯品会实现电商平台从业务到架构的治理体系
文章目录 Toggle VIP不同阶段发展历程的商业模式演进唯品会系统架构演变历程电商运营平台关键设计架构设计和治理 VIP不同阶段发展历程的商业模式演进 唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存消化完了，现在特卖，公司的重点在发生变化。目前电商被分为了分成了两类，一是平台级公司，包…- 38
- 0
-
实践案例 – 美团点评实时计算平台的 Flink 监控与告警实践
文章目录 Toggle 为什么我们关注指标监控指标：衡量和描述对象的方式监控：对指标进行监测和控制1. 监控报警的链路1.1 监控报警链路1.2 指标展示：Grafana2. 常用的监控项2.1 常用的指标■ 系统指标■ 自定义指标2.2 如何确定哪些指标需要关注？3. 指标的聚合方式4. 指标监控的应用4.1 作业异常报警4.2 指标大盘4.3 自动化运维Q&A 为什么我们关注指标监控 …- 22
- 0
-
思维认知 – SRE 生产安全意识 之 海恩法则
Heinrich’s Law 被一些BBS领域的专家称为 Behavior-based safety 理论的基石。 海恩法则（hain’s law），是德国飞机涡轮机的发明者帕布斯·海恩提出的一个在航空界关于飞行安全的法则。 1931年，Heinrich 在他的著作《Industrial Accident Prevention, A Scientific Approach》（论科学方法…- 35
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×