-
Flink SQL – 字节跳动Flink实践与优化
本文由 Apache Flink Committer，字节跳动架构研发工程师李本超分享，以四个章节来介绍 Flink 在字节的应用实战。 内容如下： 整体介绍 实践优化 流批一体 未来规划 一、整体介绍 文章目录 Toggle 2018 年 12 月 Blink 宣布开源，经历了约一年的时间 Flink 1.9 于 2019 年 8 月 22 发布。在 Flink 1.9 发布之前字节跳动内部基于…- 154
- 0
-
Flink SQL – 如何写出简单高效的 Flink SQL实战
一、Flink SQL InsightFlink 作为流批一体计算引擎，给大家提供了统一的 API，统一的算子描述，以及统一的调度。但 Flink 算子的底层仍有一些细微的差别。对于一个批算子而言，它的输入是一个有限数据集。批算子会基于完整数据集进行计算，计算过程中如果内存装不下，数据会 Spill 到磁盘。对于流算子而言，它的输入是一个无限数据集。与批算子不同，流算子不能在收集到所有输入数据之后…- 28
- 0
-
IT服务管理 – ITIL培训- 变更管理规范与原则
70%+生产故障都来源于变更、发布，生产环境离不开它，效率与质量如何平衡就需要流程与工具相结合进行严格管控；有效的业务监控与业务验收能降低60%+故障 变更管理活动 变更管理活动 – 记录变更单 变更管理活动 – 处理人接收 变更管理活动 – 变更定义风险等级 变更管理活动 – 变更审核 变更管理活动 – 变更通知 变更管理活动 R…- 47
- 0
-
【运维工具】Flink SQL 实践10 用 cumulate window 计算累计指标
文章目录 Toggle 1.序篇2.应用场景介绍3.预期的效果4.解决方案介绍4.1.flink 1.13 之前4.2.flink 1.13 及之后4.3.cumulate window 原理解析4.4.cumulate window 怎么解决 tumble window + early-fire 的问题5.总结 1.序篇 源码公众号后台回复1.13.2 cumulate window 的奇妙解析…- 21
- 0
-
【运维工具】Flink SQL 实践5 自定义 protobuf format
文章目录 Toggle 1.序篇-本文结构2.背景篇-为啥需要 protobuf format3.目标篇-protobuf format 预期效果4.难点剖析篇-目前有哪些实现5.实现篇-实现的过程5.1.flink format 工作原理5.2.flink protobuf format 实现6.总结与展望篇6.1.总结6.2.展望 1.序篇-本文结构 protobuf 作为目前各大公…- 16
- 0
-
故障治理 – 稳定性保障6步走：高可用系统大促作战指南！
一、前言 年年有大促，大家对于大促稳定性保障这个词都不陌生，业务场景尽管各不相同，“套路”往往殊路同归，全链路压测、容量评估、限流、紧急预案等，来来去去总少不了那么几板斧。 跳出这些“套路”，回到问题的本质，我们为什么要按照这些策略来做? 除了口口相传的历史经验，我们还能做些什么?又有什么理论依据? 二、怎样的系统算是稳定? 首先回答另一个问题，怎样的系统算是稳定的? Google SRE中(SR…- 121
- 0
-
经验教训 – 2020.02.23 微盟花23亿买下一个惨痛教训
2月23日晚7点左右，微盟多个小程序显示出现未知错误，多次刷新仍未恢复正常。 基于微盟的商家小程序也都随之宕机，一度无法打开。从23日晚间起，宕机超过24小时，线上生意基本停摆的商家不在少数。 对此，官方一开始回应称设备物理故障，正在紧急抢修和修复。 2月25日，微盟集团(2013.HK)发布关于系统故障的公告，称SaaS(软件即服务)业务数据遭到员工人为破坏，并表示已向上海警方报…- 167
- 0
-
PYTHON基础技能 – Python异常捕获全解析：从try-except到finally的22个关键要点
今天，我们就来聊聊Python中的“安全网”——异常处理机制，让你的代码健壮得像超人一样！ 文章目录 Toggle 1. 异常处理：编程的必备生存技能2. 多重捕获：一网打尽各种错误3. 捕获所有异常：使用Exception作为通配符4. finally：无论风雨，最后的温柔5. 没有异常的except：小心陷阱！6. 自定义异常：让错误个性化7. with语句与上下文管理器：优雅的资源管理8. …- 14
- 0
-
PYTHON基础技能 – Python集合应用：10+个集合操作的实用案例
集合（Set）在Python中是一个无序且不重复元素的序列，它非常适合用于数据去重和集合运算。今天，我们将通过10个实用案例，一步步探索集合的奥秘，让Python编程更加得心应手。 文章目录 Toggle 案例1：创建集合和基本操作案例2：集合的并集案例3：交集案例4：差集案例5：对称差集案例6：集合的子集和超集案例7：集合推导式案例8：集合与字符串案例9：集合与迭代案例10：实际场景应用：数据清…- 8
- 0
-
PYTHON基础技能 – 23个Python在自然语言处理中的应用实例
文章目录 Toggle 1. 文本清洗2. 分词3. 去除停用词4. 词干提取5. 词形还原6. 词频统计7. 情感分析8. 词向量化9. 主题建模10. 文本分类11. 命名实体识别（NER）12. 机器翻译13. 文本摘要14. 词云生成15. 问答系统16. 信息抽取17. 关系抽取18. 文本聚类19. 事件检测20. 词性标注21. 依存句法分析22. 语法树构建23. 词性转换实战案例…- 23
- 0
-
PYTHON基础技能 – 13 种常用文本匹配模式
文本匹配是编程中非常常见的任务，特别是在处理大量数据时。Python 提供了多种强大的工具来帮助我们实现高效的文本匹配。本文将详细介绍 13 种常用的文本匹配模式，从简单的字符串方法到复杂的正则表达式，逐步引导你掌握这些强大的工具。 文章目录 Toggle 1. 使用 in 关键字2. 使用 str.find()3. 使用 str.index()4. 使用 str.startswith()5. 使…- 197
- 0
-
数字化运营基础技能 – KMeans聚类分析实践案例
K均值聚类既然是聚类嘛，那肯定就用最经典也比较简单的K均值聚类方法。 K-Means算法是一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。 也是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离聚类中心点最近均值的算法。 原理就不多说了，反正也都是用sklearn的包实现。 导入库 import matplotlib.pypl…- 31
- 0
-
故障复盘 – 复盘工具 SMART原则复盘法
SMART原则（S=Specific、M=Measurable、A=Attainable、R=Relevant、T=Time-bound）是为了利于员工更加明确高效地工作，更是为了管理者将来对员工实施绩效考核提供了考核目标和考核标准，使考核更加科学化、规范化，更能保证考核的公正、公开与公平。 绩效指标必须是具体的（Specific） 绩效指标必须是可以衡量的（Measurable） 绩效指标必须是…- 44
- 0
-
中国数据智能产业研究
技能收集： 毕业设计 基于网络爬虫的新闻采集和订阅系统的设计与实现 https://github.com/BillBillBillBill/NewsCrawler 基于LSTM网络与自注意力机制对中文评论进行细粒度情感分析 https://github.com/viewlei/fsauor2018 基于Python的南京二手房数据采集及可视化分析 https://github.com/zqm23…- 62
- 0
-
IT服务管理 -携程监控思路与存储升级 ClickHouse 实践经验
大伟，携程软件技术专家，关注企业级监控、日志、可观测性领域。 监控领域有三大块，分别是 Metrics，Tracing，Logging。这三者作为 IT 可观测性数据的三剑客，基本可以满足各类监控、告警、分析、问题排查等需求。 Logs：我们对于 Logs 是更加宽泛的定义，即记录事物变化的载体，包括常见的访问日志、交易日志、内核日志等文本型以及 GPS、音视频等泛型数据。日志在调用链场景结构化后…- 103
- 0
-
IT服务治理 – 唯品会实现电商平台从业务到架构的治理体系
文章目录 Toggle VIP不同阶段发展历程的商业模式演进唯品会系统架构演变历程电商运营平台关键设计架构设计和治理 VIP不同阶段发展历程的商业模式演进 唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存消化完了，现在特卖，公司的重点在发生变化。目前电商被分为了分成了两类，一是平台级公司，包…- 76
- 0
-
实践案例 – 美团点评实时计算平台的 Flink 监控与告警实践
文章目录 Toggle 为什么我们关注指标监控指标：衡量和描述对象的方式监控：对指标进行监测和控制1. 监控报警的链路1.1 监控报警链路1.2 指标展示：Grafana2. 常用的监控项2.1 常用的指标■ 系统指标■ 自定义指标2.2 如何确定哪些指标需要关注？3. 指标的聚合方式4. 指标监控的应用4.1 作业异常报警4.2 指标大盘4.3 自动化运维Q&A 为什么我们关注指标监控 …- 79
- 0
-
思维认知 – SRE 生产安全意识 之 海恩法则
Heinrich’s Law 被一些BBS领域的专家称为 Behavior-based safety 理论的基石。 海恩法则（hain’s law），是德国飞机涡轮机的发明者帕布斯·海恩提出的一个在航空界关于飞行安全的法则。 1931年，Heinrich 在他的著作《Industrial Accident Prevention, A Scientific Approach》（论科学方法…- 83
- 0
-
经验教训 – Google 20年的11条运维经验教训
时光荏苒，Google 的用户为搜索而来，为免费的 GB Gmail 而去，我们的机群和网络也随之发展壮大。如今，就计算能力而言，我们的规模是 20 年前的 1000 多倍；就网络而言，我们的规模是 20 年前的 10000 多倍，而且我们在每台服务器上花费的精力比以前少得多，同时我们的服务堆栈也具有更好的可靠性。我们的工具已经从一系列 Python 脚本发展到集成的服务生态系统，再到默认提供可靠…- 125
- 0
-
Python 日常数据分析 – EXCEL实战- 一个工作表合并为多个
from pathlib import Path import xlwings as xw src_file = Path('文件.xlsx') des_folder = Path('目录') if not des_folder.exists(): des_folder.mkdir(parents=True) app = xw.App(visible=Fal…- 11
- 0
-
Flink SQL – 问题剖析及解决实践
文章目录 Toggle 1.简介2.Flink基本概念2.1 流(Stream)2.2 状态(State)2.3 时间语义(Time)2.4 Watermark2.5 API层3.Flink实时计算常见问题分析3.1 数据乱序问题分析3.2 Flink大状态场景及问题分析3.3 数据倾斜问题4.实时计算常见问题的解决方案4.1 数据乱序场景的处理4.2.1 DataStream API处理乱序4.…- 94
- 0
-
监控治理 – 监控报警优化经验总结
当一个中大型互联网公司，每天由监控系统发出大量报警，而故障却始终无法及时发现的时候，如何能够快速找到问题的根源，如何改进，以及如何度量改进的效果，这一系列的问题就会摆在我们面前，本文基于作者在多家公司的监控治理经验，从评价体系角度出发，整理了十多个相关的指标，从而能够对监控系统以及各个业务线进行有效度量。 评价体系分为三类 第一类是效果指标，用于概要性说明监控治理的结果，通过召回率和发现时长来进行…- 104
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×