-
【运维工具】Flink SQL 基础实践 – SQL Client
https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/d/ud/372169841042.mp4 文章目录 Toggle 前言如何使用场景示例准备数据安装Flink和依赖启动Flink SQL client执行SQL提交作业数据类型常见错误找不到Hadoop相关依赖SQL client 提交任务的时候连接拒绝补充内容 前言 Flink提供了S…- 2
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 1
- 0
-
故障治理 – 线上故障分析与故障治理指引
文章目录 Toggle 1 生产故障分级规范概要1.1 开篇1.2 事故等级定义1.2.1 故障等级定义1.2.2 故障报告模板示例1.2.3 故障响应处理机制1.2.4 思考2 生产故障原因和分类2.1 故障分类2.2 bug是可以完全避免的么？-了解2.3 经典故障示例-了解2.4 混沌工程简介3 生产故障定位和解决流程3.1 影响服务质量的因素3.1.1我们常常面对如下的业务场景3.1.2 …- 16
- 0
-
PYTHON基础技能 – 用foreach风格遍历的8个高效Python技巧
今天，我们要一起探索那些让遍历数据变得既高效又优雅的秘密武器。想象一下，像高手一样滑动你的指尖，数据就乖乖排队展示，这就是Python的魔力！下面，让我们用foreach的思维方式，深入Python的五个神奇技巧，让你的代码不仅跑得快，还要美如画。 文章目录 Toggle 1. 列表推导式：简洁之美2. 生成器表达式：内存友好大使3. enumerate：编号神器4. zip：并行漫步5. ite…- 2
- 0
-
【运维工具】Flink SQL 实践6 flink sql 约会 calcite
文章目录 Toggle 1.序篇-本文结构2.背景篇-一条 flink sql 的执行过程2.1.先发挥自己的想象力2.2.看看 flink 的实现3.简介篇-calcite 在 flink sql 中的角色3.1.calcite 是啥？3.2.flink sql 为什么选择 calcite？4.案例篇-calcite 的能力、案例4.1.先用用 calcite4.2.关系代数4.2.1.常用关系…- 5
- 0
-
PYTHON基础技能 – Python自动化办公的14个实用脚本
文章目录 Toggle 引言1. 文本文件批量重命名2. Excel数据清洗3. PDF合并器4. 图片压缩工具5. 文本内容替换6. 数据抓取与解析7. 数据导出到CSV8. 邮件自动发送9. 文件夹监控与同步10. 数据库操作11. 日志记录12. 数据可视化13. PDF拆分器14. 实战案例：自动化报表生成 引言 在日常工作中，重复性的任务不仅耗时，还容易出错。Python凭借其简洁易学的…- 3
- 0
-
系统稳定性保障 – 迄今见过最易懂的混沌工程落地实践
一、背景 从 2010 年 Netflix 上线 Chaos Mokey 的第一个版本到现在，虽然混沌工程发展已历时十年，但其实只在少数大厂里面有较成熟的落地，对绝大部分研发同学来说，混沌工程还是一个比较陌生的领域。 分布式和微服务化已经成为主流的系统架构设计方案，大规模分布式系统的可用性保障能力越来越成为关注的重点。混沌工程也开始如雨后春笋般在各大企业内部萌芽生长，但大部分还处于初期的探索阶段，…- 4
- 0
-
系统稳定性保障 – 美团AIOps在事件管理的硬核实践
文中所提及的事件并不仅限于故障，还包括运维工作中的告警、异常等。 “An incident is an unplanned interruption to an IT Service or a reduction in the Quality of an IT Service.” Source: Incident Management -ITIL 一、背景 在《AIOps在…- 9
- 0
-
故障复盘 – 复盘步骤与经验方法
复盘是一种回顾和分析过去行为、决策和结果的过程，目的是从过去的经历中学习并做出改进。 故障复盘在实践中可能会遇到以下痛点： 数据收集不完整：故障发生时，如果没有完整的日志记录、监控数据或其他关键信息，很难准确地追溯故障原因。 参与人员配合度不高：复盘需要涉及各个相关部门，如果团队间协作不畅或不愿意承担责任，可能导致复盘无法深入。 事后诸葛亮现象：复盘时容易忽略当时决策的局限性，过于理想化地看待问题…- 5
- 0
-
故障复盘 – 复盘工具 AAR（After Action Review/事后回顾）
AAR最早是美国陆军所进行的一项任务后的检视方法，对美国陆军来说，使用这种方法的好处是当新的理解被产生时，可以马上响应到行动上，他们使用AAR解决了许多问题。美国陆军使用AAR的成功因素包括：结构化、有目地的对谈；打破层级的藩篱；能迅速反映至行动中；将学习的成果记录下来等。在美国陆军的成功使用经验之后，Analog Devices公司T&IPD (Transportation & …- 12
- 0
-
数据治理 – XX业务数据分析体系的架构与实践
导读：讲述在业务快速迭代发展过程中，为了让大数据更好地赋能业务，高效的为用户提供有业务价值的数据产品和服务，百度爱番番的数据团队构建实时和离线大数据基础平台的心路历程，包括如何应对业务、技术、组织等方面的挑战和解决实际痛点过程中的思考与实践。 全文9911字，预计阅读时间24分钟。 文章目录 Toggle 一、前言1.1 名词解释三、实践及经验分享3.1 数据架构3.1.1 什么是数据架构3.1.…- 2
- 0
-
ITIL 实践经验 – 流程建设都是遵循由轻到重，不断结合业务需求与技术痛点持续运营优化
在 ITSM 领域，ITIL一直是事实上的标准。 从80年代中期 ITIL的诞生，到 v2、v3，以及现在的 ITIL 4，流程一直是”门面担当“。其中事件流程的“快”、问题流程的“究”、配置流程的“准”、变更流程的“控”等，这些定义明确的 ITIL流程，一直是ITSM领域的鲜明符号。 但随着ABC(AI、Bigdata、Cloud）等为典型的新技术的兴起和落地应用，越发强调轻量、敏捷，ITIL厚…- 2
- 0
-
运维工具 – 快手基于 Flink 构建实时数仓场景化实践(监控实施思路)
本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》，内容包括： 快手实时计算场景快手实时数仓架构及保障措施快手场景问题及解决方案未来规划 GitHub 地址https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~ 文章目录 Toggle 一、快手实时计算场景…- 2
- 0
-
经验教训 – 2022.7.21 从滴滴被罚80亿谈起
国家网信办依据《网络安全法》、《数据安全法》和《个人信息保护法》以及《行政处罚法》等法律法规的规定。对滴滴开出了 80.26亿 的天价罚单！80.26亿啊朋友们。1薇、1冰、1爽在 “ 1滴 ” 面前，都相形见绌了。这一锤定音，距离滴滴赴美上市，已足足隔了一年之久。很多人都已经忘记了，滴滴在一年以前，是因为什么被立案调查的。这80.26亿的天价罚单，在很多人看来不可思议。这么一笔巨款，甚至对于许多…- 9
- 0
-
经验教训 – B站崩，如何谋划稳定性保障SRE升级思路？比较全面优化思路
随着B站近几年的快速发展，业务规模越来越大，迭代速度越来越快，系统运行复杂度也越来越高。线上每天都会发生各种各样的故障，且发生的场景越来越刁钻。为了应对这种情况，保障业务在任何时刻都能将稳定性维持在一个高基线之上，B站专门成立了SRE体系团队，在提升业务稳定性领域进行了全方位、体系化的积极探索，从理论性支撑和能力化建设进行着手，从故障应急响应、事件运营、容灾演练、意识形态等多方面进行稳定性运营体系…- 6
- 0
-
2023.11.12 阿里云的史诗级故障，故障原因曝光
2023年11月12日，双十一刚过，一大片阿里的产品都挂了，来了一波“史诗级”大翻车。 阿里云断网并不少见，但这种全面崩溃在历史上还是第一次，全国所有数据中心全军覆没，阿里所有产品全军覆没！ 阿里云官方的通知是： “2023年11月12日17:44起，阿里云产品控制台访问及API调用出现异常……20:12 北京、杭州等地域消息队列MQ已完成重启，其余地域逐步恢复中。” 在出问题的这接近两个多小时时…- 15
- 0
-
PYTHON 日常数据分析 – excel实战
excel 文件合并实战 import os,zipfile import pandas as pd zip_files = ['sales_data.zip','traffic_data.zip'] for file in zip_files: fz = zipfile.ZipFile(file) fz.extractall() def read…- 1
- 0
-
监控工具 – 阿里全链路监控系统鹰眼 （监控神器）
最新一代的阿里全链路监控系统鹰眼 3.0，同时将基础设施层、分布式应用层、业务逻辑层与客户端层进行了全链路跟踪；技术层面，鹰眼 3.0 日均处理万亿级别的分布式调用链数据，针对海量实时监控的痛点，对底层的流计算、多维时序指标与事件存储体系等进行了大量优化，同时引入了时序检测、根因分析、业务链路特征等技术，将问题发现与定位由被动转为主动。 注：本文整理自阿里巴巴技术专家周小帆在 ArchSummit…- 62
- 0
-
Flink SQL – 在快手的扩展和实践
Flink SQL 在快手 功能扩展 性能优化 稳定性提升 未来展望 FFA 2021 直播回放 & 演讲 PDF 下载 文章目录 Toggle 一、Flink SQL 在快手二、功能扩展2.1 Group Window Aggregate 扩展2.1.1 支持多维分析2.1.2 引入高阶窗口函数2.2 Window Table-valued Function 扩展2.2.1 丰富 Win…- 4
- 0
-
故障治理 – 了解华为的流程管理系统
前言： 任正非先生一直强调客户、流程与绩效是企业管理中最重要的三件事。事实上，华为导入咨询公司的一个重点就是“流程管理”。在过去的近20年中，华为通过以业务为导向的流程管理体系，大大提升了整体运营效率，取得了举世瞩目的成绩！ 华为公司提倡流程化的企业管理方式，任何业务活动都有明确的结构化流程来指导，流程建设把所有人从海量的、低价值的、简单重复的工作中解放出来。 首先，大家要明白流程是通过一系列可重…- 3
- 0
-
-
【运维工具】Flink SQL 实践8 flink sql tumble window 的奇妙解析之路
文章目录 Toggle 1.序篇-本文结构2.目标篇-本文能帮助大家了解 flink sql tumble window 什么？2.1.回顾上节的 flink sql 适用场景的结论3.概念篇-先聊聊常见的窗口聚合3.1.窗口竟然拖慢数据产出？3.2.常用的窗口4.实战篇-简单的 tumble window 案例和运行原理4.1.先看一个 datastream 窗口案例4.2.flink sql …- 7
- 0
-
【运维工具】 – Top 12 IT服务管理（ITSM）工具
IT服务管理已发展成为维持企业运转的关键功能。下述平台可以帮助您跟踪和完善服务工作流程。 很久以前，运行一个IT服务台只需要几台备用台式机、一条电话线和一种糟糕的幽默感。现在，信息化成为企业的支柱，这份工作也随着责任的增加而发展变化。如果持续停电导致部分业务关闭，许多企业将遭受重大打击。当计算机负责处理每个工作流程的每一步时，没有计算机也就意味着无法完成任何工作。这也使得IT服务台成为维持企业运转…- 14
- 0
-
经验教训 – 运维工程师 不得不看的日常经验2，帮你远离故障
确保变更可以回滚佛说：“每次创伤都是一次成熟”。这是运维人员的真实写照。从某种意义上讲，运维是一份不断犯错、不断积累经验的工作。以前没有经历的东西，总是不定期的给你痛击。所以请保护好变更的现场，使得变更有回头的机会。 小心破坏性的操作什么是破坏性的操作？比如：对 Oracle 而言，有truncate table_name，delete table_name，drop table_name。这些语…- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×