-
Hive Sql：工作中常用HSQL语句大全 一
文章目录 Toggle Hive Sql 大全hive的DDL语法对数据库的操作对数据表的操作对管理表(内部表)的操作对外部表操作对分区表的操作对分桶表操作修改表和删除表向hive表中加载数据hive表中数据导出hive的DQL查询语法单表查询Hive函数聚合函数关系运算数学运算逻辑运算数值运算条件函数日期函数字符串函数复合类型构建操作复杂类型访问操作复杂类型长度统计函数hive当中的latera…- 4
- 0
-
Flink SQL – 问题剖析及解决实践
文章目录 Toggle 1.简介2.Flink基本概念2.1 流(Stream)2.2 状态(State)2.3 时间语义(Time)2.4 Watermark2.5 API层3.Flink实时计算常见问题分析3.1 数据乱序问题分析3.2 Flink大状态场景及问题分析3.3 数据倾斜问题4.实时计算常见问题的解决方案4.1 数据乱序场景的处理4.2.1 DataStream API处理乱序4.…- 7
- 0
-
故障治理 – 京东科技之全链路故障诊断-智能运维实践
讲师介绍 张静，京东科技智能运维算法高级经理。硕士毕业于东北大学，持续深耕智能运维领域多年，带领团队致力于京东智能运维算法迭代，把智能算法能力落地京东线上横向业务场景，算法在监控、数据库、网络、资源调度等多个纵向场景取得突破，提升了产品和运维的技术竞争力。善于将实践中沉淀的技术与日常算法工作中积累的技术与创新总结成专利和IEEE论文，申请智能运维发明专利50余项，IEEE国际会议论文收录9篇。 分…- 1
- 0
-
经验教训 – 美媒：2022年IT行业经历太多重大挫折，有8点深刻教训
科技行业经历了许多重大挫折事件，比如埃隆·马斯克（Elon Musk）被迫接管推特、元宇宙仍未腾飞、谷歌关闭云游戏服务Stadia以及加密货币交易所FTX破产等。那么从这些挫折中，我们能够学到哪些教训？ 混乱成为社交媒体新常态 在过去几年里，Facebook、Instagram、YouTube和TikTok都曾卷入各种纠纷中，从政治争议到数据隐私等问题，但与推特最近2个月经历的事情相比，他们的各种…- 2
- 0
-
【运维工具】Flink SQL 实践13 维表 join 的性能优化之路（上）附源码
文章目录 Toggle 1.序篇2.背景及应用场景介绍3.来一个实战案例4.flink sql lookup join4.1.lookup join 定义4.2.上述案例解决方案4.3.关于维表使用的一些注意事项4.4.再说说维表常见的性能问题及优化思路4.5.lookup join 的具体性能优化方案4.6.基于 redis connector 的批量访问机制优化5.总结与展望 1.序篇 源码公…- 10
- 0
-
经验教训 – 网络安全经验经验，帮你降低损失风险
对于很多首席信息安全官来说，即将到来的2023年是一个很好的时机，可以反思他们在2022年里学到的经验和教训，以及如何将它们应用到未来。 动荡的2022年即将结束，在这一年，埃隆·马斯克收购了Twitter，俄乌冲突，许多员工重返办公室。人们还看到，一些安全主管因隐瞒数据泄露而被判入狱。 这些事件以及更多事件改变了业务格局，迫使首席信息安全官在不确定领域前行。Trustwave公司的首席信息官Ko…- 3
- 0
-
故障治理 – 线上故障分析与故障治理指引
文章目录 Toggle 1 生产故障分级规范概要1.1 开篇1.2 事故等级定义1.2.1 故障等级定义1.2.2 故障报告模板示例1.2.3 故障响应处理机制1.2.4 思考2 生产故障原因和分类2.1 故障分类2.2 bug是可以完全避免的么？-了解2.3 经典故障示例-了解2.4 混沌工程简介3 生产故障定位和解决流程3.1 影响服务质量的因素3.1.1我们常常面对如下的业务场景3.1.2 …- 6
- 0
-
CMDB是配置管理库它应该长得怎么样？数据资产体系如何建设？
一、认识数据资产 二、数据治理-方法论 三、CMDB平台建设 四、B站SRE资产平台建设之路 一、认识数据资产 1. 数据资产——企业IT价值 如图所示，未进行数据资产化建设时，数据可能呈现离散状态，数据生产和消费不统一，容易出现数据孤岛或零利益的情况。 建设数据资产化后，我们整合不同渠道数据，构造统一的数据源，或数据采集、存储、分析的流程链路，进而统一对应的数据结构、数据关系和消费出口。 运营数…- 31
- 0
-
稳定性保障 – 故障应急体系构建及应用实践（1）
蚂蚁集团SRE技术专家刘凯宁在演讲中介绍了蚂蚁故障应急全流程体系，包括故障体系、应急体系、故障全生命周期及AI助力等方面，为保障线上系统稳定提供了全面的解决方案。 1. 蚂蚁故障体系 – 故障定义与等级：故障指服务中断、品质下降或用户体验受影响的情况，不包括用户方环境或自身操作问题。故障等级衡量影响度，数字越小级别越高，涵盖客诉量、资损金额等，由业务等相关方定义并定期更新。 ̵…- 0
- 0
-
PYTHON基础技能 – Python的10个文件对比与合并高效策略
在日常编程或数据分析工作中，经常需要处理多个文件的对比与合并任务。Python因其强大的文件处理能力和丰富的库支持，成为了处理这类任务的理想选择。下面，我们将逐步探索10种高效的文件对比与合并策略，每一步都配有详细的代码示例和解释。 文章目录 Toggle 1. 基础文件读写2. 文件内容对比3. 基于行的合并4. 去重合并5. CSV文件合并6. 按列合并CSV7. 大文件高效对比8. 文本文件…- 2
- 0
-
系统稳定性保障 – 哪儿网故障演练实践经验
大家好，我是来自去哪儿网的刘志志，19年加入去哪儿网，主要参与CI/CD平台建设，负责故障演练平台的开发。今天的分享主要分为以下三个部分： 一、背景&价值 如图所示，左边是近期发生的一件影响较大的事故：Facebook服务宕机。持续时长约7小时，造成了次日超过60亿美金的市值下跌，损失数额巨大。右边所展示的则是我们公司中某个业务线的服务调用关系。可以看到，整个链路非常复杂，如果其中某个链路…- 2
- 0
-
可观测性(Observability) – 三要素日志、追踪、度量
随着分布式架构渐成主流，可观测性（Observability）一词也日益频繁地被人提起。最初，它与可控制性（Controllability）一起，是由匈牙利数学家 Rudolf E. Kálmán 针对线性动态控制系统提出的一组对偶属性，原本的含义是“可以由其外部输出推断其内部状态的程度”。 在学术界，虽然“可观测性”这个名词是近几年才从控制理论中借用的舶来概念，不过其内容实际在计算机科学中已有多…- 4
- 0
-
2023已过，如何通过复盘获得提升？复盘六大工具
带领团队把任务完成，并不是完结，还缺少一个容易被忽略的环节——复盘总结。复盘是来自围棋领域的一个术语，是指一盘棋结束后，棋手复原整个棋局的全过程，反思自己和对方下棋的思路，思考下次对弈的策略。这种方法同样适用于管理，例如联想集团很早就已把复盘作为一个重要的管理方法论，强调及时对工作进行总结，从而做出优化和改进。 管理者带领团队进行的复盘可以分为两类： 一类是仪式感比较强的专项复盘，例如战…- 1
- 0
-
最佳实践 – 测试定位问题思路
为什么定位问题如此重要？ 可以明确一个问题是不是真的“bug” 很多时候，我们找到了问题的原因，结果发现这根本不是bug。原因明确，误报就会降低 多个系统交互，可以明确指出是哪个系统的缺陷，防止“踢皮球”，提高问题解决的效率 增强开发对测试的信任度，沟通更有效，配合的更好，开发修改bug时效增强 更有效的了解系统的内部逻辑、数据流处理流程，更能提高测试人员的水平，缺陷修复后，影响的测试范围评估更精…- 5
- 0
-
IT服务治理 – 阿里为什么能抗住90秒100亿？负载均衡架构实践
本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。 1）什么是分布式？ 系统中的多个模块在不同服务器上部署，即可称为分布式系统，如Tomcat和数据库分别部…- 2
- 0
-
故障治理 – 运行无间：阿里巴巴运维保障体系的一种最佳实践
阿里巴巴全球运行指挥中心，GOC (Global Operations Center)保障阿里经济体的业务稳定运行的核心团队。我们负责了整个阿里巴巴全局生产系统的稳定性。就像业界经常提到谷歌的SRE，我们相当于阿里巴巴的SRE。 今天我的分享分为四个部分： 1、稳定性现状及挑战 2、运维…- 31
- 0
-
实践案例 – 360容器平台监控实践
背景 360 在做容器化平台之前，有一个基于小米开源的 Open-Falcon 进行二次开发的老监控系统 (Wonder)，这个系统承揽了公司所有的物理机和虚拟机的监控任务。随着容器技术的普及，以容器的方式在创建应用时，由于 Kubernetes 容器编排系统部署的服务具有弹性扩容的特性，而老的监控系统无法感知这些动态创建的服务，已经不适合容器化的场景，所以 360 团队就搭建了一套可以支持服务发…- 1
- 0
-
经验教训 – Google 20年的11条运维经验教训
时光荏苒，Google 的用户为搜索而来，为免费的 GB Gmail 而去，我们的机群和网络也随之发展壮大。如今，就计算能力而言，我们的规模是 20 年前的 1000 多倍；就网络而言，我们的规模是 20 年前的 10000 多倍，而且我们在每台服务器上花费的精力比以前少得多，同时我们的服务堆栈也具有更好的可靠性。我们的工具已经从一系列 Python 脚本发展到集成的服务生态系统，再到默认提供可靠…- 2
- 0
-
工作中常用SQL语句 实践
工作中我们基本上每天都要与数据库打交道，数据库的知识点呢也特别多，全部记住呢也是不可能的，实践一遍处理起来效率就更高 Student(S#,Sname,Sage,Ssex) 学生表 Course(C#,Cname,T#) 课程表 SC(S#,C#,score) 成绩表 Teacher(T#,Tname) 教师表 问题： 1、查询“001”课程比“002”课程成绩高的所有学生的学号； select…- 0
- 0
-
运维稳定性 -故障处理的系统稳定性与可观测性能力实践(系统稳定性保障)
尚梦宸，中国信息通信研究院云计算与大数据研究所审计与治理部工程师。 一、构建新时代“大运维”体系 什么是“大运维”体系？它是运维发展过程中的一个阶段。在初始阶段，运维主要是辅助研发，运维方式主要是以手工为主，同时需要人工不断维护 更新。 随着数字技术发展及信息化的快速全面突破，研发侧逐渐向运维侧偏移，出现了自动化运维及研发与运维的协同，也即我们说的 DevOps。 DevOps 更多关注…- 5
- 0
-
数字化运维 – PYTHON 日常数据分析 –新闻文本分类实战
文章目录 Toggle 文本数据载入及清洗把数据集分为训练集和测试集中文分词引入停用词文本特征提取（词库表示法）机器学习建模文本特征提取(TF-IDF)N-gram模型 文本数据载入及清洗 搜狗新闻数据源：http://www.sogou.com/labs/resource/ca.php 我们从搜狗下载的数据是类似XML的带标签对的数据，因此需要使用正则表达式或者BeautifulSoup等工具处…- 1
- 0
-
【运维工具】Flink SQL 实践10 用 cumulate window 计算累计指标
文章目录 Toggle 1.序篇2.应用场景介绍3.预期的效果4.解决方案介绍4.1.flink 1.13 之前4.2.flink 1.13 及之后4.3.cumulate window 原理解析4.4.cumulate window 怎么解决 tumble window + early-fire 的问题5.总结 1.序篇 源码公众号后台回复1.13.2 cumulate window 的奇妙解析…- 0
- 0
-
【运维工具】Flink SQL 基础实践 – SQL Client
https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/d/ud/372169841042.mp4 文章目录 Toggle 前言如何使用场景示例准备数据安装Flink和依赖启动Flink SQL client执行SQL提交作业数据类型常见错误找不到Hadoop相关依赖SQL client 提交任务的时候连接拒绝补充内容 前言 Flink提供了S…- 2
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×