-
稳定性的灯塔：腾讯 SRE 质量运营体系建设实践
本文将从整体角度出发，探讨腾讯 SRE 质量运营体系是如何构建和实践的，以及建设过程中经验和思考，并进行总结和展望。 01 行业背景 稳定性建设是一件很让大家头疼事情，就像我刚开始入职做 SRE 时一样，面对稳定性建设总是觉得无从下手。Google 的 SRE 提供了一些指导方向，Google SRE 这本书的核心是引导大家如何科学地进行稳定性建设。在此基础上，我们决定在腾讯大规模采用基于 SLO…- 7
- 0
-
大模型，方向比速度更重要
“现代管理学之父”德鲁克先生曾说过这样一句话，被认为“商业之美”最好的形容：“世界上之所以出现鞋匠，是因为有人需要鞋，而不是因为鞋匠需要钱。” 国产大模型，再添新劲旅。9月7日，在腾讯一年一度的全球数字生态大会上，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生宣布，腾讯将迈入“全面拥抱大模型”时代。同时，其自主研发的通用大模型——混元也正式对外发布，揭开了外界猜测已久的腾讯大模型面纱。坦白…- 3
- 0
-
阿里大模型通义千问开源
从官网中介绍，通义千问有以下几个优点： 训练时使用了大规模的高质量数据：使用了超过2.2万亿token进行预训练 更好地支持多语言：基于更大词表的分词器在分词上更高效，同时它对其他语言表现更加友好。用户可以在Qwen-7B的基础上更方便地训练特定语言的7B语言模型。 支持8K长度上下文：允许用户输入更长的prompt。 评测能力有大幅提升：通义千问在多个评测数据集上具有显著优势，甚至超出12-13…- 3
- 0
-
运维原则 – 谷歌SRE的7条基本原则
拥抱合理的风险最大化系统的稳定性不仅毫无意义，而且会适得其反。不切实际的可靠性目标限制了新功能交付给用户的速度，而且用户通常不会注意到极端的可用性(比如99.99999%)，因为他们的体验是由最不稳定的组件决定的。 拥有100%的可用性需求严重限制了团队向系统交付更新和改进的能力。想要交付许多新特性的服务所有者应该选择不那么严格的SLOs，从而让他们在出现无关紧要的bug时可以继续交付。 服务所有…- 4
- 0
-
FLINK SQL 实践 – （十六）：flink sql 开发利器之 Zeppelin
文章目录 Toggle 1.序篇2.Apache Zeppelin 平台效果3.安装部署篇3.1.安装 flink3.2.下载 zeppelin 的 tar 包3.3.在 zeppelin 中配置 flink 环境信息 1.序篇 上节介绍了 flink sql 的企业级开发利器 Dlink。本节就来介绍下 Apache Zeppelin。 本节主要介绍一下博主在本地部署 Apache Zeppel…- 2
- 0
-
故障治理 – 京东科技之全链路故障诊断-智能运维实践
讲师介绍 张静，京东科技智能运维算法高级经理。硕士毕业于东北大学，持续深耕智能运维领域多年，带领团队致力于京东智能运维算法迭代，把智能算法能力落地京东线上横向业务场景，算法在监控、数据库、网络、资源调度等多个纵向场景取得突破，提升了产品和运维的技术竞争力。善于将实践中沉淀的技术与日常算法工作中积累的技术与创新总结成专利和IEEE论文，申请智能运维发明专利50余项，IEEE国际会议论文收录9篇。 分…- 2
- 0
-
-
【运维工具】Flink SQL 实践3 – 自定义 redis 数据汇表
本文主要介绍了 flink sql redis 数据汇表的实现过程。 如果想在本地测试下： 在公众号后台回复 flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义 redis 数据汇表获取源码（源码基于 1.13.1 实现） flink sql 知其所以然（三）| sql 自定义…- 1
- 0
-
经验教训 – 运维工程师 不得不看的日常经验，帮你远离故障
1. 测试使用 当初学习Linux的使用，从基础到服务到集群，都是在虚拟机做的，虽然老师告诉我们跟真机没有什么差别，可是对真实环境的渴望日渐上升，不过虚拟机的各种快照却让我们养成了各种手贱的习惯，以致于拿到服务器操作权限时候，就迫不及待的想去试试。 记得上班第一天，老大把root密码交给我，由于只能使用putty，我就想使用xshell，于是悄悄登录服务器尝试改为xshell+密钥登录，因为没有测…- 1
- 0
-
[运维工具] 数据分析与数据运营 – excel 常规处理实例
简单的读取excel 数据 import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book=False) wb=app.books.open('D:\Excel\8.1.1节\超市销售数据2020-9.xlsx') sht=wb.sheets('销售数据') data_pd=…- 3
- 0
-
PYTHON基础技能 – 一行Python代码实现数据清洗的18种方法
数据清洗可能是你们遇到的第一个大挑战，但别担心，Python的魔力在于能用简洁的代码解决复杂问题。今天，我们就来学习如何用一行代码完成数据清洗的十八个小绝招。准备好，让我们一起化繁为简，成为数据清洗的高手！ 文章目录 Toggle 1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统计元素出现次数6. 字符串分割成列表7. 列表合并8. 数据填充9. 提…- 2
- 0
-
平安夜美国航空停飞！股价暴跌超5%，运维工程师再背锅？事件回顾
12月24日，圣诞节前夕，原本应该是旅客出行最繁忙的时间段，美国航空公司的一则突发消息，让原本计划出行的旅客遭遇了一场突发风波。 24日，美国联邦航空管理局（FAA）突然宣布，美国航空公司（American Airlines）24日全国范围内停飞所有的航班。 随后，美国航空公司迅速在社交平台X上发文，称该公司所有航班正在经历技术问题，导致运营在全年最繁忙的旅行日之一中断。 消息一经发出，在美引发轩…- 41
- 0
-
PYTHON基础技能 – 一键掌握：Python函数声明与调用的20个最佳实践
今天我们要一起探索的是Python世界中的一块基石——函数！想象一下，像魔术师一样，轻轻一挥手，复杂的任务就被封装成简洁的命令，这就是函数的魅力。下面，让我们用最接地气的方式，揭开它的神秘面纱，掌握那些让代码飞起来的20个小技巧。 文章目录 Toggle 1. 基础中的基础：Hello, Function!2. 参数传递：位置VS关键字3. *args 和 **kwargs：无限参数的秘密4. 返…- 2
- 0
-
PYTHON基础技能 – 15个Python高效字符串处理技巧
字符串处理是一项基础且频繁使用的技能。掌握高效的字符串操作不仅能提升代码的可读性和执行效率，还能在解决复杂问题时游刃有余。下面，让我们通过15个实用技巧，逐步探索Python字符串处理的奥秘。 文章目录 Toggle 1. 字符串拼接2. 快速计数字符3. 分割字符串4. 切片操作5. 查找子串6. 大小写转换7. 去除字符串两端空格8. 格式化字符串9. 使用列表推导式处理字符串10. 替换字符…- 1
- 0
-
大规模运行 Apache Airflow 的经验和教训
Apache Airflow 是一个能够开发、调度和监控工作流的编排平台。在 Shopify，我们已经在生产中运行了两年多的 Airflow，用于各种工作流，包括数据提取、机器学习模型训练、Apache Iceberg 表维护和 DBT 驱动的数据建模。在撰写本文时，我们正通过 Celery 执行器和 MySQL 8 在 Kubernetes 上来运行 Airflow 2.2。 Shopify 在…- 2
- 0
-
故障复盘 – 复盘工具 PREP模型复盘法
文章目录 Toggle PREP模型定义与特征使用PREP复盘法的电商平台问题复盘案例案例1：订单支付失败率高案例2：退货率居高不下案例3：客户投诉处理效率低 PREP模型定义与特征 PREP模型是一种结构化沟通和表述工具，也被广泛应用于问题复盘和决策分析中。PREP代表四个关键步骤： P（Point）： 表达观点或问题的核心点，明确你要讨论的主题或需要解决的问题是什么。 R（Reaso…- 3
- 0
-
2015.5·27支付宝大规模宕机事故反思学习
事故背景支付宝拥有超过4万亿年交易总额，是中国第一大第三方交易平台，约占中国整体社会消费金额的六分之一。2014年年11月，就有用户反映，支付宝钱包目前无法转账和提现，当用户使用这两项功能时会提示出现未知错误或创建交易失败，该问题在移动客户端以及电脑网页端均存在。 事故经过2015年5月27日下午4点半左右，陆续有多个地区网友反映，支付宝出现网络故障，账号无法登录或转账。打开余额宝后，不能显示余额…- 6
- 0
-
运维工具 – 数据合并实例
data=df.merge(df3,how='left',on='order_sn') v="{} vs{}ss {}".format("hello", "world", "world") import pandas as pd df1 = pd.DataFrame({'…- 0
- 0
-
IT服务治理 – 腾讯 PCG 数据中台 DEVOPS 和 AIOPS 实践
文章目录 Toggle 01 腾讯PCG的前世今生1. 问题和挑战02 MQ架构的内核生态改造1. 面临的问题2. 解决方案03 日志管道系统（ATTA）04 实时数仓流批一体架构05 定义系统可运维性目标1. 定义中台内各平台的可运维性2. 定义错误预算06 全生命周期管理1. 方案的阶段2. 开发阶段3. 发布阶段4. 持续运营保障阶段07 全面监控08 数字化运维能力建设09 故障处理由繁入…- 45
- 0
-
经验教训 – 2021.07.13 B站宕机事故，我们是这样崩的
至暗时刻 2021年7月13日22:52，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程…- 10
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 57
- 0
-
故障处理最佳实践 – ‘踩坑’、‘跳坑’、‘填坑’、‘避坑’
墨菲定律任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事情总会出错如果担心某个事情发生，那么它更有可能发生 文章目录 Toggle 墨菲定律暗示我们，如果担心某种情况会发生，那么它更有可能发生，久而久之就一定会发生。这警示我们，在互联网公司，对生成环境发生的任何怪异现象和问题都不要轻视，对其背后的原因一定要调查清楚。同样，海恩法则也强调任何严重的事故背后都是很多次小问题…- 1
- 0
-
有趣视频 – 千万别动那个bug，该项目就是靠那个bug运行的
千万别修改这个bug,项目就是靠这个bug运行的,这里面水太深别问 – 没有十全十美东西，质量与效率是相互依存的关系,质量好则相对成本下降,效率上升;反之则下降- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×