-
系统稳定性保障 – 混沌工程 – 持续保障系统稳定性和高可用：腾讯游戏混沌工程实践
最近一两年，我们可以发现混沌工程这个技术变得十分火热，大家都知道它变成了一个新的风口。常说做事情要顺势而为，我们希望能够抓住这个机会，所以我最近一年的工作主要是将混沌工程这一技术在腾讯游戏落地。 文章目录 Toggle 一、什么是混沌工程1、混沌工程的定义2、混沌工程的作用1）故障预防2）故障发现3）故障响应4）故障定位5）故障恢复6）复盘改进二、混沌工程平台建设1、流程设计1）实验前2）实验中3…- 3
- 0
-
经验教训 – 软件工程没有银子弹,凡是可能出错的地方就一定会出错“24年了，终于有人发现curl的这个Bug了”
雷军每天都把卓越网的链接全部点击一遍，检查错误。作为软件工程师，雷军深知：软件工程没有银子弹，凡是可能出错的地方就一定会出错。 “24年了，终于有人发现curl的这个Bug了” 本文最初发布于 Daniel Stenberg 的个人博客。 curl 作者 Daniel Stenberg 近日在个人博客分享了一个存在 23.9 年的 curl 漏洞。curl 是常用的命令行工具，用来请求 Web 服…- 3
- 0
-
运维生产故障有哪些？运维常见问题最佳实践
运维生产故障是指在运维过程中出现的各种问题和故障，可能导致系统停机、服务中断或其他运维效率问题。运维生产故障可以根据不同的因素进行分类，下面是一些常见的运维生产故障分类和其常见类型： 1. 硬件故障硬件故障是指由于服务器、网络设备或其他硬件设备的故障或损坏导致的系统停机或服务中断的问题。常见的硬件故障类型包括：– 服务器故障：例如硬盘故障、内存故障等。– 网络设备故障：例如…- 13
- 0
-
故障治理 – 线上故障分析与故障治理指引
文章目录 Toggle 1 生产故障分级规范概要1.1 开篇1.2 事故等级定义1.2.1 故障等级定义1.2.2 故障报告模板示例1.2.3 故障响应处理机制1.2.4 思考2 生产故障原因和分类2.1 故障分类2.2 bug是可以完全避免的么？-了解2.3 经典故障示例-了解2.4 混沌工程简介3 生产故障定位和解决流程3.1 影响服务质量的因素3.1.1我们常常面对如下的业务场景3.1.2 …- 4
- 0
-
IT服务治理 – SRE工具链建设思路与实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 21
- 0
-
FLINK SQL 实践 – （十六）：flink sql 开发利器之 Zeppelin
文章目录 Toggle 1.序篇2.Apache Zeppelin 平台效果3.安装部署篇3.1.安装 flink3.2.下载 zeppelin 的 tar 包3.3.在 zeppelin 中配置 flink 环境信息 1.序篇 上节介绍了 flink sql 的企业级开发利器 Dlink。本节就来介绍下 Apache Zeppelin。 本节主要介绍一下博主在本地部署 Apache Zeppel…- 1
- 0
-
[运维工具]每秒几十亿实时处理，阿里巴巴超大规模 Flink 集群运维揭秘
今天主要讲三块： 第一，阿里 Flink 发展的历史背景，怎么来的，现状规模到底什么样第二，阿里 Flink 运维管控平台第三，阿里 Flink 平台运维技术解决方案 文章目录 Toggle 一、阿里 Flink 集群运维挑战二、阿里 Flink 运维管控三、Flink 运维解决方案 一、阿里 Flink 集群运维挑战 首先说一下流计算，批计算就是数据集是有限的，每次的计算都可以拿到一样的结果，在…- 2
- 0
-
运维工具 – 唯品会王玉：老司机教你如何调教Presto和ClickHouse，应对业务难题！
导读：大家好，我是来自唯品会实时平台 OLAP 团队的王玉，主要负责唯品会这边 Presto、Kylin、ClickHouse、Kudu，这些在 OLAP 比较常用组件的开源修改、组件优化还有维护的工作，并且我们还负责一些为业务指导、设计 OLAP 方案支持的工作。 本文主要介绍唯品会 OLAP 的演进，包括 Presto 智能化和容器化实践，以及 Clickhouse 在实验平台海量数据存储和计…- 6
- 0
-
Flink SQL 抖音实时数仓保障及治理实践与优化
文章目录 Toggle 一、实时数仓场景介绍二、实时数仓场景初探三、典型场景实践四、未来规划 一、实时数仓场景介绍 为了数据湖更好的落地，我们在落地之前与业务做了一些深入的沟通，并根据不同业务的特点主要分为了三个场景： 1）场景一典型的业务主要是短视频和直播，它的数据量级一般都比较大，例如大流量的日志数据，其计算周期一般是自然的天、小时或者分钟级别的，实时性的要求一般是五分钟内，主要诉求是批流的复…- 31
- 0
-
[经验分享]远离故障的十大原则
故障是运维人员永远的痛。相信每一个运维人员的KPI中都有一项：可用性。可用性高就是不出故障，各个公司对可用性和故障评级的标准都不相同，但是避免故障的方法却是殊途同归。我们怎么避免故障，沃趣科技简单列举了以下几条，与大家共勉！1、变更要有回滚，在同样的环境测试过2、对破坏性的操作谨慎小心3、设置好命令提示4、备份并验证备份有效性5、对生产环境存有敬畏之心6、交接和休假最容易出故障，变更请谨慎7、搭建…- 4
- 0
-
从零搭建自己的SpringBoot后台框架(十三)
一：什么是XSS XSS攻击全称跨站脚本攻击，是一种在web应用中的计算机安全漏洞，它允许恶意web用户将代码植入到提供给其它用户使用的页面中。 你可以自己做个简单尝试： 在任何一个表单内，你输入一段简单的js代码：<script>for(var i=0;i<1000;i++){alert("弹死你"+i);}</script>，将其存入数据库； …- 9
- 0
-
利用python脚本自动拦截DDOS攻击
改成python试试 一个很实用的iptables脚本，实现自动拒绝可疑IP地址，并发送报警邮件，短信 linux:~ # cat iptables #!/bin/bash touch /root/back_bad_ip.txt time=1`date +"%Y-%m-%d %H:%M:%S"1` ar=1`wc -l /root/back_bad_ip.txt |awk &…- 28
- 0
-
Python脚本，定时删除归档日志文件
Python脚本，定时删除归档日志文件 1# !/usr/bin/env python3 2# -*- coding:utf-8 -*- 3import math,os,sys,time 4import traceback 5import subprocess 6import datetime 7... 8#定时任务脚本，删除归档日志文件 9 10... 11#定义前一天的时间 12theDayB…- 17
- 0
-
如何用Python脚本自动SVN Update
1import os 2import time 3while True: 4 time.sleep(1) 5 os.system('sudo svn update') 6 print 'update' 7 写出脚本，然后shell下 1python autoup.py 2- 28
- 0
-
python 中__name__ = '__main__' 的作用
转自：https://www.cnblogs.com/alan-babyblog/p/5147770.html 有句话经典的概括了这段代码的意义： “Make a script both importable and executable” 意思就是说让你写的脚本模块既可以导入到别的模块中用，另外该模块自己也可执行。 这句话，可能一开始听的还不是很懂。下面举例说明： 先写一个模块： 1 2 3…- 0
- 0
-
PHP超全局变量$_SERVER
$_SERVER 是一个包含了诸如头信息(header)、路径(path)、以及脚本位置(script locations)等等信息的数组。这个数组中的项目由 Web 服务器创建。不能保证每个服务器都提供全部项目；服务器可能会忽略一些，或者提供一些没有在这里列举出来的项目。 Http请求头消息 : HTTP_HOST web服务器的地址 HTTP_USER_AGEN…- 6
- 0
-
JavaScript—网络编程(2)-函数与数组
上节，学完循环了~ 现在学Javascript的函数和数组。 JavaScript语法 每一种语言都有自己的语法规则，JS语法与Java很像，所以学习起来比较容易。JS中也一样有变量，语句，函数，数组等常见语言组成元素。 1.一般函数 格式： 1function 函数名(形式参数...) 2{ 3 执行语句； 4 return 返回值； 5} 6 函数是多条执行语句的封装体，只有被调用才会被运行。…- 7
- 0
-
从零搭建自己的SpringBoot后台框架(六)
一：什么是Swagger Swagger是一款通过我们添加的注解来对方法进行说明，来自动生成项目的在线api接口文档的web服务。 二：添加Swagger2依赖 1<dependency> 2 <groupId>io.springfox</groupId> 3 <artifactId>springfox-swagger2</artifactId…- 7
- 0
-
zabbix python 微信告警脚本
测试zabbix的微信告警耗费了大量时间，使用了开源工具（OneOaaS weixin-alert）、shell脚本工具（手动执行正常，服务器调用失败），均没有实现相关功能 以下是自己优化过的Python脚本 Python大法好！！ 1#!/usr/bin/env python 2# -*- coding: utf-8 -*- 3 4import urllib,urllib2,json 5impo…- 40
- 0
-
一个监控挂载盘的python脚本
公司产品线有一个公用的挂载盘，主要是用来方便各位开发人员去放置他们自己的一些工作材料，比如异常的日志或者tcpdump的抓包等等杂七杂八的东西，但是这个挂载盘由于使用人众多，容量自然要有监控，于是就有了写这个脚本的动机。 在这里我写了两个脚本，上面这个是用来监控磁盘容量，然后通过 #df -h的排序生成前十名占容量最大的文件夹，把这个文件夹的名字和对应的大小重定向到一个叫alarm.txt这个文件…- 66
- 0
-
Jenkins 执行Python脚本
一、点击新建任务 二、创建任务 三、对刚才新建的任务进行配置 四、勾选参数化构建过程，可以添加字符参数、布尔值参数等。用于向python脚本传参数。 五、构建中点击增加构建步骤，选择执行windows批处理命令，输入执行命令，然后点击保存。 1//输入执行命令 2python gitlabOperate.py %buildVersion% %OA% %matrix% %publish% 3 4 六…- 46
- 0
-
python连接hive
首先确认已经安装gcc以及确认系统的版本例如测试环境是Centos6.5 1.通过下面这个网站下载需要的python扩展模块 https://pypi.org/project/PyHive/ 2.通过这个网站下载需要的rpm包 http://www.rpmfind.net/linux/rpm2html/search.php 3.安装依赖的rpm包 忽略依赖强制安装rpm包,如果警告或者报错…- 24
- 0
-
CentOS 7 安装 LNMP 环境（PHP7 + MySQL5.7 + Nginx1.10）
记录下在CentOS 7 安装 LNMP 环境（PHP7 + MySQL5.7 + Nginx1.10）过程笔记。 工具 VMware版本号 ： 12.0.0 CentOS版本 ： 7.0 一、修改 yum 源 1 2[root@localhost ~]# rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.no…- 7
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×