-
运维工具 – 异常数据分析 Prophet时序预测实践
研判银行间资金利率走势，对于分析债券市场而言非常重要。Facebook在2017年开源了一个时间序列预测的算法，叫做fbprophet，其功能包括： 为预测设置上下限；设置趋势断点；处理季节性和节假日效应；允许乘法形式的季节性；区间预测；处理异常值；处理非日度数据；模型检测。 我们认为，可以用这个算法，来为银行间资金利率，做出一个基础性的预测。初步探索如下： 文章目录 Toggle 一、安装二、数…- 1
- 0
-
经验教训 – 凡是跟金额相关必要从业务角度进行监控，拼XX回应BUG事件回顾
2019-1-20 凌晨一点多，拼多多平台BUG出现。根据脉脉一个ID为“程序员·鹿杖客”的自我爆料，他作为拼多多的一个程序员，将一个100元的无门槛测试券，设置成了自动上线，并在凌晨一点多上线。这些100元无门槛优惠券，拼多多网站页面告知，可以全场通用（特殊商品除外）。 凌晨三点多，已经有大量用户通过网络相互转告领券。而这些可以无条件领取的100无门槛券，经过一些用户以及不排除大职业“羊毛党”发…- 0
- 0
-
IT服务治理 – SRE工具链建设思路与实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 2
- 0
-
IT服务治理 – 腾讯 PCG 数据中台 DEVOPS 和 AIOPS 实践
文章目录 Toggle 01 腾讯PCG的前世今生1. 问题和挑战02 MQ架构的内核生态改造1. 面临的问题2. 解决方案03 日志管道系统（ATTA）04 实时数仓流批一体架构05 定义系统可运维性目标1. 定义中台内各平台的可运维性2. 定义错误预算06 全生命周期管理1. 方案的阶段2. 开发阶段3. 发布阶段4. 持续运营保障阶段07 全面监控08 数字化运维能力建设09 故障处理由繁入…- 3
- 0
-
数字化运营基础技能 – 数据清洗实战:使用pandas清洗亚马逊电商销售数据
文章目录 Toggle 数据准备数据解释清洗过程1.将 Excel 转化成 Pkl 格式文件2.了解数据概况3.数据清洗的 3 个准则4.删除空值记录5.删除负值记录6.保存数据7.代码下载总结网站推荐数据源获取学习网站 数据准备 清洗的是一份亚马逊黑色星期五电商节的销售数据，数据保存在 Excel 文件中 数据解释 先来看一下表里面的前 10 行数据： 数据示例 以下是每个数据列的含义以及数据范…- 1
- 0
-
数字化运营基础技能 – pandas实战 – 数据清洗
这篇文章我会先给你讲解数据清洗的重要性，然后我会跟你列举数据清洗的四大准则，最后，我会用一个实战案例带你学会如何使用Python进行数据清洗。 也可以直接访问我的Github地址进行下载: https://github.com/RecordLiu/Python-Data-cleaning 好了，接下来，咱们详细看一看。 文章目录 Toggle 认识数据清洗数据清洗四大准则使用Python进行数据清…- 1
- 0
-
FLINK SQL 实践 – （十六）：flink sql 开发利器之 Zeppelin
文章目录 Toggle 1.序篇2.Apache Zeppelin 平台效果3.安装部署篇3.1.安装 flink3.2.下载 zeppelin 的 tar 包3.3.在 zeppelin 中配置 flink 环境信息 1.序篇 上节介绍了 flink sql 的企业级开发利器 Dlink。本节就来介绍下 Apache Zeppelin。 本节主要介绍一下博主在本地部署 Apache Zeppel…- 1
- 0
-
运维工具 – python 日常数据分析 – excel工作簿与工作表处理技巧
代码文件：筛选一个工作簿中的所有工作表数据.py – 数据文件：采购表.xlsx 下图所示是按月份存放在不同工作表中的物品采购明细数据，如果要更改为按物品名称存放在不同工作表中，你会怎么做呢？ 思路：先合并所有表，再按采购物品名称进行分表： import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book…- 0
- 0
-
[运维工具] 数据分析与数据运营 – excel 常规处理实例
简单的读取excel 数据 import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book=False) wb=app.books.open('D:\Excel\8.1.1节\超市销售数据2020-9.xlsx') sht=wb.sheets('销售数据') data_pd=…- 2
- 0
-
PYTHON基础技能 – Python环境搭建与管理的9个常见问题解答
文章目录 Toggle 引言问题一：如何选择Python版本？问题二：如何安装Python？问题三：如何管理多个Python版本？问题四：如何解决Python依赖冲突？问题五：如何升级Python版本？问题六：如何设置Python环境变量？实战案例：使用虚拟环境管理多版本Python项目示例：激活和使用项目A的虚拟环境示例：激活和使用项目B的虚拟环境问题七：如何管理项目依赖？使用 requirem…- 0
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 11
- 0
-
PYTHON基础技能 – Python中10个巧妙运用append()函数+列表的实例
今天我们要来一场Python列表的小探险，特别是围绕咱们的好朋友——append()函数。别看它简单，用对了地方，它可是能让你的代码效率飙升，还充满乐趣呢！ 文章目录 Toggle 1. 基础中的基础：添加单个元素2. 逐步构建列表3. 动态列表的魔法4. 从函数返回值直接添加6. 穿越循环的迷宫7. 动态数组的魅力8. 优雅地处理API响应9. 实现简单的队列操作10. 简易日志系统进阶及高级技…- 0
- 0
-
PYTHON基础技能 – Python虚拟环境管理的17个必备知识
文章目录 Toggle 1. 什么是虚拟环境？为什么需要虚拟环境？示例代码：创建虚拟环境输出结果：2. 如何激活虚拟环境？Windows 系统：Linux/MacOS 系统：输出结果：3. 如何退出虚拟环境？输出结果：4. 安装和卸载包安装包：卸载包：输出结果：5. 查看已安装的包输出结果：6. 升级包输出结果：7. 创建和使用 requirements 文件创建 requirements 文件：…- 2
- 0
-
运维工具 – 大众点评评论文本挖掘基础案例实践
文章目录 Toggle 一、爬虫整体思路网页爬取和解析数据存储反爬虫对抗二、探索性分析与文本数据预处理探索性分析数据预处理词云展示三、文本的情感分析文本特征提取（TF-IDF）机器学习建模样本数据不平衡模型评估测试1. 朴素贝叶斯相关的统计学知识 2. 朴素贝叶斯的模型3. 朴素贝叶斯的推断过程4. 朴素贝叶斯的参数估计5. 朴素贝叶斯算法过程6.&nbs…- 11
- 0
-
数字化运营基础技能 – python学习路线图经典版
关于Python数据分析，其实网上能够找到的学习资源很多，主要分为两类：一类是提供各种资源的推荐，比如书单、教程、以及学习的先后顺序；另一类是提供具体的学习内容，知识点或实际案例。 但很多繁琐而又杂乱的内容，除了给初学者增加理解和认识的噪音外，真正能够起到明确的方向指引导的，确实不多。以至于很多人一开始没有明确的方向就一头扎进去，学了很久却不知道自己到底在学什么，或者自己学了很久不知道能够做什么。…- 2
- 0
-
最佳实践 – 运维服务器故障排查与定位常用命令
整理总结了一些常用分析网站的命令方便大家快速定位故障所在排除故障，最小化的减少故障给业务带来的影响。 文章目录 Toggle 1. 背景2. 说明3. 分析问题的方法论4. cpu4.1 说明4.2 分析工具4.3 使用方式5. 内存5.1 说明5.2 分析工具5.3 使用方式6. 磁盘IO6.1 说明6.2 分析工具6.3 使用方式7. 网络7.1 说明7.2 分析工具7.3 使用方式8. 系统…- 35
- 0
-
大规模运行 Apache Airflow 的经验和教训
Apache Airflow 是一个能够开发、调度和监控工作流的编排平台。在 Shopify，我们已经在生产中运行了两年多的 Airflow，用于各种工作流，包括数据提取、机器学习模型训练、Apache Iceberg 表维护和 DBT 驱动的数据建模。在撰写本文时，我们正通过 Celery 执行器和 MySQL 8 在 Kubernetes 上来运行 Airflow 2.2。 Shopify 在…- 1
- 0
-
python的自动补全脚本，linux和window下通用
1#!/usr/bin/env python 2# python startup file 3import sys 4import readline 5import rlcompleter 6import atexit 7import os 8import platform 9# tab completion 10readline.parse_and_bind('tab: complet…- 2
- 0
-
python 监控mysql脚本
1#!/usr/bin/env python 2#-*- coding: UTF-8 -*- 3from __future__ import print_function 4from mysql import connector 5import logging,argparse,sys 6import sys 7 8#create user monitoruser@'127.0.0.1&…- 11
- 0
-
Python脚本–爆破SSH
利用Pxssh是pexpect库的ssh专用脚本 环境：kali 代码： 1''' 2Author:yw 3''' 4from pexpect import pxssh 5import optparse 6from threading import * 7 8Max_Connect = 5 9connection_lock = Bound…- 40
- 0
-
Python 3基础教程38-threading和创建一个线程
前面几篇是介绍tkinter GUI编程的，我想这个有时间得出一个系列的，比较完整能够入门的教程。好了本文介绍threading模块，中文的意思是线程。要说线程，你第一反应应该是听说过进程。在电脑里，强制关闭那个程序，就要杀掉哪个对应的进程。作为测试人员来讲，线程基本上没有接触过的。我也没有线程的相关基础知识，我一开始去百度百科，看了下线程。说线程是一个轻量级的进程，多个线程共享进程…- 17
- 0
-
Python 3基础教程17-提问频率较高的几个Python问题
这里，介绍几个初学者经常上网查询的问题，直接看下面的例子 11 # 常见的一些常识问题汇总 2 2 3 3 #!/user/bin/python 4 4 # 这个是linux下python文件的写法，告诉程序，这个文件是python去运行，而不是shell去运行 5 5 6 6 # 下面这个例子 7 7 def max(a,b): 8 8 if a> b: 9 9 print(a) 1010…- 11
- 0
-
python | 正则表达式&re模块
文章目录 1.正则表达式 1.1 元字符 使用点1`.1`匹配任意字符 * \d匹配数字 * + * 匹配多个字符 * 1`[]1`(字符集) * 使用.*匹配任意多个字符 1 * 1.2 数量词 2 * 1.3 精确匹配与泛匹配 3 泛匹配 * 精确匹配 1 * 1.4 贪婪匹配与非贪婪匹配 2 re模块 2.1 re.match * 2.2 re.search * 2.3 re.findall…- 33
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×