-
PYTHON基础技能 – Python环境搭建与管理的9个常见问题解答
文章目录 Toggle 引言问题一：如何选择Python版本？问题二：如何安装Python？问题三：如何管理多个Python版本？问题四：如何解决Python依赖冲突？问题五：如何升级Python版本？问题六：如何设置Python环境变量？实战案例：使用虚拟环境管理多版本Python项目示例：激活和使用项目A的虚拟环境示例：激活和使用项目B的虚拟环境问题七：如何管理项目依赖？使用 requirem…- 0
- 0
-
SRE工具链建设实践：一夜颠覆60%旧体系，腾讯的SRE运维转型实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 11
- 0
-
PYTHON基础技能 – Python中10个巧妙运用append()函数+列表的实例
今天我们要来一场Python列表的小探险，特别是围绕咱们的好朋友——append()函数。别看它简单，用对了地方，它可是能让你的代码效率飙升，还充满乐趣呢！ 文章目录 Toggle 1. 基础中的基础：添加单个元素2. 逐步构建列表3. 动态列表的魔法4. 从函数返回值直接添加6. 穿越循环的迷宫7. 动态数组的魅力8. 优雅地处理API响应9. 实现简单的队列操作10. 简易日志系统进阶及高级技…- 0
- 0
-
PYTHON基础技能 – Python虚拟环境管理的17个必备知识
文章目录 Toggle 1. 什么是虚拟环境？为什么需要虚拟环境？示例代码：创建虚拟环境输出结果：2. 如何激活虚拟环境？Windows 系统：Linux/MacOS 系统：输出结果：3. 如何退出虚拟环境？输出结果：4. 安装和卸载包安装包：卸载包：输出结果：5. 查看已安装的包输出结果：6. 升级包输出结果：7. 创建和使用 requirements 文件创建 requirements 文件：…- 2
- 0
-
运维工具 – 大众点评评论文本挖掘基础案例实践
文章目录 Toggle 一、爬虫整体思路网页爬取和解析数据存储反爬虫对抗二、探索性分析与文本数据预处理探索性分析数据预处理词云展示三、文本的情感分析文本特征提取（TF-IDF）机器学习建模样本数据不平衡模型评估测试1. 朴素贝叶斯相关的统计学知识 2. 朴素贝叶斯的模型3. 朴素贝叶斯的推断过程4. 朴素贝叶斯的参数估计5. 朴素贝叶斯算法过程6.&nbs…- 13
- 0
-
数字化运营基础技能 – python学习路线图经典版
关于Python数据分析，其实网上能够找到的学习资源很多，主要分为两类：一类是提供各种资源的推荐，比如书单、教程、以及学习的先后顺序；另一类是提供具体的学习内容，知识点或实际案例。 但很多繁琐而又杂乱的内容，除了给初学者增加理解和认识的噪音外，真正能够起到明确的方向指引导的，确实不多。以至于很多人一开始没有明确的方向就一头扎进去，学了很久却不知道自己到底在学什么，或者自己学了很久不知道能够做什么。…- 2
- 0
-
最佳实践 – 运维服务器故障排查与定位常用命令
整理总结了一些常用分析网站的命令方便大家快速定位故障所在排除故障，最小化的减少故障给业务带来的影响。 文章目录 Toggle 1. 背景2. 说明3. 分析问题的方法论4. cpu4.1 说明4.2 分析工具4.3 使用方式5. 内存5.1 说明5.2 分析工具5.3 使用方式6. 磁盘IO6.1 说明6.2 分析工具6.3 使用方式7. 网络7.1 说明7.2 分析工具7.3 使用方式8. 系统…- 44
- 0
-
大规模运行 Apache Airflow 的经验和教训
Apache Airflow 是一个能够开发、调度和监控工作流的编排平台。在 Shopify，我们已经在生产中运行了两年多的 Airflow，用于各种工作流，包括数据提取、机器学习模型训练、Apache Iceberg 表维护和 DBT 驱动的数据建模。在撰写本文时，我们正通过 Celery 执行器和 MySQL 8 在 Kubernetes 上来运行 Airflow 2.2。 Shopify 在…- 1
- 0
-
运维工具 – 异常数据分析 Prophet时序预测实践
研判银行间资金利率走势，对于分析债券市场而言非常重要。Facebook在2017年开源了一个时间序列预测的算法，叫做fbprophet，其功能包括： 为预测设置上下限；设置趋势断点；处理季节性和节假日效应；允许乘法形式的季节性；区间预测；处理异常值；处理非日度数据；模型检测。 我们认为，可以用这个算法，来为银行间资金利率，做出一个基础性的预测。初步探索如下： 文章目录 Toggle 一、安装二、数…- 1
- 0
-
经验教训 – 凡是跟金额相关必要从业务角度进行监控，拼XX回应BUG事件回顾
2019-1-20 凌晨一点多，拼多多平台BUG出现。根据脉脉一个ID为“程序员·鹿杖客”的自我爆料，他作为拼多多的一个程序员，将一个100元的无门槛测试券，设置成了自动上线，并在凌晨一点多上线。这些100元无门槛优惠券，拼多多网站页面告知，可以全场通用（特殊商品除外）。 凌晨三点多，已经有大量用户通过网络相互转告领券。而这些可以无条件领取的100无门槛券，经过一些用户以及不排除大职业“羊毛党”发…- 0
- 0
-
IT服务治理 – SRE工具链建设思路与实践
讲师介绍 刘天斯，腾讯游戏营销SRE负责人，腾讯T12级技术专家，国家工程实验室兹聘专家（工业大数据应用技术）。曾荣获：华章最有价值作者、中国十大杰出IT博主、WOT十大优秀讲师、OpsWorld金牌讲师、TOP100优秀出品人、中国数据质量杰出专家奖、DAMA中国数据治理专家奖。个人著作：《python自动化运维：技术与实践》《循序渐进学Docker》《第一次使用Docker就上手》《破解数据治…- 9
- 0
-
IT服务治理 – 腾讯 PCG 数据中台 DEVOPS 和 AIOPS 实践
文章目录 Toggle 01 腾讯PCG的前世今生1. 问题和挑战02 MQ架构的内核生态改造1. 面临的问题2. 解决方案03 日志管道系统（ATTA）04 实时数仓流批一体架构05 定义系统可运维性目标1. 定义中台内各平台的可运维性2. 定义错误预算06 全生命周期管理1. 方案的阶段2. 开发阶段3. 发布阶段4. 持续运营保障阶段07 全面监控08 数字化运维能力建设09 故障处理由繁入…- 12
- 0
-
数字化运营基础技能 – 数据清洗实战:使用pandas清洗亚马逊电商销售数据
文章目录 Toggle 数据准备数据解释清洗过程1.将 Excel 转化成 Pkl 格式文件2.了解数据概况3.数据清洗的 3 个准则4.删除空值记录5.删除负值记录6.保存数据7.代码下载总结网站推荐数据源获取学习网站 数据准备 清洗的是一份亚马逊黑色星期五电商节的销售数据，数据保存在 Excel 文件中 数据解释 先来看一下表里面的前 10 行数据： 数据示例 以下是每个数据列的含义以及数据范…- 1
- 0
-
数字化运营基础技能 – pandas实战 – 数据清洗
这篇文章我会先给你讲解数据清洗的重要性，然后我会跟你列举数据清洗的四大准则，最后，我会用一个实战案例带你学会如何使用Python进行数据清洗。 也可以直接访问我的Github地址进行下载: https://github.com/RecordLiu/Python-Data-cleaning 好了，接下来，咱们详细看一看。 文章目录 Toggle 认识数据清洗数据清洗四大准则使用Python进行数据清…- 1
- 0
-
FLINK SQL 实践 – （十六）：flink sql 开发利器之 Zeppelin
文章目录 Toggle 1.序篇2.Apache Zeppelin 平台效果3.安装部署篇3.1.安装 flink3.2.下载 zeppelin 的 tar 包3.3.在 zeppelin 中配置 flink 环境信息 1.序篇 上节介绍了 flink sql 的企业级开发利器 Dlink。本节就来介绍下 Apache Zeppelin。 本节主要介绍一下博主在本地部署 Apache Zeppel…- 1
- 0
-
运维工具 – python 日常数据分析 – excel工作簿与工作表处理技巧
代码文件：筛选一个工作簿中的所有工作表数据.py – 数据文件：采购表.xlsx 下图所示是按月份存放在不同工作表中的物品采购明细数据，如果要更改为按物品名称存放在不同工作表中，你会怎么做呢？ 思路：先合并所有表，再按采购物品名称进行分表： import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book…- 0
- 0
-
[运维工具] 数据分析与数据运营 – excel 常规处理实例
简单的读取excel 数据 import xlwings as xw import pandas as pd app=xw.App(visible=True,add_book=False) wb=app.books.open('D:\Excel\8.1.1节\超市销售数据2020-9.xlsx') sht=wb.sheets('销售数据') data_pd=…- 2
- 0
-
zabbix–python短信接口脚本
1#!/usr/bin/env python 2#-*- coding: utf8 -*- 3 4import sys 5import requests 6import json 7 8def sendsms(phone, subject, message): 9 """ 10 发送短信 11 """ 12 values = {"…- 5
- 0
-
nginx切割日志脚本（python）
因为以前没有做nginx日志分割，有时候想看日志的时候总是发现有十几G的甚至上百G的日志文件，于是就想使用python写个nginx日志分割（当然你也可以使用shell来完成都是很简单） 需求： 1.按照日分割nginx所有日志 2.由于日志不需要随时可以查看，需要做归档（压缩.tar.gz） 3.归档日志需要有过期时间和容量限制（分割日志需要做定期的删除，超过一定时间或者目录大小超过一定容量） …- 21
- 0
-
Python脚本监测KVM虚拟机 CPU、内存、io使用率
Python脚本监测KVM虚拟机 CPU、内存、io使用率 libvirt-python python脚本 使用方法 运行结果 References More Info libvirt-python Libvirt本身构建于一种抽象的概念上，它为受支持的虚拟机监控程序实现常用功能提供通用的API。Libvirt提供了操作KVM的原生层接口，可以实现对虚拟机的基本管理操作。 Libvirt-pyth…- 244
- 0
-
python脚本批量修改文件名
我曾以为,写脚本是很难的,直到我遇到了Python 前言 随着国内版权意识的跟进,很多影视音乐资源开始收费,而且度盘又经常随意封杀各种资源,所以,为了保护资源,老司机们越来越倾向于把资源下载到本地,但随着本地资源量的增多,资源管理就成了一件比较头疼的事情;对于资源的管理,方法有很多,我比较喜欢为资源起一个好记的名字,但改文件名是一件无聊又耗时的事情,所以,一个批量重命名的脚本就变得非常重要. 1.…- 1
- 0
-
阿里云Linix上 python脚本 发邮件发送不出去问题
脚本在本地发送没问题，但是同样的系统环境，在阿里云上就是发送不出去 报错信息只能看出 是连接的问题 原因 可能是阿里云 把 你使用的那个端口封了 网上找到的解决办法： 修改连接部分代码 换端口号 换成ssl方式连接（这个不知到是不是原因） 1smtplib.SMTP_SSL(mail_host, 465) 2 3 1# _*_coding:utf-8 _*_ 2#邮件服务封装 3 4import …- 23
- 0
-
Python 3基础教程11-如何利用pip命令安装包和模块
本文介绍如何利用pip命令安装Python相关的包和模块。在Python中有些方法或者模块是自带的功能，也叫(build-in)，内构函数，实际使用，可能内构函数或者模块不能完成我们的任务，我们就需要安装一些其他的包和模块，这个时候就想需要用到pip命令。 如果你之前没有接触过Selenium，你可能去查找资料，发现通过pip install selenium-webd…- 3
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×