-
经验教训 – 2020.10.16 微盟宕机8天，赔偿1.5亿！电商技术专家，总结6条经验
微盟经历了8天的至暗时刻，数据修复工作终于有了进展，并于3月1日对外发布公告： 截止到3月1日晚8点，在腾讯云团队协助下，经过7*24小时的努力，我们数据已经全面找回，由于此次数据量规模非常大，为了保证数据一致性和线上体验，我们将于3月2日凌晨2点进行系统上线演练，将于3月3日上午9点数据恢复正式上线。 此次事故给商家经营造成了严重的影响，公司管理层对此深感自责和愧疚，我们准备了1.5亿元人民币赔…- 2
- 0
-
故障复盘 – 语雀 P0 事故报告，军规红线9个字总结
故障时间：10月23日下午。 故障现象：语雀出现重大服务故障，持续 7 个多小时。 直接原因：数据存储运维团队在进行升级操作时，新的运维升级工具出现 bug。 具体细节：bug导致华东地区生产环境存储服务器被误下线，使语雀数据服务发生严重故障，造成大面积服务中断。 恢复过程： 因机器类别较老，无法直接操作上线，只能从备份系统中恢复存储数据。 数据恢复过程耗时较长，直到晚上 22 点，语雀的全部服务…- 2
- 0
-
故障复盘 – 4个重要运作机制
故障复盘的重要性无需多说，每一次故障都是宝贵的学习机会，本人接手故障复盘工作已经半年有余，从一开始的手足无措，慢慢变得游刃有余。以下内容为本人从网上查阅学习多个专家经验，并结合工作经历总结而来，仅供参考。 文章目录 Toggle 一、故障复盘目的二、 故障复盘原则三、 故障复盘运作机制3.1 故障复盘前准备3.1.1 提交故障报告3.1.2 确定复盘owner3.1.3 确定故障干系人3.1.4 …- 1
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 0
- 0
-
经验教训 – 运维工程师 不得不看的日常经验，帮你远离故障
1. 测试使用 当初学习Linux的使用，从基础到服务到集群，都是在虚拟机做的，虽然老师告诉我们跟真机没有什么差别，可是对真实环境的渴望日渐上升，不过虚拟机的各种快照却让我们养成了各种手贱的习惯，以致于拿到服务器操作权限时候，就迫不及待的想去试试。 记得上班第一天，老大把root密码交给我，由于只能使用putty，我就想使用xshell，于是悄悄登录服务器尝试改为xshell+密钥登录，因为没有测…- 1
- 0
-
经验教训 – 2020.02.23 微盟花23亿买下一个惨痛教训
2月23日晚7点左右，微盟多个小程序显示出现未知错误，多次刷新仍未恢复正常。 基于微盟的商家小程序也都随之宕机，一度无法打开。从23日晚间起，宕机超过24小时，线上生意基本停摆的商家不在少数。 对此，官方一开始回应称设备物理故障，正在紧急抢修和修复。 2月25日，微盟集团(2013.HK)发布关于系统故障的公告，称SaaS(软件即服务)业务数据遭到员工人为破坏，并表示已向上海警方报…- 1
- 0
-
设计模式之备忘录模式
0x01.定义与类型 定义：在不破坏封装性的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态，以便以后当需要时能将该对象恢复到原先保存的状态。该模式又叫快照模式。 类型：行为型 UML类图 基本代码实现 1/** 2 * 发起人类 3 */ 4public class Originator { 5 6 /** 7 * 状态编码 8 */ 9 private String status; …- 9
- 0
-
使用Log4j将程序日志实时写入Kafka
第一部分 搭建Kafka环境 安装Kafka 下载：http://kafka.apache.org/downloads.html 1tar zxf kafka-<VERSION>.tgz 2cd kafka-<VERSION> 3 启动Zookeeper 启动Zookeeper前需要配置一下config/zookeeper.properties： 接下来启动Zookeep…- 4
- 0
-
基于Hadoop生态圈的数据仓库实践 —— 进阶技术（三）
三、维度子集 有些需求不需要最细节的数据。例如更想要某个月而不是某天的记录。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度的数据少，因此更易使用，查询也更快。 本节中将准备两个特定维度，它们均取自现有的维度：月份维度（日期维度的子集），Pennsylvania州客户维度（客户维度的子集）。 1. 建立月份维…- 14
- 0
-
8天学通MongoDB——第七天 运维技术
随笔- 104 文章- 0 评论- 1541 8天学通MongoDB——第七天 运维技术 这一篇我们以管理员的视角来看mongodb，作为一名管理员，我们经常接触到的主要有4个方面： 1． 安装部署 2． 状态监控 3． 安全认证 4． 备份和恢复， 下面我们就一点一点的讲解。 一：安装部署 我之前的文章都是采用console程序来承载，不过在生产环境中这并不是最佳实…- 7
- 0
-
mysql二进制日志
开启mysql二进制日志 1在mysql的配置文件my.ini中添加(文件中有个 #log-bin 可直接修改): 2log-bin=mysql_bin(名字自定义，英文.) 3 4my.ini的文件位置需要注意。 5比如我的：服务执行该文件 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini。 6也可能我C盘E盘都装了mysql.以至于刚开始在E盘折腾许久发…- 11
- 0
-
mongodb底层存储和索引原理——本质是文档数据库，无表设计，同时wiredTiger存储引擎支持文档级别的锁，MMAPv1引擎基于mmap，二级索引（二级是文档的存储位置信息『文件id + 文件内offset 』）
MongoDB是面向文档的数据库管理系统DBMS（显然mongodb不是oracle那样的RDBMS，而仅仅是DBMS)。 想想一下MySQL中没有任何关系型数据库的表，而由JSON类型的对象组成数据模型的样子是如何的？ 值得注意的是，MongoDB既不支持JOIN（连接）也不支持transaction(事务)。Significantly, MongoDB supports neither jo…- 285
- 0
-
十分钟看懂时序数据库（IV）- 分级存储
物联网领域近期如火如荼，互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选，时序数据库也越来越多进入人们的视野，而早在2016年7月，百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB，成为支持其发展制造，交通，能源，智慧城市等产业领域的核心产品，同时也成为百度战略发展产业物联网的标志性事件。 前文提到低成本的存储是时序数据库需要解决的一个主要问题，而上一篇文章…- 14
- 0
-
Docker搭建mongodb主从复制集群(nodejs+mongoose)
这里有精心准备的PPT，大家可以先过目一下 PPT链接 为什么需要搭建mongodb集群？ 数据备份 数据恢复 读写分离 首先我们先准备一个nodejs实例 以express脚手架为例 http://www.expressjs.com.cn/starter/generator.html 先配置node连接mongodb的配置信息 1const mongoose = require('mo…- 152
- 0
-
MySQL数据库的备份与恢复
文章目录 数据库备份的分类 物理与逻辑的角度 * 备份策略的角度 完全备份与恢复： 完全备份的优缺点 * MySQL备份思路 * 备份的实验操作 * 完全备份的恢复 * 恢复的实验操作 增量备份与恢复 增量备份的特点 * 备份的实验操作 * 恢复的实验操作 数据库备份的分类 物理与逻辑的角度 物理备份：对数据库操作系统的物理文件进行备份 冷备份（脱机备份）：在关闭数据库的时候进行 热备份（联机备份…- 8
- 0
-
HBase性能优化方法总结（3）：写表操作
2. 写表操作 2.1 多HTable并发写 创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子： 1 static final Configuration conf = HBaseConfiguration.create(); 2 static final String table_log_name = "user_log"; 3 wTableLog = ne…- 0
- 0
-
深入解析NoSQL数据库的分布式算法
系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行之有效的数据库构建方法。在这篇文章里，我将针对NoSQL数据库的分布式特点进行一些…- 4
- 0
-
redis 和 memcache的区别
redis 和 memcache的区别以及优缺点 1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash，zset等数据结构的存储。 3、虚拟内存–Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘 4、过期策略–memcache在set时就指定，例如set k…- 5
- 0
-
MYSQL优化和备份
1、描述视图,存储过程,函数,触发器分别是什么并实践 \G后面不能再加分号;，因为\G在功能上等同于;，如果加了分号，那么就是;;(2个分号)，SQL语法错误 视图 VIEW,虚表，保存有实表的查询结果 视图中的数据事实上存储于“基表”中，因此，其修改操作也会针对基表实现；其修改操作受基表限制。 修改视图也会修改基表中的内容。 1MariaDB [hellodb]> select * fro…- 26
- 0
-
单表60亿记录等大数据场景的MySQL优化和运维之道|高可用架构
当然MySQL也认识到5.6这种并行的瓶颈所在，所以在5.7引入了另外一种并行复制方式，基于logical timestamp的并行复制，并行复制不再受限于库的个数，效率会大大提升。 上图是5.7的logical timestamp的复制原理图 刚才我也提到MySQL原来只支持异步复制，这种数据安全性是非常差的，所以后来引入了半同步复制，从5.5开始支持。 上图是原生异步复制和半同步复制的区别。可…- 34
- 0
-
Mysql高并发优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更…- 12
- 0
-
MySQL阶段一――mysql安装与调优+各版本特性
MySQL初识； 关系型数据库： ** mysql：**开源免费，可移植性好 ** Oracle：**一般配合Java比较多，处理大批量数据，速度快 ** db2：**最贵的数据库，安全性好 ** sql server：**微软的产品，数据量不超过几百万，企业级 ** access：**门户网站数据库，接受不了大数据 *…- 3
- 0
-
MySQL性能调优(7)复习补充
复习时自己产生的问题 log 缓冲池 Buffer Pool 首先，InnnoDB 的数据都是放在磁盘上的，InnoDB 操作数据有一个最小的逻辑单位，叫做页（索引页和数据页）。我们对于数据的操作，不是每次都直接操作磁盘，因为磁盘的速度太慢了。InnoDB 使用了一种缓冲池的技术，也就是把磁盘读到的页放到一 块内存区域里面。这个内存区域就叫 Buffer Pool，下一次读取相同的页，先判断是不是…- 14
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×