-
使用Log4j将程序日志实时写入Kafka
第一部分 搭建Kafka环境 安装Kafka 下载：http://kafka.apache.org/downloads.html 1tar zxf kafka-<VERSION>.tgz 2cd kafka-<VERSION> 3 启动Zookeeper 启动Zookeeper前需要配置一下config/zookeeper.properties： 接下来启动Zookeep…- 1
- 0
-
基于Hadoop生态圈的数据仓库实践 —— 进阶技术（三）
三、维度子集 有些需求不需要最细节的数据。例如更想要某个月而不是某天的记录。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度的数据少，因此更易使用，查询也更快。 本节中将准备两个特定维度，它们均取自现有的维度：月份维度（日期维度的子集），Pennsylvania州客户维度（客户维度的子集）。 1. 建立月份维…- 0
- 0
-
设计模式之备忘录模式
0x01.定义与类型 定义：在不破坏封装性的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态，以便以后当需要时能将该对象恢复到原先保存的状态。该模式又叫快照模式。 类型：行为型 UML类图 基本代码实现 1/** 2 * 发起人类 3 */ 4public class Originator { 5 6 /** 7 * 状态编码 8 */ 9 private String status; …- 4
- 0
-
深入解析NoSQL数据库的分布式算法
系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行之有效的数据库构建方法。在这篇文章里，我将针对NoSQL数据库的分布式特点进行一些…- 4
- 0
-
redis 和 memcache的区别
redis 和 memcache的区别以及优缺点 1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash，zset等数据结构的存储。 3、虚拟内存–Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘 4、过期策略–memcache在set时就指定，例如set k…- 1
- 0
-
MYSQL优化和备份
1、描述视图,存储过程,函数,触发器分别是什么并实践 \G后面不能再加分号;，因为\G在功能上等同于;，如果加了分号，那么就是;;(2个分号)，SQL语法错误 视图 VIEW,虚表，保存有实表的查询结果 视图中的数据事实上存储于“基表”中，因此，其修改操作也会针对基表实现；其修改操作受基表限制。 修改视图也会修改基表中的内容。 1MariaDB [hellodb]> select * fro…- 26
- 0
-
单表60亿记录等大数据场景的MySQL优化和运维之道|高可用架构
当然MySQL也认识到5.6这种并行的瓶颈所在，所以在5.7引入了另外一种并行复制方式，基于logical timestamp的并行复制，并行复制不再受限于库的个数，效率会大大提升。 上图是5.7的logical timestamp的复制原理图 刚才我也提到MySQL原来只支持异步复制，这种数据安全性是非常差的，所以后来引入了半同步复制，从5.5开始支持。 上图是原生异步复制和半同步复制的区别。可…- 26
- 0
-
Mysql高并发优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更…- 4
- 0
-
MySQL阶段一――mysql安装与调优+各版本特性
MySQL初识； 关系型数据库： ** mysql：**开源免费，可移植性好 ** Oracle：**一般配合Java比较多，处理大批量数据，速度快 ** db2：**最贵的数据库，安全性好 ** sql server：**微软的产品，数据量不超过几百万，企业级 ** access：**门户网站数据库，接受不了大数据 *…- 2
- 0
-
MySQL性能调优(7)复习补充
复习时自己产生的问题 log 缓冲池 Buffer Pool 首先，InnnoDB 的数据都是放在磁盘上的，InnoDB 操作数据有一个最小的逻辑单位，叫做页（索引页和数据页）。我们对于数据的操作，不是每次都直接操作磁盘，因为磁盘的速度太慢了。InnoDB 使用了一种缓冲池的技术，也就是把磁盘读到的页放到一 块内存区域里面。这个内存区域就叫 Buffer Pool，下一次读取相同的页，先判断是不是…- 9
- 0
-
史上最简单的 MySQL 教程（三十七）「数据备份与还原（下）」
数据备份与还原 基础概念： 备份，将当前已有的数据或记录另存一份； 还原，将数据恢复到备份时的状态。 为什么要进行数据的备份与还原？ 防止数据丢失； 保护数据记录。 数据备份与还原的方式有很多种，具体可以分为：数据表备份、单表数据备份、SQL备份和增量备份。 SQL 备份 SQL 备份，备份的是 SQL 语句。在进行 SQL 备份的时候，系统会对表结构以及数据进行处理，变成相应的 SQL 语句，然…- 3
- 0
-
史上最简单的 MySQL 教程（三十六）「数据备份与还原（中）」
数据备份与还原 基础概念： 备份，将当前已有的数据或记录另存一份； 还原，将数据恢复到备份时的状态。 为什么要进行数据的备份与还原？ 防止数据丢失； 保护数据记录。 数据备份与还原的方式有很多种，具体可以分为：数据表备份、单表数据备份、SQL备份和增量备份。 单表数据备份 单表数据备份，每次只能备份一张表，而且只能备份数据，不能备份表结构。 通常的使用场景为：将表中的数据导出到文件。 备份方法：从…- 1
- 0
-
史上最简单的 MySQL 教程（三十五）「数据备份与还原（上）」
数据备份与还原 基础概念： 备份，将当前已有的数据或记录另存一份； 还原，将数据恢复到备份时的状态。 为什么要进行数据的备份与还原？ 防止数据丢失； 保护数据记录。 数据备份与还原的方式有很多种，具体可以分为：数据表备份、单表数据备份、SQL备份和增量备份。 数据表备份 数据表备份，不需要通过 SQL 来备份，我们可以直接进入到数据库文件夹复制对应的表结构以及数据；在需要还原数据的时候，直接将备份…- 1
- 0
-
8天学通MongoDB——第五天 主从复制
从这一篇开始我们主要讨论mongodb的部署技术。 我们知道sql server能够做到读写分离，双机热备份和集群部署，当然mongodb也能做到，实际应用中我们不希望数据库采用单点部署， 如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。 一：主从复制 1： 首先看看模型图 2: 从上面的图形中我们可以分析出这种架构有如下的好处： <1> 数据…- 4
- 0
-
8天学通MongoDB——第七天 运维技术
随笔- 104 文章- 0 评论- 1541 8天学通MongoDB——第七天 运维技术 这一篇我们以管理员的视角来看mongodb，作为一名管理员，我们经常接触到的主要有4个方面： 1． 安装部署 2． 状态监控 3． 安全认证 4． 备份和恢复， 下面我们就一点一点的讲解。 一：安装部署 我之前的文章都是采用console程序来承载，不过在生产环境中这并不是最佳实…- 3
- 0
-
mysql二进制日志
开启mysql二进制日志 1在mysql的配置文件my.ini中添加(文件中有个 #log-bin 可直接修改): 2log-bin=mysql_bin(名字自定义，英文.) 3 4my.ini的文件位置需要注意。 5比如我的：服务执行该文件 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini。 6也可能我C盘E盘都装了mysql.以至于刚开始在E盘折腾许久发…- 7
- 0
-
mongodb底层存储和索引原理——本质是文档数据库，无表设计，同时wiredTiger存储引擎支持文档级别的锁，MMAPv1引擎基于mmap，二级索引（二级是文档的存储位置信息『文件id + 文件内offset 』）
MongoDB是面向文档的数据库管理系统DBMS（显然mongodb不是oracle那样的RDBMS，而仅仅是DBMS)。 想想一下MySQL中没有任何关系型数据库的表，而由JSON类型的对象组成数据模型的样子是如何的？ 值得注意的是，MongoDB既不支持JOIN（连接）也不支持transaction(事务)。Significantly, MongoDB supports neither jo…- 281
- 0
-
十分钟看懂时序数据库（IV）- 分级存储
物联网领域近期如火如荼，互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选，时序数据库也越来越多进入人们的视野，而早在2016年7月，百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB，成为支持其发展制造，交通，能源，智慧城市等产业领域的核心产品，同时也成为百度战略发展产业物联网的标志性事件。 前文提到低成本的存储是时序数据库需要解决的一个主要问题，而上一篇文章…- 8
- 0
-
Docker搭建mongodb主从复制集群(nodejs+mongoose)
这里有精心准备的PPT，大家可以先过目一下 PPT链接 为什么需要搭建mongodb集群？ 数据备份 数据恢复 读写分离 首先我们先准备一个nodejs实例 以express脚手架为例 http://www.expressjs.com.cn/starter/generator.html 先配置node连接mongodb的配置信息 1const mongoose = require('mo…- 147
- 0
-
MySQL数据库的备份与恢复
文章目录 数据库备份的分类 物理与逻辑的角度 * 备份策略的角度 完全备份与恢复： 完全备份的优缺点 * MySQL备份思路 * 备份的实验操作 * 完全备份的恢复 * 恢复的实验操作 增量备份与恢复 增量备份的特点 * 备份的实验操作 * 恢复的实验操作 数据库备份的分类 物理与逻辑的角度 物理备份：对数据库操作系统的物理文件进行备份 冷备份（脱机备份）：在关闭数据库的时候进行 热备份（联机备份…- 4
- 0
-
HBase性能优化方法总结（3）：写表操作
2. 写表操作 2.1 多HTable并发写 创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子： 1 static final Configuration conf = HBaseConfiguration.create(); 2 static final String table_log_name = "user_log"; 3 wTableLog = ne…- 0
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×