-
数据挖掘十大经典算法 整理
数据挖掘的主要任务是分类、聚类、关联分析、预测、时序模式和偏差分析 。 (一)C4.5 算法 C4.5算法是机器学习中的一种分类决策树算法,其核心是ID3 算法,C4.5算法继承了ID3算法的优点 ,并在以下几方面对ID3算法进行了改进: 用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足; 在树构造过程中进行剪枝;【剪枝有两种方式:1、先构造后剪枝;2、构造过程中剪…- 11
- 0
-
Kafka、RabbitMQ、RocketMQ消息中间件的对比
引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。 --kafkaRocketMQRabbitMQ数据来源相关文章定位设计定位系统间的数据流管道,实时数据处理。 例如:常规的消息系统、网站活性跟踪,监控数据,日志收集、处理等非日志的可靠消息传输。 例如:订单…- 5
- 0
-
如何管理Spark Streaming消费Kafka的偏移量(二)
上篇文章,讨论了在spark streaming中管理消费kafka的偏移量的方式,本篇就接着聊聊上次说升级失败的案例。 事情发生一个月前,由于当时我们想提高spark streaming程序的并行处理性能,于是需要增加kafka分区个数,,这里需要说下,在新版本spark streaming和kafka的集成中,按照官网的建议 spark streaming的executors的数量要和kafk…- 3
- 0
-
Flume+kafka+spark streaming+Redis实时统计广告投放的pv,uv,click,cost
因为业务逻辑的修改,投放数据存入大数据集群中,因此,需要修改之前的业务逻辑,需要实时知道rtb投放的花费情况。 环境版本: spark: 2.11-2.4.0-cdh6.2.0 kafka: 2.1.0-cdh6.2.0 fluem: 1.9.0-cdh6.2.0 Flume配置 1a1.sources = r1 2 3a1.sinks = k1 4 5a1.channels = c1 6 7#s…- 10
- 0
-
Hadoop实战(9)_Hive进阶及UDF开发
CDH Hadoop系列目录: Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Hadoop实战(4)_Hadoop的集群管理和资源分配 Hadoop实战(5)_Hadoop的运维经验 Hadoop实战(8)_CDH添加Hive服务及Hive基础 Hive目录及配置文件 1# 配置文件 2/etc/hive/conf 3# 根目录 4/opt/cloudera/parcels/CDH/lib…- 2
- 0
-
Docker容器跨主机通信之:OVS+GRE
一、概述 由于docker自身还未支持跨主机容器通信,需要借助docker网络开源解决方案 OVS OpenVSwich即开放式虚拟交换机实现,简称OVS,OVS在云计算领域应用广泛,值得我们去学习使用。 OpenVSwich OpenVSwich是一种开源软件,通过软件的方式实现二层交换机功能,专门管理多租赁云计算网络环境,提供虚拟网络中的访问策略、网络隔离、流量监控等。 既然是虚拟交换机,自然…- 20
- 0
-
Kafka、RabbitMQ、RocketMQ等 消息中间件 介绍和对比
文章目录 1、前言 2、概念 2.1、MQ简介 2.2、MQ特点 2.2.1、先进先出 2.2.2、发布订阅 2.2.3、持久化 2.2.4、分布式 3、消息中间件性能究竟哪家强? 3.1、Kafka 3.2、RabbitMQ 3.3、RocketMQ 4、测试 4.1、测试目的 4.2、测试场景 4.2.1、Kafka 4.2.2、RocketMQ 4.2.3、RabbitMQ 4.3、测试结论…- 12
- 0
-
使用 Etcd 和 Haproxy 做 Docker 服务发现
使用 Etcd 和 Haproxy 做 Docker 服务发现 这篇文章描述了一个为后端服务的 Docker 容器提供服务发现的解决方案。 我们将构建的架构体系是模仿 SmartStack,但是使用 etcd 代替 Zookeeper,和两个 docker 容器运行 docker-gen 和 haproxy 代替 nerve 和 synapse。 它怎样工作的 类似于 SmartStack,我们的…- 28
- 0
-
Docker的4种网络模式
我们在使用docker run创建Docker容器时,可以用--net选项指定容器的网络模式,Docker有以下4种网络模式: · host模式,使用--net=host指定。 · container模式,使用--net=container:NAME_or_ID指定。 · none模式,使用--net=none指定。 · bridge模式,使用--net=bridge指定,默认设置。 下面分别介绍…- 7
- 0
-
Docker网络详解
当 Docker 启动时,会自动在主机上创建一个 docker0 虚拟网桥,实际上是 Linux 的一个 bridge,可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。 同时,Docker 随机分配一个本地未占用的私有网段(在 RFC1918 中定义)中的一个地址给 docker0 接口。比如典型的 172.17.42.1 ,掩码为 255.255.0.0 。此后启…- 18
- 0
-
Kafka、RabbitMQ、RocketMQ等 消息中间件 介绍和对比
文章目录 1、前言 2、概念 2.1、MQ简介 2.2、MQ特点 2.2.1、先进先出 2.2.2、发布订阅 2.2.3、持久化 2.2.4、分布式 3、消息中间件性能究竟哪家强? 3.1、Kafka 3.2、RabbitMQ 3.3、RocketMQ 4、测试 4.1、测试目的 4.2、测试场景 4.2.1、Kafka 4.2.2、RocketMQ 4.2.3、RabbitMQ 4.3、测试结论…- 4
- 0
-
《NoSQL权威指南》——1.2 磁盘处理中的事务处理
本节书摘来自异步社区出版社《NoSQL权威指南》一书中的第1章,第1.2节,作者:【美】Joe Celko(乔•塞科) ,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 磁盘处理中的事务处理 磁盘驱动器发明的时候世界发生了改变。起初,磁盘驱动器被当作“快速磁带驱动器”,进行挂载和卸载,并被分配给单个作业。但数据库的特点是,它是有多个作业在同一时间运行的一个共同资源。 这种模型中没有队…- 0
- 0
-
阿里分布式数据库服务实践
DRDS简介 起源 DRDS 脱胎于 alibaba的cobra 分布式数据库引擎 , 06年上线使用,在alibaba有近百应用在使用,目前已经开源,DRDS的80%的代码出自cobra proxy ( Sql解析器,执行流程,配置)。 DRDS吸收了taobao TDDL分布式数据库引擎的大量优秀经验和解决方案,08年上线使用,目前在使用的应用近千个,大量实际应用解决方案支持分布式join,支…- 25
- 0
-
Redis 内存为什么不宜过大
女主宣言 近几年来,随着 Redis 的发展壮大,被越来越多的人所熟知,越来越多的企业也使用了Redis。今天我们来分享下 Redis 单实例内存过大遇到的问题以及解决方案。 PS:丰富的一线技术、多元化的表现形式,尽在“ HULK一线技术杂谈”,点关注哦! 近两年我们 HULK 云平台承载的Redis日访问量从800+亿增加到了2100+亿,Redis实例数也增长到了5000+。 在这几年的线上…- 20
- 0
-
NoSQL和关系型数据库
NoSQL介绍 NoSQL的全称是Not Only Sql,这个概念早起就有人提出,在09年的时候比较火。NoSQL指的是非关系型数据库,而我们常用的都是关系型数据库。就像我们常用的MySQL,SqlServer一样,这些数据库一般用来存储重要信息,应对普通的业务是没有问题的。但是,随着互联网的高速发展,传统的关系型数据库在应付超大规模,超大流量以及高并发的时候力不从心。而就在这个时候,NoSQL…- 5
- 0
-
Redis 原理及应用(4)–Redis应用场景分析
来到了Redis系列的最后一篇,在前三篇中,介绍了Redis的数据类型及底层实现,持久化,集群分区,事务,缓存淘汰策略,HA哨兵机制等内容,其实关于Redis最重要的是其应用场景,只有知道Redis在什么场景下使用才是第一步。在这篇文章中,我们就来讨论一下Redis典型的应用场景。 缓存 提到redis,我们第一想到的应用场景肯定是缓存,因为redis是基于内存的<K,V>数据…- 9
- 0
-
dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合(一)Dubbo的使用
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010046908/article/details/53868659 1.Dubbo简介 DUBBO是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿…- 1
- 0
-
使用HAProxy、PHP、Redis和MySQL支撑10亿请求每周架构细节
使用HAProxy、PHP、Redis和MySQL支撑10亿请求每周架构细节 发表于 2014-08-15 10:05| 22682次阅读| 来源 High Scalability| 57 条评论| 作者 Todd Hoff 大数据架构HAProxyPHPRedisMySQL allowtransparency="true" frameborder="0"…- 2
- 0
-
Redis的过期策略和内存淘汰策略
Redis的过期策略和内存淘汰策略搞混淆了。 Redis的过期策略 我们都知道,Redis是key-value数据库,我们可以设置Redis中缓存的key的过期时间。Redis的过期策略就是指当Redis中缓存的key过期了,Redis如何处理。 过期策略通常有以下三种: 定时过期:每个设置过期时间的key都需要创建一个定时器,到过期时间就会立即清除。该策略可以立即清除过期的数据,对内存很友好;但…- 7
- 0
-
Redis监控工具,命令和调优
Redis监控工具,命令和调优 1.图形化监控 因为要对Redis做性能测试,发现了GitHub上有个python写的RedisLive监控工具评价不错。结果鼓捣了半天,最后发现其主页中引用了Google的jsapi脚本,必须在线连接谷歌的服务,Stackoverflow上说把js脚本下载到本地也没法解决问题,坑爹!正要放弃时发现了一个从RedisLive fork出去的项目redis-monit…- 128
- 0
-
Redis 的性能幻想与残酷现实
Redis 的性能幻想与残酷现实 2011 年,当初选择 Redis 作为主要的内存数据存储,主要吸引我的是它提供多样的基础数据结构可以很方便的实现业务需求。另一方面又比较担心它的性能是否足以支撑,毕竟当时 Redis 还属于比较新的开源产品。但 Redis 官网宣称其是提供多数据结构的高性能存储,我们对其还是抱有幻想的。 幻想 要了解 Redis 的性能,我们先看看官方的基准性能测试数据,心里有…- 2
- 0
-
Redis复制的原理与优化
什么是主从复制 1个master可以有多个slave 1个slave只能有1个master 数据流向是单向的,master到slave 作用: 为数据提供了多个副本 扩展了redis读的性能 复制的配置(不允许在同一台机器上部署主从节点) 两种方式: slaveof命令 配置 将6380设置为6379的从节点 取消从节点,注意:取消从节点之后,之前复制的数据并不会被清除,只是断了与之前主节点的联系…- 5
- 0
-
MySQL数据库优化经验详谈(服务器普通配置)
安装好mysql后,配制文件应该在/usr/local/mysql/share/mysql目录中,配制文件有几个,有my- huge.cnf my-medium.cnf my-large.cnf my-small.cnf,不同的流量的网站和不同配制的服务器环境,当然需要有不同的配制文件了。 一般的情况下,my-medium.cnf这个配制文件就能满足我们的大多需要;一般我们会把配置文件拷贝到/et…- 2
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!