-
kafka原理和实践(四)spring-kafka消费者源码
系列目录 kafka原理和实践(一)原理:10分钟入门 kafka原理和实践(二)spring-kafka简单实践 kafka原理和实践(三)spring-kafka生产者源码 kafka原理和实践(四)spring-kafka消费者源码 kafka原理和实践(五)spring-kafka配置详解 kafka原理和实践(六)总结升华 ==============正文分割线=========…- 34
- 0
-
Kafka分区分配策略(3)——自定义分区分配策略
自定义分区分配策略 读者不仅可以任意选用Kafka所提供的3种分配策略,还可以自定义分配策略来实现更多可选的功能。自定义的分配策略必须要实现org.apache.kafka.clients.consumer.internals.PartitionAssignor接口。PartitionAssignor接口的定义如下: 1Subscription subscription(Set<String…- 14
- 0
-
kafka管理监控插件
kafka 监控插件 1.KafkaOffsetMonitor 项目地址: https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。 You can see the current consumer groups, f…- 9
- 0
-
docker安装kafka,超级简单的
简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩…- 14
- 0
-
flume+kafka+storm
1. 需求 将mysql增量变化的数据,实时的插入到postgresql数据库中,方法有多种实现,这里采用通过flume配置mysql的数据库源,然后flume采集到mysql的增量数据,作为kafka的生产者,然后进入kafka短暂存储,storm作为kafka的消费者,消费到kafka中的增量mysql数据,进行处理,插入到postgresql中。 整个实验环境在HDP环境中,也可以自行搭建A…- 6
- 0
-
Docker 之 部署RabbitMQ集群并实现Haproxy代理(二)
前言 本小节学习一下使用Docker-compose部署Rabbitmq集群。 目录参考 1[root@iZ2ze8sm5upgi8z1dcazqeZ rabbitmq]# pwd 2/workspace/rabbitmq 3[root@iZ2ze8sm5upgi8z1dcazqeZ rabbitmq]# tree 4. 5├── config 6│ └── docker-compose.yml …- 1
- 0
-
使用Rabbitmq/spring进行RPC
使用RabbitMQ进行RPC的必要 常见的RPC方法/协议包括CORBA,Java RMI,Web Service,Hessian,Thrift及Rest API,相对于前面提到的RPC方式,使用RabbbitMQ(JMS也是一样)方式需要在client-service provider中间增加MQ组件,这样做增加了部署的复杂性,但同时带来额外的好处。 可以对service provider进行…- 7
- 0
-
-
RabbitMQ消息队列(二):”Hello, World“
本文将使用Python(pika 0.9.8)实现从Producer到Consumer传递数据”Hello, World“。 首先复习一下上篇所学:RabbitMQ实现了AMQP定义的消息队列。它实现的功能”非常简单“:从Producer接收数据然后传递到Consumer。它能保证多并发,数据安全传递,可扩展。 和任何的Hello world一样,它们都不复杂。我们将会设…- 6
- 0
-
GlusterFS分布式存储系统
1. 分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理,存储数据,而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题,将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在…- 30
- 0
-
Jmeter分布式压测
一、原因 1、当你想并发很大的时候(比如3000)那么一台jmeter可能就不能胜任了,这时候就需要多台jmeter同时加压 2、当jmeter压力机安装在没有gui的linux上,又不想通过非gui的方式完成性能测试 二、原理 原理很简单就是找一台装有jmeter的机器当控制端,由这个控制端统一控制其它装有jmeter的机器作为代理,产生压力。如下图 三、安装jdk和jmeter 1、分别下载…- 13
- 0
-
Zookeeper实现分布式锁
文章目录 什么是Zookeeper Zookeeper集群机制 Zookeeper特性 Zookeeper数据结构 Zookeeper应用场景 Zookeeper的环境搭建(linux) Zookeeper客户端 Zookeeper配置文件介绍 Java操作Zookeeper Zookeeper的事件通知 使用Zookeeper实现分布式锁的思路 Redis实现分布式锁代码实现 什么是Zookee…- 9
- 0
-
20. Dubbo原理解析-通信层之引用服务
二:消费方引用服务 服务调用方在引用服务refer时候创建对服务提供者的链接:构建DubboInvoker时候需要获取ExchangeClient作为构造器参数传入 Exchangers.connect(url, requestHanler)à HeaderExchanger.connect(url,exhangeHandler) 构建HeaderExchangeClient,获取传…- 9
- 0
-
5.Dubbo原理解析-代理之Javassist字节码技术生成代理
JavassistProxyFactory:利用字节码技术来创建对象 public <T> T getProxy(Invoker<T> invoker,Class<?>[] interfaces) { return (T) Proxy.getProxy(interfaces).newInstance(newInvokerInvocationHndl…- 6
- 0
-
Dubbo负载均衡:一致性Hash的实现分析
LoadBalance负责从多个Invoker中选出具体的一个用于本次调用,以分摊压力。Dubbo中LoadBalance结构如下图。 1com.alibaba.dubbo.rpc.cluster.LoadBalance 2接口提供了 3<T> Invoker<T> select(List<Invoker<T>> invokers, URL url,…- 26
- 0
-
一句话说清分布式锁,进程锁,线程锁
在分布式集群系统的开发中,线程锁往往并不能支持全部场景的使用,必须引入新的技术方案分布式锁。 线程锁,进程锁,分布式锁 **线程锁:**大家都不陌生,主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时,那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时,同一时间只有一个线程在执行,其余线程必须要等待当前线程执行完之后才能执行该代码段。但是,其余线程…- 9
- 0
-
Java集群优化——dubbo+zookeeper构建高可用分布式集群
不久前,我们讨论过Nginx+tomcat组成的集群,这已经是非常灵活的集群技术,但是当我们的系统遇到更大的瓶颈,全部应用的单点服务器已经不能满足我们的需求,这时,我们要考虑另外一种,我们熟悉的内容,就是分布式,而当下流行的Dubbo框架,不容我们忽视,这里,咱们一起来探讨一下这个框架的使用。 一,背景 以前我们需要远程调用他人的接口,我们是这么做的: …- 5
- 0
-
如何编写 INF 文件
如何编写 INF 文件 INF文件全称Information File文件,是Winodws操作系统下用来描绘设备或文件等数据信息的文件。INF文件是由规范的ASCII码组成,您能够用任何一款文字编辑器查看修正其中的内容。普通我们总是以为INF文件是系统设备的驱动程序,其实这是错误的认识,Windows之所以在装置某些硬件的驱动时提示需求INF文件是由于INF文件为该设备提供了一个全面描绘硬件参数…- 23
- 0
-
SpringCloud微服务监控——admin(三):admin客户端
admin服务端编写好了之后,还需要对客户端进行一些改造: 1):在POM中添加jar包: 1<dependency> 2 <groupId>de.codecentric</groupId> 3 <artifactId>spring-boot-admin-starter-client</artifactId> 4</dependen…- 23
- 0
-
Spring-cloud 微服务架构搭建 03 – Hystrix 深入理解与配置使用
文章目录 hystrix简介 hystrix-service 模块快速搭建 hystrix 回退机制 hystrix 线程池隔离和参数微调 hystrix 缓存配置 hystrix 异常抛出处理 hystrix 请求合并 Hystrix ThreadLocal上下文的传递 1. hystrix简介 分布式的服务系统中,出现服务宕机是常有的事情,hystrix提供的客户端弹性模式设计可以快速失败客户…- 0
- 0
-
微服务分布式事务实战(十)分布式事务综合大测试(全,共10篇)
准备: 1启动注册中心; 2启动redis ; 3启动事务管理器 4启动mysql ; 5启动微服务1 ; 6启动微服务2 7 8 (1)正常事务测试: 不抛出异常,两边都插入 1 设计没有故障整合服务 1@TxTransaction(isStart=true) 2 @Override 3 @Transactional 4 public int saveBlockTheme(Block block…- 4
- 0
-
微服务架构核心(五)- 服务发现
每一个服务都存在服务的提供方与消费方,服务发现就是消费方发现并且调用服务方提供的服务。 在微服务架构下,存在众多的消费方与服务方,而且服务运行在不同的进程之中,消费方如果想要调用某一个服务,必须通过远程调用的方式,此时就会遇到下面几个问题: 消费方如何知道服务方的调用地址? 以集群方式部署的服务方,如何保证负载均衡? 当服务方发生变动,例如IP变更、服务下线等,如何通知到消费方? 服务发现的出现,…- 2
- 0
-
ASP.NET Core微服务之基于Steeltoe使用Spring Cloud Config统一管理配置
Tip: 此篇已加入.NET Core微服务基础系列文章 一、关于Spring Cloud Config 在分布式系统中,每一个功能模块都能拆分成一个独立的服务,一次请求的完成,可能会调用很多个服务协调来完成,为了方便服务配置文件统一管理,更易于部署、维护,所以就需要分布式配置中心组件了,在Spring Cloud中,就有这么一个分布式配置中心组件 — Spring Cloud Config。 S…- 5
- 0
-
Spring Cloud构建微服务架构:服务消费(Ribbon)【Dalston版】(转载+自己实现)
通过上一篇《Spring Cloud构建微服务架构:服务消费(基础)》,我们已经学会如何通过LoadBalancerClient接口来获取某个服务的具体实例,并根据实例信息来发起服务接口消费请求。但是这样的做法需要我们手工的去编写服务选取、链接拼接等繁琐的工作,对于开发人员来说非常的不友好。所以,下来我们看看Spring Cloud中针对客户端负载均衡的工具包:Spring Cloud Ribbo…- 0
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!