-
RabbitMQ VS Apache Kafka （八）—— Kafka消息路由原语与路由保证
Kafka的路由保证主要基于以下实现： 消息持久化：一旦消息存储到主题中，则确认不会出现丢失消息的问题 消息确认：Kafka（或者是Zookeeper）与发布者、订阅者之间的消息通信 消息批量 Kafka与RabbitMQ一个最大的不同之处在于Kafka支持在消息发送和处理时批量操作。当然，RabbitMQ也可以实现类似批量的操作： 每多少条消息暂停一次直至收到所有的消息确认。 消费者设置预取阈值…- 21
- 0
-
Kafka分区分配策略（1）——RangeAssignor
引言 按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图（1）。 此时消费组内又加入了一个新的消费者C1，按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费，情形上图（2），消费者C0和C1各…- 10
- 0
-
Kafka和消息队列之间的超快速比较
原文：A super quick comparison between Kafka and Message Queues 作者：Hendrik Swanepoel 翻译：Vincent 译者注：本文的目的是让读者快速了解Kafka与消息队列之间的关系，告诉读者为什么会考虑使用它的原因。以下为译文。 Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列…- 3
- 0
-
Kafka实战－Storm Cluster
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录： Storm简述 基础软件 安装部署 效果预览 下面开始今天的内容分享。 2.Storm简述 Twitter将Storm开源了，这是一个分布…- 5
- 0
-
Java使用RabbitMQ（三）–消息确认
消息确认 RabbitMQ 每将一个消息交付给一个消费者时，会立刻把这个消息标记为被删除，如果消费者在处理消息时怠机了，那么这个消息就彻底消失了，这很明显不符合我们的期望，我们希望在一个消费者怠机时，把这个消息交付给其他消费者处理。 所以 RabbitMQ 让消费者在处理完消息后，返回确认消息，告知RabbitMQ 你确实可以删除这条消息了。 也就是 channel.basicConsume(TA…- 8
- 0
-
C# 操作rabbitmq（三）
此篇介绍rabbitmq的Routing 一、 使用exchange时，会广播给所有连接的consumer，而有时候我们需要订阅消息的子集就好，例如只需要其中的一些错误信息写入到日志当中 二、 Bindings 在上一篇中我们创建了exchange和queue的绑定，其中有一个属性routingKey，该属性依赖于exchange的类型，fanout会忽略改属性。 direct类型的exchang…- 12
- 0
-
Spring Boot 配置多源的 RabbitMQ
简介 MQ 是开发中很平常的中间件，本文讲述的是怎么在一个Spring Boot项目中配置多源的RabbitMQ，这里不过多的讲解RabbitMQ的相关知识点。如果你也有遇到需要往多个RabbitMQ中发送消息的需求，希望本文可以帮助到你。 环境 rabbitmq 3.7.12 spring boot 2.1.6.RELEASE 当然软件的版本不是硬性要求，只是我使用的环境而已，唯一的要求是需要启…- 21
- 0
-
RabbitMQ消息队列（六）：使用主题进行消息分发
在上篇文章 RabbitMQ消息队列（五）：Routing 消息路由 中，我们实现了一个简单的日志系统。Consumer可以监听不同severity的log。但是，这也是它之所以叫做简单日志系统的原因，因为是仅仅能够通过severity设定。不支持更多的标准。 比如syslog unix的日志工具，它可以通过severity (info/warn/crit...)…- 6
- 0
-
RabbitMQ消息持久化
在某些特定场景中,队列中的数据十分重要,比如当客户需要确认支付时的验证码,这时候如果服务器突然出现了故障,那么队列中的消息必须存在,不能丢失.这种消息需要进行持久化处理.这也是RabbitMQ的一大特色,消息可靠性 消息持久化:在服务器出现故障后,消息依旧存在于队列之中. 一.queue的持久化 queue的持久化通过durable=true来实现,信道的第二个参数即durable 1channe…- 8
- 0
-
分布式中 CAP BASE ACID 理解
概念理解（CAP,BASE, ACID) CAP CAP: Consistency, Availability, Partition-tolerance **强一致性(Consistency)。**系统在执行过某项操作后仍然处于一致的状态。在分布式系统中，更新操作执行成功后所有的用户都应该读取到最新的值，这样的系统被认为具有强一致性。 **可用性(Availability)。**每一个操作总是能…- 10
- 0
-
MyCat,Cobar,分布式数据库分片（MySQL高可用中间件）
**大纲 ** 第一 MYCAT 背景 第二 MYCAT 发展 第三 MYCAT 简介 第四 MYCAT特性 第五 MYCAT安装使用 第六 MYCAT和COBAR 比较 第七 参考 **一，**背景 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足： （1）集中式处理，势必造成性能瓶颈； （2）…- 22
- 0
-
18. Dubbo原理解析-服务调用
服务消费方发起请求 当服务的消费方引用了某远程服务，服务的应用方在spring的配置实例如下： < dubbo:reference id="demoService" interface="com.alibaba.dubbo.demo.DemoServ ice" /> demoService实例其实是代理工厂生产的代理对象（大家可以参考代理那部分…- 6
- 0
-
3. Dubbo原理解析-Dubbo内核实现之动态编译
我们运行的java代码，一般都是编译之后的字节码。Dubbo为了实现基于spi思想的扩展特性，特别是能够灵活添加额外功能，对于扩展或者说是策略的选择这个叫做控制类也好设配类也好的类要能够动态生成。当然对应已知需求如Protocol, ProxyFactory他们的策略选择的设配类代码dubbo直接提供也无妨，但是dubbo作为一个高扩展性的框架，使得用户能够添加自己的需求，根据配置动态生成自己的设…- 9
- 0
-
初识Dubbo 系列之6-Dubbo 配置
配置 Xml配置 配置项说明 详细配置项，请参见：配置参考手册 (+) 1 API使用说明 如果不想使用Spring配置，而希望通过API的方式进行调用，请参见：API配置 (+) 1 配置使用说明 想知道如何使用配置，请参见：快速启动 (+) 1 示例： provider.xml 1<? 2 xml 3 version 4 = 5 "1.0" 6 encoding 7 …- 2
- 0
-
Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错）
互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。 第一：介绍Dubbo背景 ![](http://img.5iqiqu.com/images3/aa/aa1702bb728a831311ad8df4710803…- 4
- 0
-
锁、分布式锁，事务、分布式事务的基本概念
文章目录 1.锁： * 2.分布式锁： * 3.事务 * 4.分布式事务 1.锁： 单进程的系统中，存在多线程同时操作一个公共变量，此时需要加锁对变量进行同步操作，保证多线程的操作线性执行消除并发修改。 解决发是单进程中多线程并发问题。 2.分布式锁： 只要的应用场景是在集群模式的多个相同服务，可能会部署在不同机器上，解决进程间安全问题，防止多进程同时操作一个变量或者数据库。 解决的是多进程的并发…- 2
- 0
-
go-kit实践之4：go-kit微服务熔断机制的实现
在微服务架构中，每一个微服务都是一个独立的业务功能单元，而一个应用一般由多个微服务组成，微服务之间的交互是通过RPC（远程过程调用）完成。 比如，我们的应用是微服务A调用微服务B和微服务C来完成的，而微服务B又需要调用微服务D，微服务D又需要调用微服务E。如果在调用的链路上对微服务E的调用，响应时间过长或者服务不可用，那么对微服务D的调用就会占用越来越多的系统资源，进而引起微服务D的系统崩溃，微服…- 27
- 0
-
SpringCloud微服务知识整理九：消息总线：Spring Cloud Bus
什么是Spring Cloud Bus 在微服务架构的系统中， 我们通常会使用轻量级的消息代理来构建一个共用的消息主题让系统中所有微服务实例都连接上来， 由于该主题中产生的消息会被所有实例监听和消费， 所以我们称它为消息总线。 在总线上的各个实例都可以方便地广播一些需要让其他连接在该主题上的实例都知道的消息， 例如配置信息的变更或者其他一些管理操作等。 通过使用 Spring Cloud Bus …- 10
- 0
-
SpringCloud微服务知识整理三：服务治理 Spring Cloud Eureka
什么是Spring Cloud Eureka Spring Cloud Eureka是Spring Cloud Netflix 微服务套件中的一部分，它基于Netflix Eureka做了二次封装，主要负责完成微服务架构中的服务治理功能。Spring Cloud 通过为Eureka增加了Spring Boot风格的自动化配置，我们只需通过引入依赖和注解配置就能让Spring Boot构建的微服务应…- 20
- 0
-
微服务架构核心技术六
阿里巴巴中台战略 马云在到芬兰supercell公司参观回国后,阿里巴巴在2015年底正式宣布启动中台战略.实现了服务重用和业务沉淀.强化业务中台和技术中台，对上层应用支撑越强，赋能业务持续创新，快速响应市场需求 推荐书籍: 企业IT架构转型之道 现代互联网技术体系可以大致分为下面四个层次: IaaS基础设施即服务->Paas平台即服务->核心业务层->PC主站/APP/h5等应…- 0
- 0
-
ASP.NET Core微服务之基于Apollo实现统一配置中心
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、关于统一配置中心与Apollo 在微服务架构环境中，项目中配置文件比较繁杂，而且不同环境的不同配置修改相对频繁，每次发布都需要对应修改配置，如果配置出现错误，需要重新打包发布，时间成本较高，因此需要做统一的配置中心，能做到自动更新配置文件信息，解决以上问题。 Apollo（阿波罗）是携程框架部门研发的配置管理平台，能够集中化管理应用…- 5
- 0
-
ASP.NET Core微服务之基于Ocelot实现API网关服务（2）
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、负载均衡与请求缓存 1.1 负载均衡 为了验证负载均衡，这里我们配置了两个Consul Client节点，其中ClientService分别部署于这两个节点内（192.168.80.70与192.168.80.71）。 为了更好的展示API Repsonse来自哪个节点，我们更改一下返回值： 1 [Route("api/[…- 8
- 0
-
Spring Cloud构建微服务架构：消息驱动的微服务（入门）【Dalston版】
之前在写Spring Boot基础教程的时候写过一篇《Spring Boot中使用RabbitMQ》。在该文中，我们通过简单的配置和注解就能实现向RabbitMQ中生产和消费消息。实际上我们使用的对RabbitMQ的starter就是通过Spring Cloud Stream中对RabbitMQ的支持来实现的。下面我们就通过本文来了解一下Spring Cloud Stream。 Spring Cl…- 1
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×