-
RabbitMQ VS Apache Kafka (九)—— RabbitMQ集群的分区容错性与高可用性
本章,我们讨论有关RabbitMQ的容错性,消息一致性及高可用性。RabbitMQ可以作为集群节点来运行,因此RabbitMQ通常被归为分布式消息系统,对于分布式消息系统,我们的关注点通常是一致性与可用性。 我们为什么要讨论分布式系统的一致性与可用性,本质在于两者描述的是系统在失败的情况下表现如何。在实际应用中,网络连接失败、服务器宕机,硬盘损坏,服务器由于GC暂时不可用,网络连接丢失或速度慢,所…- 8
- 0
-
RabbitMQ VS Apache Kafka (一)—— RabbitMQ简介
在接下来的系列章节中,我们将探讨两种消息中间件RabbitMQ与Apache Kafka,从设计的角度来看,作为两种不同的消息中间件,各自都有自己的技术考究,也都有一定的优缺点。本章,我们将不会去评判孰优孰劣,而是作为接下来本系列的引言或者入门。 RabbitMQ RabbitMQ是一个分布式的消息队列系统。之所以说是分布式,因为它通常作为节点集群运行,这其中队列分布在节点上,并可选择复制以实现分…- 8
- 0
-
Kafka的Log存储解析
引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partition的关系。 partition是以文件的形式存储在文件系统中,比如,创…- 7
- 0
-
Kafka+Spark Streaming+Redis实时计算整合实践
基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.0版本的Spark搭建了计算平台,实现基于Spark Streaming的实时计算。 我们…- 14
- 0
-
Java使用RabbitMQ(四)–消息持久化
消息持久化 消息确认,保证了消费者die时,消息不丢失。 而消息持久化,则是为了保证RabbitMQ 怠机时,消息不丢失。 消息持久化需要以下操作: 1boolean durable = true; 2channel.queueDeclare("hello", durable, false, false, null); 3 需要注意的是,RabbitMQ不允许修改已经定义过的队…- 11
- 0
-
C# 操作rabbitmq(四)
此篇介绍rabbitmq的Topic 一、 虽然Routing可以让我们用更适合于工作业务的方式操作消息队列,但还是存在一定的局限性,例如不能同时适应多个,比如我们不仅想要监听来自cron的错误消息,也要坚定kern的消息,而Topic类型的exchange可以解决这个问题。 二、 Topic exchange topic exchange 发送的消息,routing-key不能是任意的,必须是一…- 7
- 0
-
AMQP-RabbitMQ/3/发布订阅模式
3. 发布订阅模式 Publish/Subscribe - 全集监听fanout 一次向多个消费者发送消息 图示 个人理解 生产者定义Exchange,同时将Exchange的类型定义为fanout,并向该Exchange发送消息。 消费者定义队列Queue,并将队列与该交换机进行绑定。之后交换机付负责将消息全量推送给每一个与之绑定的Queue **RabbitMQ中消息传递模型的核心思想是生产者…- 9
- 0
-
基于Python语言使用RabbitMQ消息队列(五)
Topics 在前面教程中我们改进了日志系统,相比较于使用fanout类型交易所只能傻瓜一样地广播,我们用direct获得了选择性接收日志的能力。 虽然使用direct类型交易所改进了我们的系统,但它仍然有所限制——它不能做基于多重条件(multiple criteria)的路由。 在日志系统中我们可能不只是想要基于严重级别来订阅日志。也想要基于产生日志的来源。你可能从unix的系统日志工具(sy…- 2
- 0
-
rabbitMq实现延时队列
rabbitMq是受欢迎的消息中间件之一,相比其他的消息中间件,具有高并发的特性(天生具备高并发高可用的erlang语言编写),除此之外,还可以持久化,保证消息不易丢失,高可用,实现集群部署,提供灵活的路由和可靠性,可视化管理等等的优点。 相比于其他的消息队列,rabbitmq最大的特色就是加入了exchange(交换器)这个东西,AMQP协议中的核心思想就是生产者和消费者隔离,生…- 12
- 0
-
分布式存储与分布式计算
目录 1、从一个新闻门户网站案例引入 2、推算一下你需要分析多少条数据? 3、黄金搭档:分布式存储+分布式计算 这篇文章聊一个话题:什么是分布式计算系统? (1)从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词,比如分布式服务框架,分布式系统,分布式存储系统,分布式消息系统。 但是有些经验尚浅的同学,可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个…- 10
- 0
-
分布式并行计算MapReduce
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 功能: 分布式文件系统,用来存储海量数据。 工作原理和过程:HDFS是Hadoop的分布式文件系统,HDFS中的文件会默认存储3份,存储在不同的机器上,提供容错机制,副本丢失或者宕机的自动恢复。HDFS总体上采用Master/Slave的架构,整个HDFS架构由Client、Na…- 9
- 0
-
SpringBoot+zk+dubbo架构实践(四):sb+zk+dubbo框架搭建(内附源码GitHub地址)
往期回顾 SpringBoot+zk+dubbo架构实践(一):本地部署zookeeper SpringBoot+zk+dubbo架构实践(二):SpringBoot 集成 zookeeper SpringBoot+zk+dubbo架构实践(三):部署Dubbo-admin管理平台 sb+zk+dubbo实现效果 模拟了一个provider服务提供方和PC、Web两个服务消费方.gif 前言 1先…- 16
- 0
-
初识Dubbo 系列之5-Dubbo 成熟度
成熟度 功能成熟度 并发控制 Tested 并发控制 试用 连接控制 Tested 连接数控制 试用 直连提供者 Tested 点对点直连服务提供方,用于测试 测试环境使用 Alibaba 分组聚合 Tested 分组聚合返回值,用于菜单聚合等服务 特殊场景使用 可用于生产环境 参数验证 Tested 参数验证,JSR303验证框架集成 对性能有影响 试用 LaiWang …- 19
- 0
-
初识Dubbo 系列之8-Dubbo 集群容错
集群容错 (+) (#) 在集群调用失败时,Dubbo提供了多种容错方案,缺省为failover重试。 1 各节点关系: 这里的Invoker是Provider的一个可调用Service的抽象,Invoker封装了Provider地址及Service接口信息。 Directory代表多个Invoker,可以把它看成List<Invoker>,但与List不同的是,它的值可能是动态变化的…- 2
- 0
-
SpringCloud微服务知识整理十:消息驱动的微服务:Spring Cloud Stream
什么是Spring Cloud Stream Spring Cloud Stream是一个用来为微服务应用构建消息驱动能力的框架。它可以基于Spring Boot来创建独立的、可用于生产的Spring应用程序。它通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动的微服务应用。Spring Cloud Stream为一些供应商的消息中间件产品提供了个性化的自动化配置实…- 15
- 0
-
Spring Cloud微服务技术栈(三):服务治理Spring Cloud Eureka核心元素分析
上一篇文章《Spring Cloud微服务技术栈(二):搭建高可用Eureka Server、服务注册与发现》主要是从使用的角度介绍了Spring Cloud Eureka,包括Eureka服务注册中心的搭建、多服务实例的注册以及服务的发现与消费。本文将继续深入了解Spring Cloud Eureka,将服务治理的核心元素进行简要分析,以帮助我们更加灵活地使用Spring Cloud Eurek…- 8
- 0
-
微服务架构核心技术七
简洁的服务分层方式 外部设备(PC,无线端,第三方接入)平台上. SOA分为两层,底下一层为基础服务(核心领域服务、公共服务、中间层服务),向上提供业务能力.第二层为聚合服务(适配服务、边界服务),低层服务比较通用,对不同的外部接入做一些适配、聚合裁剪工作.比如适配移动端和PC端,需要将几个服务进行聚合.这是逻辑性划分,不是物理性划分- 5
- 0
-
微服务架构核心(一)- 什么是微服务
微服务是目前互联网公司最常用的架构,与传统单体架构相比,微服务架构更加适应互联网快速、灵活的特点,接下来的系列文章我会逐一介绍微服务架构的核心知识点。 第一篇我们先来了解什么是微服务。 微服务的特点 微服务最经典的定义是Martinfowler老爷子在2014年的一篇文章中介绍的,原文如下: the microservice architectural style is an approach t…- 8
- 0
-
微服务架构核心技术十一
微服务API服务网关——开源网关Zuul doc: github Zuul spring cloud中对Zuul做了支持,感兴趣的可以去了解java spring家族 图示: servlet运行在tomcat容器中–>http请求会传递给zuulFilter Runer(管理zuul内部的所有过滤器,分为三个层次:前置路由过滤器、路由过滤器、后置路由过滤器)–>请求过来经过前置路由过滤…- 8
- 0
-
Spring Cloud构建微服务架构:消息驱动的微服务(消费组)【Dalston版】
通过之前的《消息驱动的微服务(入门)》一文,相信很多朋友已经对Spring Cloud Stream有了一个初步的认识。但是,对于《消息驱动的微服务(核心概念)》一文中提到的一些核心概念可能还有些迷糊,下面我们将详细的来学习一下这些概念。本文我们就来学习和使用一下“消费组”这一概念。 使用消费组实现消息消费的负载均衡 通常在生产环境,我们的每个服务都不会以单节点的方式运行在生产环境,当同一个服务启…- 5
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!