-
RabbitMQ VS Apache Kafka （九）—— RabbitMQ集群的分区容错性与高可用性
本章，我们讨论有关RabbitMQ的容错性，消息一致性及高可用性。RabbitMQ可以作为集群节点来运行，因此RabbitMQ通常被归为分布式消息系统，对于分布式消息系统，我们的关注点通常是一致性与可用性。 我们为什么要讨论分布式系统的一致性与可用性，本质在于两者描述的是系统在失败的情况下表现如何。在实际应用中，网络连接失败、服务器宕机，硬盘损坏，服务器由于GC暂时不可用，网络连接丢失或速度慢，所…- 8
- 0
-
RabbitMQ VS Apache Kafka （一）—— RabbitMQ简介
在接下来的系列章节中，我们将探讨两种消息中间件RabbitMQ与Apache Kafka，从设计的角度来看，作为两种不同的消息中间件，各自都有自己的技术考究，也都有一定的优缺点。本章，我们将不会去评判孰优孰劣，而是作为接下来本系列的引言或者入门。 RabbitMQ RabbitMQ是一个分布式的消息队列系统。之所以说是分布式，因为它通常作为节点集群运行，这其中队列分布在节点上，并可选择复制以实现分…- 8
- 0
-
Kafka的Log存储解析
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。 partition是以文件的形式存储在文件系统中，比如，创…- 7
- 0
-
Kafka+Spark Streaming+Redis实时计算整合实践
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。 我们…- 14
- 0
-
Java使用RabbitMQ（四）–消息持久化
消息持久化 消息确认，保证了消费者die时，消息不丢失。 而消息持久化，则是为了保证RabbitMQ 怠机时，消息不丢失。 消息持久化需要以下操作： 1boolean durable = true; 2channel.queueDeclare("hello", durable, false, false, null); 3 需要注意的是，RabbitMQ不允许修改已经定义过的队…- 11
- 0
-
C# 操作rabbitmq（四）
此篇介绍rabbitmq的Topic 一、 虽然Routing可以让我们用更适合于工作业务的方式操作消息队列，但还是存在一定的局限性，例如不能同时适应多个，比如我们不仅想要监听来自cron的错误消息，也要坚定kern的消息，而Topic类型的exchange可以解决这个问题。 二、 Topic exchange topic exchange 发送的消息，routing-key不能是任意的，必须是一…- 7
- 0
-
AMQP-RabbitMQ/3/发布订阅模式
3. 发布订阅模式 Publish/Subscribe - 全集监听fanout 一次向多个消费者发送消息 图示 个人理解 生产者定义Exchange，同时将Exchange的类型定义为fanout，并向该Exchange发送消息。 消费者定义队列Queue，并将队列与该交换机进行绑定。之后交换机付负责将消息全量推送给每一个与之绑定的Queue **RabbitMQ中消息传递模型的核心思想是生产者…- 9
- 0
-
基于Python语言使用RabbitMQ消息队列（五）
Topics 在前面教程中我们改进了日志系统，相比较于使用fanout类型交易所只能傻瓜一样地广播，我们用direct获得了选择性接收日志的能力。 虽然使用direct类型交易所改进了我们的系统，但它仍然有所限制——它不能做基于多重条件（multiple criteria）的路由。 在日志系统中我们可能不只是想要基于严重级别来订阅日志。也想要基于产生日志的来源。你可能从unix的系统日志工具（sy…- 2
- 0
-
rabbitMq实现延时队列
rabbitMq是受欢迎的消息中间件之一，相比其他的消息中间件，具有高并发的特性（天生具备高并发高可用的erlang语言编写），除此之外，还可以持久化，保证消息不易丢失，高可用，实现集群部署，提供灵活的路由和可靠性，可视化管理等等的优点。 相比于其他的消息队列，rabbitmq最大的特色就是加入了exchange（交换器）这个东西，AMQP协议中的核心思想就是生产者和消费者隔离，生…- 12
- 0
-
分布式存储与分布式计算
目录 1、从一个新闻门户网站案例引入 2、推算一下你需要分析多少条数据？ 3、黄金搭档：分布式存储+分布式计算 这篇文章聊一个话题：什么是分布式计算系统？ （1）从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。 但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个…- 10
- 0
-
分布式并行计算MapReduce
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 功能： 分布式文件系统，用来存储海量数据。 工作原理和过程：HDFS是Hadoop的分布式文件系统，HDFS中的文件会默认存储3份，存储在不同的机器上，提供容错机制，副本丢失或者宕机的自动恢复。HDFS总体上采用Master/Slave的架构，整个HDFS架构由Client、Na…- 9
- 0
-
SpringBoot+zk+dubbo架构实践（四）：sb+zk+dubbo框架搭建（内附源码GitHub地址）
往期回顾 SpringBoot+zk+dubbo架构实践（一）：本地部署zookeeper SpringBoot+zk+dubbo架构实践（二）：SpringBoot 集成 zookeeper SpringBoot+zk+dubbo架构实践（三）：部署Dubbo-admin管理平台 sb+zk+dubbo实现效果 模拟了一个provider服务提供方和PC、Web两个服务消费方.gif 前言 1先…- 16
- 0
-
初识Dubbo 系列之5-Dubbo 成熟度
成熟度 功能成熟度 并发控制 Tested 并发控制 试用 连接控制 Tested 连接数控制 试用 直连提供者 Tested 点对点直连服务提供方，用于测试 测试环境使用 Alibaba 分组聚合 Tested 分组聚合返回值，用于菜单聚合等服务 特殊场景使用 可用于生产环境 参数验证 Tested 参数验证，JSR303验证框架集成 对性能有影响 试用 LaiWang …- 19
- 0
-
初识Dubbo 系列之8-Dubbo 集群容错
集群容错 (+) (#) 在集群调用失败时，Dubbo提供了多种容错方案，缺省为failover重试。 1 各节点关系： 这里的Invoker是Provider的一个可调用Service的抽象，Invoker封装了Provider地址及Service接口信息。 Directory代表多个Invoker，可以把它看成List<Invoker>，但与List不同的是，它的值可能是动态变化的…- 2
- 0
-
SpringCloud微服务知识整理十：消息驱动的微服务：Spring Cloud Stream
什么是Spring Cloud Stream Spring Cloud Stream是一个用来为微服务应用构建消息驱动能力的框架。它可以基于Spring Boot来创建独立的、可用于生产的Spring应用程序。它通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动的微服务应用。Spring Cloud Stream为一些供应商的消息中间件产品提供了个性化的自动化配置实…- 15
- 0
-
Spring Cloud微服务技术栈（三）：服务治理Spring Cloud Eureka核心元素分析
上一篇文章《Spring Cloud微服务技术栈（二）：搭建高可用Eureka Server、服务注册与发现》主要是从使用的角度介绍了Spring Cloud Eureka，包括Eureka服务注册中心的搭建、多服务实例的注册以及服务的发现与消费。本文将继续深入了解Spring Cloud Eureka，将服务治理的核心元素进行简要分析，以帮助我们更加灵活地使用Spring Cloud Eurek…- 8
- 0
-
微服务架构核心技术七
简洁的服务分层方式 外部设备(PC,无线端，第三方接入)平台上. SOA分为两层,底下一层为基础服务(核心领域服务、公共服务、中间层服务),向上提供业务能力.第二层为聚合服务(适配服务、边界服务),低层服务比较通用,对不同的外部接入做一些适配、聚合裁剪工作.比如适配移动端和PC端,需要将几个服务进行聚合.这是逻辑性划分，不是物理性划分- 5
- 0
-
微服务架构核心（一）- 什么是微服务
微服务是目前互联网公司最常用的架构，与传统单体架构相比，微服务架构更加适应互联网快速、灵活的特点，接下来的系列文章我会逐一介绍微服务架构的核心知识点。 第一篇我们先来了解什么是微服务。 微服务的特点 微服务最经典的定义是Martinfowler老爷子在2014年的一篇文章中介绍的，原文如下： the microservice architectural style is an approach t…- 8
- 0
-
微服务架构核心技术十一
微服务API服务网关——开源网关Zuul doc: github Zuul spring cloud中对Zuul做了支持,感兴趣的可以去了解java spring家族 图示: servlet运行在tomcat容器中–>http请求会传递给zuulFilter Runer(管理zuul内部的所有过滤器，分为三个层次:前置路由过滤器、路由过滤器、后置路由过滤器)–>请求过来经过前置路由过滤…- 8
- 0
-
Spring Cloud构建微服务架构：消息驱动的微服务（消费组）【Dalston版】
通过之前的《消息驱动的微服务（入门）》一文，相信很多朋友已经对Spring Cloud Stream有了一个初步的认识。但是，对于《消息驱动的微服务（核心概念）》一文中提到的一些核心概念可能还有些迷糊，下面我们将详细的来学习一下这些概念。本文我们就来学习和使用一下“消费组”这一概念。 使用消费组实现消息消费的负载均衡 通常在生产环境，我们的每个服务都不会以单节点的方式运行在生产环境，当同一个服务启…- 5
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×