-
Kafka实战(七) – 优雅地部署 Kafka 集群
既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ 区别相当大！ 确实，Kafka由…- 10
- 0
-
RabbitMQ VS Apache Kafka （八）—— Kafka消息路由原语与路由保证
Kafka的路由保证主要基于以下实现： 消息持久化：一旦消息存储到主题中，则确认不会出现丢失消息的问题 消息确认：Kafka（或者是Zookeeper）与发布者、订阅者之间的消息通信 消息批量 Kafka与RabbitMQ一个最大的不同之处在于Kafka支持在消息发送和处理时批量操作。当然，RabbitMQ也可以实现类似批量的操作： 每多少条消息暂停一次直至收到所有的消息确认。 消费者设置预取阈值…- 19
- 0
-
Kafka分区分配策略（1）——RangeAssignor
引言 按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图（1）。 此时消费组内又加入了一个新的消费者C1，按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费，情形上图（2），消费者C0和C1各…- 9
- 0
-
Kafka和消息队列之间的超快速比较
原文：A super quick comparison between Kafka and Message Queues 作者：Hendrik Swanepoel 翻译：Vincent 译者注：本文的目的是让读者快速了解Kafka与消息队列之间的关系，告诉读者为什么会考虑使用它的原因。以下为译文。 Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列…- 3
- 0
-
Kafka实战－Storm Cluster
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录： Storm简述 基础软件 安装部署 效果预览 下面开始今天的内容分享。 2.Storm简述 Twitter将Storm开源了，这是一个分布…- 3
- 0
-
Java使用RabbitMQ（三）–消息确认
消息确认 RabbitMQ 每将一个消息交付给一个消费者时，会立刻把这个消息标记为被删除，如果消费者在处理消息时怠机了，那么这个消息就彻底消失了，这很明显不符合我们的期望，我们希望在一个消费者怠机时，把这个消息交付给其他消费者处理。 所以 RabbitMQ 让消费者在处理完消息后，返回确认消息，告知RabbitMQ 你确实可以删除这条消息了。 也就是 channel.basicConsume(TA…- 5
- 0
-
C# 操作rabbitmq（三）
此篇介绍rabbitmq的Routing 一、 使用exchange时，会广播给所有连接的consumer，而有时候我们需要订阅消息的子集就好，例如只需要其中的一些错误信息写入到日志当中 二、 Bindings 在上一篇中我们创建了exchange和queue的绑定，其中有一个属性routingKey，该属性依赖于exchange的类型，fanout会忽略改属性。 direct类型的exchang…- 10
- 0
-
Spring Boot 配置多源的 RabbitMQ
简介 MQ 是开发中很平常的中间件，本文讲述的是怎么在一个Spring Boot项目中配置多源的RabbitMQ，这里不过多的讲解RabbitMQ的相关知识点。如果你也有遇到需要往多个RabbitMQ中发送消息的需求，希望本文可以帮助到你。 环境 rabbitmq 3.7.12 spring boot 2.1.6.RELEASE 当然软件的版本不是硬性要求，只是我使用的环境而已，唯一的要求是需要启…- 14
- 0
-
RabbitMQ消息队列（六）：使用主题进行消息分发
在上篇文章 RabbitMQ消息队列（五）：Routing 消息路由 中，我们实现了一个简单的日志系统。Consumer可以监听不同severity的log。但是，这也是它之所以叫做简单日志系统的原因，因为是仅仅能够通过severity设定。不支持更多的标准。 比如syslog unix的日志工具，它可以通过severity (info/warn/crit...)…- 3
- 0
-
RabbitMQ消息持久化
在某些特定场景中,队列中的数据十分重要,比如当客户需要确认支付时的验证码,这时候如果服务器突然出现了故障,那么队列中的消息必须存在,不能丢失.这种消息需要进行持久化处理.这也是RabbitMQ的一大特色,消息可靠性 消息持久化:在服务器出现故障后,消息依旧存在于队列之中. 一.queue的持久化 queue的持久化通过durable=true来实现,信道的第二个参数即durable 1channe…- 5
- 0
-
分布式中 CAP BASE ACID 理解
概念理解（CAP,BASE, ACID) CAP CAP: Consistency, Availability, Partition-tolerance **强一致性(Consistency)。**系统在执行过某项操作后仍然处于一致的状态。在分布式系统中，更新操作执行成功后所有的用户都应该读取到最新的值，这样的系统被认为具有强一致性。 **可用性(Availability)。**每一个操作总是能…- 6
- 0
-
MyCat,Cobar,分布式数据库分片（MySQL高可用中间件）
**大纲 ** 第一 MYCAT 背景 第二 MYCAT 发展 第三 MYCAT 简介 第四 MYCAT特性 第五 MYCAT安装使用 第六 MYCAT和COBAR 比较 第七 参考 **一，**背景 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足： （1）集中式处理，势必造成性能瓶颈； （2）…- 20
- 0
-
18. Dubbo原理解析-服务调用
服务消费方发起请求 当服务的消费方引用了某远程服务，服务的应用方在spring的配置实例如下： < dubbo:reference id="demoService" interface="com.alibaba.dubbo.demo.DemoServ ice" /> demoService实例其实是代理工厂生产的代理对象（大家可以参考代理那部分…- 4
- 0
-
初识Dubbo 系列之4-Dubbo 依赖
依赖 链接地址必需依赖 JDK1.5+ 理论上Dubbo可以只依赖JDK，不依赖于任何三方库运行，只需配置使用JDK相关实现策略。 1 链接地址缺省依赖 通过mvn dependency:tree > dep.log命令分析，Dubbo缺省依赖以下三方库： 1[INFO] +- com.alibaba:dubbo:jar:2.1.2:compile 2 3 4 5 6 7 [INFO] | …- 5
- 0
-
初识Dubbo 系列之7-Dubbo 示例
示例 想完整的运行起来，请参见：快速启动 (+)，这里只列出各种场景的配置方式 1 以下示例全部使用基于Spring的Xml配置 (+)作为参考，如果不想使用Spring，而希望通过API的方式进行调用，请参见：API配置 (+) 1 链接地址启动时检查 (+) (#) Dubbo缺省会在启动时检查依赖的服务是否可用，不可用时会抛出异常，阻止Spring初始化完成，以便上线时，能及早发现问题，默认…- 3
- 0
-
基于Dubbo框架构建分布式服务
转自：http://shiyanjun.cn/archives/1075.html 很好的文章 Dubbo是Alibaba开源的分布式服务框架，我们可以非常容易地通过Dubbo来构建分布式服务，并根据自己实际业务应用场景来选择合适的集群容错模式，这个对于很多应用都是迫切希望的，只需要通过简单的配置就能够实现分布式服务调用，也就是说服务提供方（Provider）发布的服务可以天然就是集群服务，比如，…- 2
- 0
-
如何用Redlock实现分布式锁
setNx是一个耗时操作，因为它需要查询这个键是否存在，就算redis的百万的qps，在高并发的场景下，这种操作也是有问题的。关于redis实现分布式锁，redis官方推荐使用redlock。 一、redlock简介 在不同进程需要互斥地访问共享资源时，分布式锁是一种非常有用的技术手段。实现高效的分布式锁有三个属性需要考虑： 安全属性：互斥，不管什么时候，只有一个客户端持有锁 效率属性A:不会死锁…- 12
- 0
-
go-kit实践之5：go-kit微服务请求跟踪实现
一、介绍 go-kit 提供了两种tracing请求跟踪 1、opentracing【跟踪标准】 2、zipkin【zipkin的go封装】 我们下面来介绍下zipkin在go-kit中的使用方法。 二、zipkin安装启动 1、ZipKin入门介绍 Zipkin是一款开源的分布式实时数据追踪系统（Distributed Tracking System），基于 Google Dapper的论文设…- 55
- 0
-
docker微服务部署之：三，搭建Zuul微服务项目
docker微服务部署之：二、搭建文章微服务项目 一、新增demo_eureka模块,并编写代码 右键demo_parent->new->Module->Maven,选择Module SK为jdk8->ArtifactId:demo_zuul 1.修改pom.xml文件 1<?xml version="1.0" encoding="UTF…- 4
- 0
-
SpringCloud微服务知识整理四：客户端负载均衡 Spring Cloud Ribbon
什么是Spring Cloud Ribbon Spring cloud ribbon 是一个基于 HTTP 和 TCP 的客户端负载均衡工具，它基于Netflix Ribbon 实现。通过Spring Cloud 的封装，可以轻松的将面向服务的REST模块请求自动转换为客户端负载均衡的服务调用。 Spring Cloud Ribbon 存在于每一个Spring Cloud 构建的微服务和基础设施中…- 2
- 0
-
微服务分布式事务实战（四）分布式事务处理器的下载，编译和运行
分布式事务处理器的下载，编译和运行 （1）下载分布式事务处理器工程源码 1https://github.com/codingapi/tx-lcn/ 2 3 （2）导入eclipse （3）修改配置文件 填写分布式事务服务器地址，redis地址 ，注册中心地址 1#######################################txmanager-start###############…- 8
- 0
-
ASP.NET Core微服务之基于App.Metrics+InfluxDB+Grafana实现统一性能监控
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、关于App.Metrics+InfluxDB+Grafana 1.1 App.Metrics App.Metrics是一款开源的支持.NET Core的_监控_插件，它还可以支持跑在.NET Framework上的应用程序（版本 >= 4.5.2）。官方文档地址：https://www.app-metrics.io/ 1.2 …- 6
- 0
-
ASP.NET Core微服务之基于Ocelot+Butterfly实现分布式追踪
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、什么是Tracing？ 微服务的特点决定了功能模块的部署是分布式的，以往在单应用环境下，所有的业务都在同一个服务器上，如果服务器出现错误和异常，我们只要盯住一个点，就可以快速定位和处理问题，但是在微服务的架构下，大部分功能模块都是单独部署运行的，彼此通过总线交互，都是无状态的服务，这种架构下，前后台的业务流会经过很多个微服务的处理和…- 6
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×