-
kafka原理系列之（四）ACK机制（数据可靠性和持久性保证）
1、kafka的ack机制的分类 1request.required.asks=0 2 3 当producer向leader发送数据时，可以通过request.required.acks参数来设置数据可靠性的级别： 0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高， 但是数据可靠性确是最低的。 1（默认）：这意味着producer在ISR中…- 105
- 0
-
RabbitMQ VS Apache Kafka （七）—— RabbitMQ消息路由原语与路由保证
路由保证 RabbitMQ和Kafka都提供给了持续的消息路由保证，两者都提供了最多一次和最少一次的路由保证，此外，Kafka还提供了有限应用场景下的仅一次可靠性路由保证。首先，我们看下这三种路由保证的具体含义： 最多一次：一个消息最多被路由不超过一次，消息可能丢失。 最少一次：消息永远不会丢失，但同一个消息可能会被路由到一个消费者多次。 仅一次：消息路由的理想模式，一个消息只被路由一次。 说消息…- 2
- 0
-
Kafka 中使用 Avro 序列化组件(三)：Confluent Schema Registry
1. schema 注册表 无论是使用传统的Avro API自定义序列化类和反序列化类还是使用Twitter的Bijection类库实现Avro的序列化与反序列化，这两种方法都有一个缺点：在每条Kafka记录里都嵌入了schema，这会让记录的大小成倍地增加。但是不管怎样，在读取记录时仍然需要用到整个 schema，所以要先找到 schema。有没有什么方法可以让数据共用一个schema？ 我们遵…- 126
- 0
-
Kafka发送超过broker限定大小的消息时Client和Broker端各自会有什么异常？
前几天遇到一个bug，查看发送日志发现java.io.IOException: Broken pipe的错误，通过深入了解发现当kafka producer发送的消息体大于Broker配置的默认值时就会报这个异常。如果仅发送一次是不会报这个异常的，要连续发送才会报这个异常。 本博文记录一下当Kafka发送超过broker限定大小的消息时Client和Broker端各自会有什么异常。 Kafka B…- 7
- 0
-
Flume+kafka+spark streaming+Redis实时统计广告投放的pv,uv,click,cost
因为业务逻辑的修改，投放数据存入大数据集群中，因此，需要修改之前的业务逻辑，需要实时知道rtb投放的花费情况。 环境版本： spark: 2.11-2.4.0-cdh6.2.0 kafka: 2.1.0-cdh6.2.0 fluem: 1.9.0-cdh6.2.0 Flume配置 1a1.sources = r1 2 3a1.sinks = k1 4 5a1.channels = c1 6 7#s…- 47
- 0
-
Java使用RabbitMQ（二）–发送和接收信息
发送和接收信息 发送方： 1public class BaseTest2 { 2 public static String queueName="q1"; 3 4 public static ConnectionFactory factory; 5 public static Connection getConnection(String username,String pas…- 3
- 0
-
.Net下RabbitMQ的使用(9) — 在WCF下使用RabbitMQ
RabbitMQ .net客户端通过自定义的Binding和Transport Binding Element扩展了WCF，使之能够在AMQP协议上使用。在WCF中，Binding作为一系列Binding Elements的栈，控制了消息传输的大部分方面如安全，消息格式，事务等等。而Binding中的Transport Binding Element传输绑定元素，则指定了服务端和客户端之间的通信协…- 9
- 0
-
.Net下RabbitMQ的使用(5) — 持久化
消息的持久化是消息队列必备的功能之一。在这篇文章中，就介绍一下RabbitMQ的持久化机制，和它的使用。 队列的持久化 在前几篇的例子中，我们常常看到如下定义queue的方法： 1channel.QueueDeclare("Q1", false, false, false, null); 2 方法的第四的参数autoDelete，一般都会输入false。文档描述这个参数如果是t…- 4
- 0
-
基于Python语言使用RabbitMQ消息队列（四）
路由 在上一节我们构建了一个简单的日志系统。我们能够广播消息给很多接收者。 在本节我们将给它添加一些特性——我们让它只订阅所有消息的子集。例如，我们只把严重错误（critical error）导入到日志文件（存入磁盘空间），但仍然可以打印所有日志消息到控制台。 绑定 前面的例子中我们已经创建了绑定，像下面这样： 1channel.queue_bind(exchange=exchange_name,…- 2
- 0
-
RabbitMQ集群部署
一、搭建单节点的MQ 先到官网下载rabbitMQ安装包，由于我的系统是CentOS6.5 故下载CentOS6.x版本的 1yum install epel-release //安装epel依赖 2 3wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm //下载erlang安装包 4rpm -U…- 13
- 0
-
使用Spring Session和Redis解决分布式Session跨域共享问题
前言 对于分布式使用Nginx+Tomcat实现负载均衡，最常用的均衡算法有IP_Hash、轮训、根据权重、随机等。不管对于哪一种负载均衡算法，由于Nginx对不同的请求分发到某一个Tomcat，Tomcat在运行的时候分别是不同的容器里，因此会出现session不同步或者丢失的问题。 实际上实现Session共享的方案很多，其中一种常用的就是使用Tomcat、Jetty等服务器提供的Sessio…- 3
- 0
-
Mycat 分布式事务的实现
引言：Mycat已经成为了一个强大的开源分布式数据库中间件产品。面对企业应用的海量数据事务处理，是目前最好的开源解决方案。但是如果想让多台机器中的数据保存一致，比较常规的解决方法是引入“协调者”来统一调度所有节点的执行。 本文选自《分布式数据库架构及企业实践——基于Mycat中间件》。 随着并发量、数据量越来越大及业务已经细化到不能再按照业务划分，我们不得不使用分布式数据库提高系统的性能。在分布…- 51
- 0
-
24. Dubbo原理解析-编码解码之编码解码流程
这里把ExchangeCodec和DubboCodec放一起来讲解dubbo传输的底层协议组成以及它的编码解码过程。 传输协议 协议格式<header><bodydata> 协议头 ：header 是16个字节的定长数据 = 2 //short类型的MAGIC = (short) 0xdabb 1 //一个字节的消息标志位，用来表示消息是request还是//r…- 5
- 0
-
8. Dubbo原理解析-代理之服务发布
服务发布是服务提供方向注册中注册服务过程，以便服务消费者从注册中心查阅并调用服务。 服务发布方在spring的配置文件中配置如下： <bean id="demoService"class="com.alibaba.dubbo.demo.provider.DemoServiceImpl" /> 上面是在spring中配置的服务的具体实现，是spri…- 4
- 0
-
3. Dubbo原理解析-Dubbo内核实现之动态编译
我们运行的java代码，一般都是编译之后的字节码。Dubbo为了实现基于spi思想的扩展特性，特别是能够灵活添加额外功能，对于扩展或者说是策略的选择这个叫做控制类也好设配类也好的类要能够动态生成。当然对应已知需求如Protocol, ProxyFactory他们的策略选择的设配类代码dubbo直接提供也无妨，但是dubbo作为一个高扩展性的框架，使得用户能够添加自己的需求，根据配置动态生成自己的设…- 3
- 0
-
初识Dubbo 系列之6-Dubbo 配置
配置 Xml配置 配置项说明 详细配置项，请参见：配置参考手册 (+) 1 API使用说明 如果不想使用Spring配置，而希望通过API的方式进行调用，请参见：API配置 (+) 1 配置使用说明 想知道如何使用配置，请参见：快速启动 (+) 1 示例： provider.xml 1<? 2 xml 3 version 4 = 5 "1.0" 6 encoding 7 …- 0
- 0
-
Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错）
互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。 第一：介绍Dubbo背景 ![](http://img.5iqiqu.com/images3/aa/aa1702bb728a831311ad8df4710803…- 4
- 0
-
锁、分布式锁，事务、分布式事务的基本概念
文章目录 1.锁： * 2.分布式锁： * 3.事务 * 4.分布式事务 1.锁： 单进程的系统中，存在多线程同时操作一个公共变量，此时需要加锁对变量进行同步操作，保证多线程的操作线性执行消除并发修改。 解决发是单进程中多线程并发问题。 2.分布式锁： 只要的应用场景是在集群模式的多个相同服务，可能会部署在不同机器上，解决进程间安全问题，防止多进程同时操作一个变量或者数据库。 解决的是多进程的并发…- 2
- 0
-
go-kit实践之4：go-kit微服务熔断机制的实现
在微服务架构中，每一个微服务都是一个独立的业务功能单元，而一个应用一般由多个微服务组成，微服务之间的交互是通过RPC（远程过程调用）完成。 比如，我们的应用是微服务A调用微服务B和微服务C来完成的，而微服务B又需要调用微服务D，微服务D又需要调用微服务E。如果在调用的链路上对微服务E的调用，响应时间过长或者服务不可用，那么对微服务D的调用就会占用越来越多的系统资源，进而引起微服务D的系统崩溃，微服…- 27
- 0
-
SpringCloud微服务知识整理九：消息总线：Spring Cloud Bus
什么是Spring Cloud Bus 在微服务架构的系统中， 我们通常会使用轻量级的消息代理来构建一个共用的消息主题让系统中所有微服务实例都连接上来， 由于该主题中产生的消息会被所有实例监听和消费， 所以我们称它为消息总线。 在总线上的各个实例都可以方便地广播一些需要让其他连接在该主题上的实例都知道的消息， 例如配置信息的变更或者其他一些管理操作等。 通过使用 Spring Cloud Bus …- 10
- 0
-
SpringCloud微服务知识整理三：服务治理 Spring Cloud Eureka
什么是Spring Cloud Eureka Spring Cloud Eureka是Spring Cloud Netflix 微服务套件中的一部分，它基于Netflix Eureka做了二次封装，主要负责完成微服务架构中的服务治理功能。Spring Cloud 通过为Eureka增加了Spring Boot风格的自动化配置，我们只需通过引入依赖和注解配置就能让Spring Boot构建的微服务应…- 16
- 0
-
微服务架构核心技术六
阿里巴巴中台战略 马云在到芬兰supercell公司参观回国后,阿里巴巴在2015年底正式宣布启动中台战略.实现了服务重用和业务沉淀.强化业务中台和技术中台，对上层应用支撑越强，赋能业务持续创新，快速响应市场需求 推荐书籍: 企业IT架构转型之道 现代互联网技术体系可以大致分为下面四个层次: IaaS基础设施即服务->Paas平台即服务->核心业务层->PC主站/APP/h5等应…- 0
- 0
-
ASP.NET Core微服务之基于Apollo实现统一配置中心
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、关于统一配置中心与Apollo 在微服务架构环境中，项目中配置文件比较繁杂，而且不同环境的不同配置修改相对频繁，每次发布都需要对应修改配置，如果配置出现错误，需要重新打包发布，时间成本较高，因此需要做统一的配置中心，能做到自动更新配置文件信息，解决以上问题。 Apollo（阿波罗）是携程框架部门研发的配置管理平台，能够集中化管理应用…- 1
- 0
-
ASP.NET Core微服务之基于Ocelot实现API网关服务（2）
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、负载均衡与请求缓存 1.1 负载均衡 为了验证负载均衡，这里我们配置了两个Consul Client节点，其中ClientService分别部署于这两个节点内（192.168.80.70与192.168.80.71）。 为了更好的展示API Repsonse来自哪个节点，我们更改一下返回值： 1 [Route("api/[…- 0
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×