-
Kafka实战(三) – Kafka的自我修养与定位
Kafka是linkedin使用Scala编写具有高水平扩展和高吞吐量的分布式消息系统。 Kafka对消息保存时根据Topic进行归类，发送消息者成为Producer，消息接受者成为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。 无论是Kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性，为集群保…- 6
- 0
-
Kafka分区分配策略（4）——分配的实施
分配的实施 我们了解了Kafka中消费者的分区分配策略之后是否会有这样的疑问：如果消费者客户端中配置了两个分配策略，那么以哪个为准？如果有多个消费者，彼此所配置的分配策略并不完全相同，那么以哪个为准？多个消费者之间的分区分配是需要协同的，那么这个协同的过程又是怎样？ 在kafka中有一个组协调器（GroupCoordinator）负责来协调消费组内各个消费者的分区分配，对于每一个消费组而言，在ka…- 9
- 0
-
kafka解决了什么问题?
Web应用：部署在云服务器上，为个人电脑或者移动用户提供的访问体验。 SQL数据库：为Web应用提供数据持久化以及数据查询。 这套架构简洁而高效，很快便能够部署到百度云等云计算平台，以便快速推向市场。互联网不就是讲究小步快跑嘛！ 好景不长。随着用户的迅速增长，所有的访问都直接通过SQL数据库使得它不堪重负，不得不加上缓存服务以降低SQL数据库的荷载；为了理解用户行为，开始收集日志并保存到Hadoo…- 4
- 0
-
spark读取 kafka nginx网站日志消息 并写入HDFS中
spark 版本为1.0 kafka 版本为0.8 首先来看看kafka的架构图 详细了解请参考官方 我这边有三台机器用于kafka 日志收集的 A 192.168.1.1 为server B 192.168.1.2 为producer C 192.168.1.3 为consumer 首先在A上的kafka安装目录下执行如下命令 1./kafka-server-start.sh ../config…- 13
- 0
-
Java使用RabbitMQ（十）–常用操作以及注意事项
为了防止众所周知的身份信息用于生产环境的系统，guest只能用来访问本地。 channel可以主动关闭，但是这不是必须的，在关闭它所依赖的连接时，channel也会自动被关闭。 connection设计为长连接。 有个no wait 版本的队列 1channel.queueDeclareNoWait(queueName, true, false, false, null); 2 这种队列不接收ra…- 8
- 0
-
Docker下RabbitMQ四部曲之一：极速体验(单机和集群)
从本章开始，我们一起在Docker环境实战RabbitMQ环境部署和对应的Java开发，当前是《Docker下RabbitMQ四部曲》系列的第一篇，整个系列由以下四篇文章组成： 第一篇，即本章，我们用最快的方式体验RabbitMQ单机环境下生产和消费消息，然后再体验RabbitMQ集群环境下生产和消费消息； 第二篇，详细说明如何制作RabbitMQ的docker镜像文件，这个镜像支持集群，也能通过…- 17
- 0
-
AMQP-RabbitMQ/6/RPC模式/关注消息处理结果
6. RPC But what if we need to run a function on a remote computer and wait for the result? Well, that’s a different story. This pattern is commonly known as Remote Procedure Call or RPC. 大概意思是说，上面几种模式…- 6
- 0
-
基于Python语言使用RabbitMQ消息队列（二）
工作队列 在第一节我们写了程序来向命名队列发送和接收消息 。在本节我们会创建一个工作队列（Work Queue）用来在多个工人（worker）中分发时间消耗型任务（time-consuming tasks）。 工作队列(又叫做: Task Queues)背后的主体思想是 避免立刻去执行耗时任务并且等待它们完成。 相反我们可以安排这样的任务稍后执行. 我们可以把任务封装成一个消息并发送到队列中. 一…- 7
- 0
-
RabbitMQ消息队列（三）：任务分发机制
<=== RabbitMQ消息队列（二）：”Hello, World“ 在上篇文章中，我们解决了从发送端（Producer）向接收端（Consumer）发送“Hello World”的问题。在实际的应用场景中，这是远远不够的。从本篇文章开始，我们将结合更加实际的应用场景来讲解更多的高级用法。 当有Consumer需要大量的运算时，RabbitMQ Server需要一定的分发机…- 4
- 0
-
Elastic-Job – 分布式定时任务框架
摘要 Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。ddframe其他模块也有可独立开源的部分，之前当当曾开源过dd-soa的基石模块DubboX。项目开源地址：https://github.com/…- 5
- 0
-
SpringBoot集成RabbitMQ
AmqpTemplate,RabbitTemplate Spring AMQP提供了一个发送和接收消息的操作模板类AmqpTemplate。 AmqpTemplate它定义包含了发送和接收消息等的一些基本的操作功能。RabbitTemplate是AmqpTemplate的一个实现。 RabbitTemplate支持消息的确认与返回，为了返回消息，RabbitTemplate 需要设置mandato…- 35
- 0
-
linux安装rabbitmq
博客出自永远的麦子，原文地址：https://www.cnblogs.com/mcgrady/p/7614417.html。感谢博主分享。 安装erlang 1、通过yum安装以下组件，运行命令： 1[root@rabbitmqserver erlang]# yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-…- 2
- 0
-
16. Dubbo原理解析-集群&容错之router路由服务
Router服务路由， 根据路由规则从多个Invoker中选出一个子集AbstractDirectory是所有目录服务实现的上层抽象， 它在list列举出所有invokers后，会在通过Router服务进行路由过滤。 Router接口定义 public interface Router extendsComparable<Router> { URL getUrl(); <…- 14
- 0
-
Dubbo负载均衡：最少活跃数(LeastActive)的实现分析
最少活跃数的含义 官方解释：最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差，使慢的机器收到更少。 例如，每个服务维护一个活跃数计数器。当A机器开始处理请求，该计数器加1，此时A还未处理完成。若处理完毕则计数器减1。而B机器接受到请求后很快处理完毕。那么A,B的活跃数分别是1，0。当又产生了一个新的请求，则选择B机器去执行(B活跃数最小)，这样使慢的机器A收到少的请求。 最少活跃数的实现分…- 9
- 0
-
Springboot+Dubbo+Nacos 注解方式实现微服务调用
一.项目结构 1|-- spring-boot-dubbo-demo (父级工程) 2 |-- spring-boot-dubbo-base (基础工程) 3 |-- spring-boot-dubbo-consumer (消费者) 4 |-- spring-boot-dubbo-provider (生产者) 5 6 SpringBoot版本:2.2.0 Dubbo版本:2.7.…- 6
- 0
-
dubbo管理控制台安装和使用
关于dubbo的配置使用已经配置好了简单的示例，下面先记录下dubbo管理控制台的安装和使用（用的zookeeper的注册中心），在网上找了些按照示例 dubbo管理控制台开源部分主要包含： 提供者 路由规则 动态配置 访问控制 权重调节 负载均衡 负责人，等管理功能。 1、下载dubbo 官方地址：http://code.alibabatech.com/mvn/relea…- 10
- 0
-
Redis分布式锁—-乐观锁的实现，以秒杀系统为例
摘要：本文使用redis来实现乐观锁，并以秒杀系统为实例来讲解整个过程。 本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning 乐观锁 大多数是基于数据版本（version）的记录机制实现的。即为数据增加一个版本标识，在基于数据库表的版本解决方案中，一般是通过为数据库表增加一个”version”字段来实现读取出数据时，…- 21
- 0
-
Springcloud微服务项目——人力资源管理(HRM)Day01 项目的搭建
声明：此项目是本人为了学习而记录下来的 并不适用于每个人 如果有不懂得地方可以私信或者留言 最后祝大家敲代码永无BUG！ 文章目录 项目背景 功能模块 项目技术架构 技术架构 技术栈 前台技术 * 后台架构 后端项目微服务原型搭建 搭建一个顶级父类 hrm_parent 搭建springcloud微服务支持模块 hrm_support_parent 搭建Eureka注册中心 hrm-eureka-…- 6
- 0
-
Spring-cloud 微服务架构搭建 04 – Hystrix 监控配合turbine的配置使用
文章目录 Hystrix仪表盘和Turbine集群监控简介 hystrix-dashboard-turbine 模块快速搭建 1. Hystrix仪表盘和Turbine集群监控简介 Hystrix仪表盘主要监控hystrix中的各项指标信息，以“桶”和“滚动时间窗的形式”，进行记录保存供外部调用。Hystrix仪表盘可以对单个服务进行监控，暴露hystrix.stream接口，Turbine整合所…- 5
- 0
-
SpringBoot微服务 +tomcat集群+Ngnix负载均衡+Mysql主从复制，读写分离（2）
PS:首先通过虚拟机模拟了两台linux服务器，版本为CentOS6.6, 二：tomcat集群 1.删除Centos6.6默认的jdk版本，然后手动安装jdk1.8版本环境。具体安装可查看http://blog.csdn.net/u011687186/article/details/52590036 首先执行 rpm-qa|grep jdk 命令（查询当前安装的jdk）然后进行卸载，如下图…- 9
- 0
-
微服务分布式事务实战（一） 项目需求描述和实现步骤
本文通过一个具体实例如何实施springCloud 分布式事务，不对分布式事务理论做探索。由于内容较多，分多个小节来说明 案例需求： 创建2个基于springCloud的微服务，分别访问不同的数据库；然后创建一个整合服务，调用微服务实现数据的保存到2个不同的数据库，要求采用分布式事务，要么都成功，要么都失败。 案例拓扑图: 实现步骤： 1 分布式事务处理器的编译和运行 1Redis 安装 2注册中…- 5
- 0
-
ASP.NET Core微服务之基于MassTransit实现数据最终一致性（1）
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、预备知识：数据一致性 关于数据一致性的文章，园子里已经有很多了，如果你还不了解，那么可以通过以下的几篇文章去快速地了解了解，有个感性认识即可。 （1）左正，《保证分布式系统数据一致性的6种方案》 （2）成金之路，《分布式系统的数据一致性解决方案》 （3）E_Star，《分布式环境下数据一致性的设计总结》 （4）Itegel，《分布式…- 11
- 0
-
Spring Cloud构建微服务架构：消息驱动的微服务（核心概念）【Dalston版】
通过《Spring Cloud构建微服务架构：消息驱动的微服务（入门）》一文，相信大家对Spring Cloud Stream的工作模式已经有了一些基础概念，比如：输入、输出通道的绑定，通道消息事件的监听等。下面在本文中，我们将详细介绍一下Spring Cloud Stream中是如何通过定义一些基础概念来对各种不同的消息中间件做抽象的。 下图是官方文档中对于Spring Cloud Stream…- 10
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×