-
flume+kafka+storm+mysql架构设计
版本： flume-ng1.6 kafka2.10-0.8.2 storm0.9.5 大家可以看这篇文章中的架构图和数据流向图。但是安装部署请看最新版的。 另外目前主要给银行做hadoop、spark、impala、storm项目，欢迎热爱技术的朋友加好友一起探讨大数据。 序言 1前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。 这个框架用的组件基本都是最新稳定版本，fl…- 4
- 0
-
Kafka消息序列化和反序列化（上）
Kafka Producer在发送消息时必须配置的参数为：bootstrap.servers、key.serializer、value.serializer。序列化操作是在拦截器（Interceptor）执行之后并且在分配分区(partitions)之前执行的。 首先我们通过一段示例代码来看下普通情况下Kafka Producer如何编写： 1public class ProducerJavaDe…- 8
- 0
-
Java使用RabbitMQ（六）–订阅发布
发布订阅模式 这一篇主要是java 客户端使用rabbitMQ发布和订阅消息。 前面几篇讲的是将一个消息只发给一个worker，这里讲的是将一个消息同时发给多个订阅者，也就是发布/订阅模式。 为了阐明这种模式，这里将创建一个简单的日志系统，这个系统由2部分组成：第一部分，发送日志消息；第二部分接收和打印日志消息。 在这个日志系统中，复制了一份receiver，一个接收者用来把收到的消息存储到硬盘中…- 12
- 0
-
Docker 之 部署RabbitMQ集群并实现Haproxy代理(一)
前言 本小节我们学习一下使用Docker部署RabbitMQ集群。 RabbitMQ Docker Hub 目录参考 1[root@iZ2ze8sm5upgi8z1dcazqeZ rabbitmq]# pwd 2/workspace/rabbitmq 3[root@iZ2ze8sm5upgi8z1dcazqeZ rabbitmq]# tree 4. 5├── config 6│ └── docke…- 13
- 0
-
使用Docker-Compose搭建Rabbitmq集群
1.使用镜像搭建集群，docker-compose.xml配置见下面的github具体配置 https://github.com/bijukunjummen/docker-rabbitmq-cluster 具体变更如下： 说完端口，下面提供一个三节点的docker-compose文件。 rabbit1（10.106.136.7） 1rabbit1: 2 image: bijukunjummen/r…- 15
- 0
-
RabbitMQ开机自启动脚本
在/etc/init.d 目录下新建一个 rabbitmq-server 文件， 复制上面的内容 添加到 rabbitmq-server 文件里。 适当修改 红色部分 DAEMON= /home/software/rabbitmq/sbin/${NAME} CONTROL= /home/software/rabbitmq/sbin/rabbitmqctl DESC=rabbitmq-server …- 16
- 0
-
net core 使用 rabbitmq
目录(?)[+] 安装 基本用法 RabbitMQ消费失败的处理 使用RabbitMQ的Exchange Direct Exchange Fanout Exchange Topic Exchange 问题： None of the specified endpoints were reachable windows环境安装： https://www.daimajiaoliu.com/serie…- 50
- 0
-
Celery 分布式任务队列快速入门
本节内容 Celery介绍和基本使用 在项目中如何使用celery 启用多个workers Celery 定时任务 与django结合 通过django配置celery periodic task 一、Celery介绍和基本使用 Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用ce…- 18
- 0
-
SpringBoot整合RabbitMq
SpringBoot整合RabbitMq 1.介绍 1.1 RabbitMQ MQ全称为Message Queue，即消息队列， RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开 发中应用非常广泛。RabbitMQ官方地址：http://www.rabb…- 14
- 0
-
10. Dubbo原理解析-Listener & filter
Listener ExporterListener: dubbo在服务暴露(exporter)以及销毁暴露(unexporter)服务的过程中提供了回调窗口，供用户做业务处理。ProtocolListenerWrapper在暴露过程中构建了监听器链 public class ProtocolListenerWrapper implements Protocol { public <T&…- 23
- 0
-
26. Dubbo原理解析-监控
Dubbo发布代码中，自带了一个简易的监控中心实现。对于一般的小业务这个监控中心应该能够满足需求，对于那些大业务量的大公司一般都会有自己的监控中心，更加丰富的功能如常用的报警短信通知等等。这章讲解分析使得读者能够了解一般的监控中心实现，也使得有自己接入监控中心需求的大概知道如何集成自己的监控中心实现。下面我们就以dubbo自带的监控中心开始讲解。 监控中心 1. 监控中心启动，我们先看下du…- 17
- 0
-
初识Dubbo 系列之前传1-Dubbo产生的背景
背景 (#) 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。 垂直应用架构 当访问量逐渐增大，单一应用增加机器…- 5
- 0
-
Dubbo 同步、异步调用的几种方式
我们知道，Dubbo 缺省协议采用单一长连接，底层实现是 Netty 的 NIO 异步通讯机制；基于这种机制，Dubbo 实现了以下几种调用方式： 同步调用 异步调用 参数回调 事件通知 同步调用 同步调用是一种阻塞式的调用方式，即 Consumer 端代码一直阻塞等待，直到 Provider 端返回为止； 通常，一个典型的同步调用过程如下： Consumer 业务线程调用远程接口，向 Provi…- 28
- 0
-
用Redis实现分布式锁 与 实现任务队列
这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能。先扯点个人观点，之前我看了一篇博文说博客园的文章大部分都是分享代码，博文里强调说分享思路比分享代码更重要（貌似大概是这个意思，若有误请谅解），但我觉得，分享思路固然重要，但有了思路，却没有实现的代码，那会让人觉得很浮夸的，在工作中的程序猿都知道，你去实现一个功能模块，一段代码，虽然你有了思路，但是实现的过程也是很耗时的，…- 3
- 0
-
SpringCloud微服务知识整理十一：分布式服务跟踪：Spring Cloud Sleuth
什么是Spring Cloud Sleuth 随着业务的发展，我们的系统规模也会变得越来越大，各微服务间的调用关系也变得越来越错综复杂。这时候对于每个请求全链路调用的跟踪就变得越来越重要，通过实现对请求调用的跟踪可以帮助我们快速的发现错误根源以及监控分析每条请求链路上的性能瓶颈等好处。 针对上面所述的分布式服务跟踪问题，Spring Cloud Sleuth提供了一套完整的解决方案。 快速入门 准…- 32
- 0
-
SpringCloud微服务知识整理五：服务容错保护 Spring Cloud Hystrix
什么是Spring Cloud Hystrix 在微服务架构中，我们将系统拆分为很多个服务，各个服务之间通过注册与订阅的方式相互依赖，由于各个服务都是在各自的进程中运行，就有可能由于网络原因或者服务自身的问题导致调用故障或延迟，随着服务的积压，可能会导致服务崩溃。为了解决这一系列的问题，断路器等一系列服务保护机制出现了。 Spring Cloud Hystrix 实现了断路器、线路隔离等一系列服务…- 19
- 0
-
微服务架构核心技术八
微服务技术架构体系层次结构 最上面一层为接入层，主要为负载均衡器，负责把外部流量接入到内部平台上 最下面一层为基础设施层，运维团队来维护. 网关层负责反向路由、限流熔断、安全等跨横切面内容 业务服务层上个博客分为聚合层和基础层 支撑服务——系统微服务化后，系统变得更加碎片化，系统的部署、运维、监控等都比单体架构更加复杂，那么，就需要将大部分的工作自动化 平台服务 k8s等容器部署，权限管控(JWT…- 10
- 0
-
微服务架构核心技术十四
微服务通讯方式RPC vs REST 图例 从九个方面分析两种通讯方式的差别: RPC采用一些定制的消息格式，服务端和客户端需要以一定的消息格式通讯.REST无强消息耦合性. RPC一般采用二进制消息格式紧凑，性能高.REST采用文本类型的消息协议 RPC一般用TCP协议通讯，grpc也支持http2协议通讯 payload size 大小可能影响到性能 接口契约IDL语言类似一个协议，来规定接入…- 11
- 0
-
ASP.NET Core微服务之基于Ocelot+IdentityServer实现统一验证与授权
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、案例结构总览 这里，假设我们有两个客户端（一个Web网站，一个移动App），他们要使用系统，需要通过API网关（这里API网关始终作为客户端的统一入口）先向IdentityService进行Login以进行验证并获取Token，在IdentityService的验证过程中会访问数据库以验证。然后再带上Token通过API网关去访问具…- 53
- 0
-
Spring Cloud构建微服务架构：分布式服务跟踪（跟踪原理）【Dalston版】
通过上一篇 《分布式服务跟踪（入门）》的例子，我们已经通过Spring Cloud Sleuth往微服务应用中添加了实现分布式跟踪具备的基本要素。下面通过本文来详细说说实现分布式服务跟踪的一些要点。 分布式系统中的服务跟踪在理论上并不复杂，它主要包括下面两个关键点： 为了实现请求跟踪，当请求发送到分布式系统的入口端点时，只需要服务跟踪框架为该请求创建一个唯一的跟踪标识，同时在分布式系统内部流转的时…- 11
- 0
-
Spring Cloud构建微服务架构：服务网关（基础）【Dalston版】
通过之前几篇Spring Cloud中几个核心组件的介绍，我们已经可以构建一个简略的（不够完善）微服务架构了。比如下图所示： 我们使用Spring Cloud Netflix中的Eureka实现了服务注册中心以及服务注册与发现；而服务间通过Ribbon或Feign实现服务的消费以及均衡负载；通过Spring Cloud Config实现了应用多环境的外部化配置以及版本管理。为了使得服务集群更为健壮…- 5
- 0
-
Springboot+Dubbo+Nacos 注解方式实现微服务调用
一.项目结构 1|-- spring-boot-dubbo-demo (父级工程) 2 |-- spring-boot-dubbo-base (基础工程) 3 |-- spring-boot-dubbo-consumer (消费者) 4 |-- spring-boot-dubbo-provider (生产者) 5 6 SpringBoot版本:2.2.0 Dubbo版本:2.7.…- 4
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×