-
Kafka实战(二) – 摸清 Kafka 的"黑话"
Kafka属分布式消息引擎系统,提供一套完备的消息发布与订阅解决方案。 在Kafka中，发布订阅的对象是主题（Topic），可为每个业务、每个应用甚至是每类数据都创建专属的主题。 1 Producer & Consumer 向主题发布消息的客户端应用称为生产者（Producer），生产者程序通常持续不断地向一个或多个主题发送消息，而订阅这些主题消息的客户端应用程序就被称为消费者（Consu…- 6
- 0
-
微服务分布式企业框架 Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+KafKa
主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。 平台简介 是一个分布式框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。本身集成Dubbo服务管控、…- 7
- 0
-
flume-ng+Kafka+Storm+HDFS 实时系统组合
大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅读本文章： 1.一个好的项目架构应该具备什么特点？ 2.本项目架构是如何保证数据准确性的？ 3.什么是Kafka…- 3
- 0
-
Kafka消息序列化和反序列化（下）
接上一篇：Kafka消息序列化和反序列化（上）。 有序列化就会有反序列化，反序列化的操作是在Kafka Consumer中完成的，使用起来只需要配置一下key.deserializer和value.deseriaizer。对应上面自定义的Company类型的Deserializer就需要实现org.apache.kafka.common.serialization.Deserializer接口，这…- 7
- 0
-
Java使用RabbitMQ（九）–RPC
首先声明： RPC调用会增加系统复杂度以及调试难度， 容易使代码混乱，系统缓慢。 尽量避免使用RPC，转而使用异步管道替代。 rabbitMQ实现的RPC主要流程： 客户端启动后，创建一个匿名唯一的回调队列 对于一个RPC请求，客户端发送一个消息和2个属性，一个是replyto用来设置回调队列，另一个是correlationId，每个请求的值都是唯一的 RPC worker（也是被调用的服务方）从…- 4
- 0
-
.Net下RabbitMQ的使用(6) — 消息的传输控制
前文中也多次提到消息传输的一些概念，这一篇比较全面的介绍一下，然后补充一些内容。 消息的应答 RabbitMQ有两种应答模式，自动和手动。这也是AMQP协议所推荐的。这在point-to-point和broadcast都是一样的。 自动应答-当RabbitMQ把消息发送到接收端，接收端把消息出队列的时候就自动帮你发应答消息给服务。 手动应答-需要我们开发人员手动去调用ack方法去告诉服务已经收到。…- 35
- 0
-
RabbitMQ的六种工作模式
一.基于erlang语言： 是一种支持高并发的语言 RabbitMQ的六种工作模式： 1.1 simple简单模式 消息产生着§将消息放入队列 消息的消费者(consumer) 监听(while) 消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队列中删除(隐患 消息可能没有被消费者正确处理,已经从队列中消失了,造成消息的丢失)应用场景:聊天(中间有一个过度的服务器;p端,c端) 1.2…- 5
- 0
-
RabbitMQ消息队列（一）: Detailed Introduction 详细介绍
1. 历史 RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue ）的开源实现。AMQP 的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如 COBAR的 IIOP ，或者是 SOAP 等），但是在异步消息处理中却不是这样，只有大企业有一些商业实现（如微软的 MSMQ ，IBM 的 Websphere MQ 等），…- 9
- 0
-
python操作RabbitMQ
RabbitMQ介绍 RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue）的开源实现的产品，RabbitMQ是一个消息代理，从“生产者”接收消息并传递消息至“消费者”，期间可根据规则路由、缓存、持久化消息。“生产者”也即message发送者以下简称P，相对应的“消费者”乃message接受者以下简称C，message通过queue由P到C，queue…- 10
- 0
-
Spring分布式事务实现
分布式事务是指操作多个数据库之间的事务，spring的org.springframework.transaction.jta.JtaTransactionManager，提供了分布式事务支持。如果使用WAS的JTA支持，把它的属性改为WebSphere对应的TransactionManager。 在tomcat下，是没有分布式事务的，不…- 6
- 0
-
分布式session
一、session是什么？从哪来？ 简单来说，session就是浏览器和服务器的一系列交互动作。 为什么会出现session？这是因为HTTP协议的特点-- 无状态性--导致的。 我们通过浏览器上网时，浏览器和服务器间是通过HTTP协议交互。当我们请求页面时， 这一次请求和上一次请求没有任何关系，这就是无状态性。无状态性使得交互更加快速，但也带来一个问题，例如：当我在商品详情页面登陆后，等到了订单…- 10
- 0
-
11. Dubbo原理解析-注册中心之接口介绍
服务注册与发现的中心，服务的提供者将服务发布到注册中心，服务的使用着到注册中引用服务。 Dubbo的注册中心提供了多种实现，其实现是基于dubbo的spi的扩展机制的，使用着可以直接实现自己的注册中心。 @SPI( "dubbo") public interface RegistryFactory { /** * 连接注册中心. * 连接注册中心需处理契约…- 9
- 0
-
27. Dubbo原理解析-管理控制台
Dubbo的dubbo-admin模块是后台管理系统，它的MVC框架式基于webx3的，webx是阿里巴巴开源出来基于页面驱动的mvc框架, webx在阿里内部广泛使用。 Webx是基于turbine发展而来逐渐成为一个功能强大扩展性强的mvc框架，利用约定大于配置原则，虽说使用简单，但是也有很多潜在规则在里面。Webx作为除了阿里以外一个小众框架学习起来还是很有成本的，再说dubbo中又对web…- 5
- 0
-
2. Dubbo原理解析-Dubbo内核实现之基于SPI思想Dubbo内核实现（转）
SPI接口定义 定义了@SPI注解 1public @interface SPI { 2 3 String value() default ""; //指定默认的扩展点 4 5} 6 只有在接口打了@SPI注解的接口类才会去查找扩展点实现 会依次从这几个文件中读取扩展点 META-INF/dubbo/internal/ //dubbo内部实现的各种扩展都放在了这个目录…- 6
- 0
-
zookeeper之分布式锁以及分布式计数器(通过curator框架实现)
有人可能会问zookeeper我知道,但是curator是什么呢? 其实curator是apachede针对zookeeper开发的一个api框架是apache的顶级项目 他与zookeeper原生api相比更加简洁方便使用 特别就是注册watcher这方面.再也不用我们手工去重复注册watcher了.我们只需监听一下然后curator全给我们做了.而且支持递归创建节点 和递归删除节点. 更大的优…- 1
- 0
-
SpringBoot整合Dubbo
前言 Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。 简单来说，Dubbo 用于分布式的场景。 源码 GitHub地址：https://github.com/intomylife/SpringBoot 环境 JDK 1.8.0 + Maven 3.0 + MySQL 5.6.17 SpringBoot 2.0.3 ZooKe…- 5
- 0
-
ZooKeeper分布式锁
方案一: 利用Zookeeper不能重复创建一个节点(临时节点)的特性来实现一个分布式锁 流程: 查看目标Node是否已经创建，已经创建，那么等待锁。 如果未创建，创建一个瞬时Node，表示已经占有锁。 如果创建失败，那么证明锁已经被其他线程占有了，那么同样等待锁。 当释放锁，或者当前Session超时的时候，节点被删除，唤醒之前等待锁的线程去争抢锁。 代码实现: 1package com.cod…- 20
- 0
-
SpringCloud微服务监控——admin（二）：admin服务端加入邮件通知
在admin监控的时候，我们希望的是如果有某个服务挂了，那么就发一个邮件，告诉我这个服务挂掉了。 1）：在pom文件中，加入包依赖： 1<dependency> 2 <groupId>org.springframework.boot</groupId> 3 <artifactId>spring-boot-starter-mail</artifa…- 8
- 0
-
Spring-cloud 微服务架构搭建 02 – config-server 集成git动态刷新配置及安全管理
文章目录 sping-cloud config简介 sping-cloud config 服务特点 Config-Server 服务端搭建 Config-Client 端搭建 动态刷新配置测试 config-server配置RSA加密 1. sping-cloud config简介 微服务的体系中，配置文件的统一管理是非常有必要的，我们需要替代人为手动维护配置文件的责任，因为在大型的微服务体系中我…- 14
- 0
-
微服务架构核心技术九
微服务最经典的三种服务发现机制 下面是图示: 客户端访问后端需要知道IP地址和端口号，以前每一个服务都被固定的部署到某一台机器上，默认端口号和IP地址都是可以通过客户端配置文件读取到的，微服务体系中，服务实例对应的网络地址是在动态变化的. 独立LB: 负载均衡器采用硬件f5或软件nginx负载均衡器 当服务的提供方上线以后，会向运维申请一个域名，运维配置负载均衡器，域名指向后台的服务。 服务消费方…- 7
- 0
-
微服务架构核心（四）- 微服务组织架构
前一篇介绍了微服务的技术架构，这一篇再来介绍微服务的组织架构， 之所以要聊组织架构，是由于著名的康威法则。 设计系统的组织，其产生的架构设计等价于组织间的沟通结构。 康威法则讲的是系统架构需要与开发系统的组织架构相匹配，如果不匹配就会造成沟通成本过高的问题。 例如开发一个单体应用，当参与开发的人员很少时，大家都隶属于一个团队，没有太大的问题。 但是一旦应用的规模很大，需要多个团队开发，大家在组织架…- 13
- 0
-
ASP.NET Core微服务之基于IdentityServer建立授权与验证服务（2）
Tip: 此篇已加入.NET Core微服务基础系列文章索引 上一篇我们基于IdentityServer4建立了一个AuthorizationServer，并且继承了QuickStartUI，能够成功获取Token了。这一篇我们了解下如何集成API Service和MVC Web Application。 一、集成API Service 1.1 添加ASP.NET Core WebAPI项目 新建…- 17
- 0
-
Spring Cloud构建微服务架构：服务容错保护（Hystrix服务降级）【Dalston版】
前言 在微服务架构中，我们将系统拆分成了一个个的服务单元，各单元应用间通过服务注册与订阅的方式互相依赖。由于每个单元都在不同的进程中运行，依赖通过远程调用的方式执行，这样就有可能因为网络原因或是依赖服务自身问题出现调用故障或延迟，而这些问题会直接导致调用方的对外服务也出现延迟，若此时调用方的请求不断增加，最后就会出现因等待出现故障的依赖方响应而形成任务积压，线程资源无法释放，最终导致自身服务的瘫痪…- 3
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×