-
kafka原理系列之（一）消息存储和offset提交机制
kafka之消息存储和offset提交机制 Kafka具有存储功能，默认保存数据时间为7天或者大小1G，也就是说kafka broker上的数据超7天或者1G， 就会被清理掉。这些数据存放在broker服务器上，以log文件的形式存在。 kafka的安装目录下面的/conf/server.propertites文件中中设置： 1### 日志保存时间 (hours|minutes)，默认为7天（16…- 14
- 0
-
RabbitMQ VS Apache Kafka （四）—— 应用场景如何选择？
架构对比 RabbitMQ是一个通用的消息代理，通过包括点对点、请求/响应及发布订阅在内的多种消息通信模式。其采用的是一种智能代理/傻瓜消费的模式，侧重消息的持续投递与处理，并通过代理本身来维护消费者自身状态。RabbitMQ是一个设计成熟的消息代理中间件，支持包括Java, node.js, .NET, Ruby, PHP等在内的多种客户端，并且提供有多种插件来扩展自身功能。 RabbitMQ支…- 4
- 0
-
如何管理Spark Streaming消费Kafka的偏移量（二）
上篇文章，讨论了在spark streaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的案例。 事情发生一个月前，由于当时我们想提高spark streaming程序的并行处理性能，于是需要增加kafka分区个数，，这里需要说下，在新版本spark streaming和kafka的集成中，按照官网的建议 spark streaming的executors的数量要和kafk…- 15
- 0
-
Kafka vs RocketMQ—— Topic数量对单机性能的影响
引言 上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能，受到了程序猿们的广泛关注，其中大家对这种单纯的发送场景感到并不过瘾，因为没有任何一个网站的业务只有发送消息。本期，我们就来模拟一个真实的场景： 消息的发送和订阅一定是共存的 要支持多个订阅端订阅自己感兴趣的消息 鉴于上一期Kafka和RocketMQ的指标和关注度很高，本期我们将只针对这两个产…- 6
- 0
-
kafka＋zookeeper环境配置（Mac 或者 linux环境）
一.zookeeper下载与安装 1）下载 1adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 2 2）解压 1tar zxvf zookeeper-3.4.6.tar.gz 2 3）配置 1cd zook…- 2
- 0
-
Kafka监控工具KafkaOffsetMonitor配置及使用
一、KafkaOffsetMonitor简述 KafkaOffsetMonitor是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以一目了然。 二、KafkaOffsetMonitor下载 KafkaOffsetMonitor托管…- 35
- 0
-
C# 操作rabbitmq（一）
更多资料参考 http://www.rabbitmq.com/tutorials/tutorial-one-dotnet.html 一、 简单的Helloworld 1 #region pulisher 2 3{ 4 var factory = new ConnectionFactory() { HostName = "localhost", UserName = "…- 6
- 0
-
.Net下RabbitMQ的使用(2) — 发送接收消息
在安装和配置完成RabbitMQ之后，我们就可以尝试做一个最简单的例子：发送和接收消息。 我们先来看客户端也就是发送者的代码： 1public class RabbitClient 2 3{ 4 5 //定义连接工厂 6 7 ConnectionFactory factory = new ConnectionFactory(); 8 9 10 11 public RabbitClient…- 5
- 0
-
RabbitMQ从入门到精通
文章目录 Linux 部署运维 1.安装erlang 2.安装socat 3.安装rabbit MQ 4.查看rabbitmq状态 5.rabbitmq启动 6.rabbitmq的管理界面 7.rabbitmq停止 8.rabbitmq关闭 9.rabbitmq重启 10.配置文件位于/etc/rabbitmq 11.用户管理 12.集群 Client Demo-HelloWorld （JAVA）…- 8
- 0
-
nagios分布式监控配置
一、在分布式机器上安装和nagios主监控机一样配置好，在界面上呈现出相关监控信息后 二、开始安装NSCA模块 下载地址 http://nchc.dl.sourceforge.net/sourceforge/nagios/nsca-2.7.2.tar.gz 安装步骤 ./configure && make all 这样就安装完毕了，下面是客户端相关配置 cd nsca-2.7.2…- 18
- 0
-
Hadoop分布式文件系统
分布式文件系统，架构于网络之上，引入网络编程的复杂性 HDFS:Haddop Distributed Filesystem HDFS设计 超大文件、流式数据访问：HDFS的构建思路是一次写入、多次读取是最高效的访问模式。、商用硬件 低时间延迟的数据访问：HDFS是为高数据吞吐量应用优化的，可能会以提高时间延迟为代价。、大量的小文件：由于namenode将文件系统的元数据存储在内存中，因此该文件系统…- 8
- 0
-
13. Dubbo原理解析-注册中心之Zookeeper协议注册中心
下面我们来看下开源dubbo推荐的业界成熟的zookeeper做为注册中心， zookeeper是hadoop的一个子项目是分布式系统的可靠协调者，他提供了配置维护，名字服务，分布式同步等服务。对于zookeeper的原理本文档不分析，后面有时间在做专题。 zookeeper注册中心 Zookeeper对数据存储类似linux的目录结构，下面给出官方文档对dubbo注册数据的存储示例 假设读者…- 7
- 0
-
7. Dubbo原理解析-与spring融合
Spring中bean的定义可以通过编程，可以定义在properties文件，也可以定义在通过xml文件中，用的最多的是通过xml形式，由于xml格式具有很好的自说明便于编写及维护。对于xml的文档结构、数据定义及格式验证可以通过DTD和Schema， 在spring2.0之前采用的是DTD，在spring2.0之后采用Schema。使用Schema方式使得spring更加便于与第三方进行集成以及…- 4
- 0
-
JFinal 中使用 Dubbo —— 3 集群
很多人认为，既然有了JFinal，为什么还要Spring。殊不知一些基于Spring的很牛X的东东集成到JFinal中能够事半功倍。比如Dubbo这个高性能优秀的服务框架，它基于Spring，于是JFinal提供的Spring插件就能更方便地将Dubbo集成进咱们的程序中，成为高大上的程序… 1. 集群 1.1. 部署结构 下面是一个简单的Cunsumer端服务器和Provider端服务器分…- 38
- 0
-
如何在springcloud分布式系统中实现分布式锁？
一、简介 一般来说，对数据进行加锁时，程序先通过acquire获取锁来对数据进行排他访问，然后对数据进行一些列的操作，最后需要释放锁。Redis 本身用 watch命令进行了加锁，这个锁是乐观锁。使用 watch命令对于频繁访问的键会引起性能的问题。 二、redis命令介绍 SETNX命令（SET if Not eXists） 当且仅当 key 不存在，将 key 的值设为 value ，并返回1…- 1
- 0
-
SpringBoot+Redis分布式锁：模拟抢单
**本篇内容主要讲解的是redis分布式锁，这个在各大厂面试几乎都是必备的，下面结合模拟抢单的场景来使用她；本篇不涉及到的redis环境搭建，快速搭建个人测试环境，这里建议使用docker；本篇内容节点如下： ** jedis的nx生成锁 如何删除锁 模拟抢单动作(10w个人开抢) jedis的nx生成锁 对于java中想操作redis，好的方式是使用jedis，首先pom中引入依赖： 1<…- 2
- 0
-
基于redis(lua)和zookeeper分布式锁(秒杀)实现,分布式接口幂等,分布式速率限制器,分布式ID生成器.
最近的项目中遇到分布式幂等问题，在本文中，我将用一个简单demo，简单阐述下使用分布式锁解决幂等问题以及分布式环境下秒杀扣库存并发问题的解决基本思路。 推荐视频链接 Java 微服务实践视频教程 - Spring Boot Java 微服务实践 视频教程- Spring Cloud redis高可用视频 分布式电商商城视频教程 kubernets+docer jvm 秒杀项目实战 Linux sh…- 14
- 0
-
Springcloud微服务项目——人力资源管理(HRM)Day02 后台服务的搭建&Swagger接口
前言： 前面我们已经搭建了一个基础模块 今天我们就来做进一步的开发 今日任务： 文章目录 HRM的仓库搭建(码云) 系统管理需求分析 涉及模块 MybatisPlus MybatisPlus与项目的集成 后台服务的搭建 后台服务集成网关 接口文档Swagger 问题 HRM的仓库搭建(码云) 在码云上搭建一个项目的一个仓库 不知道怎么操作的请参考这篇文章 IDEA中项目同步到码云 搭建好后我们需要…- 7
- 0
-
SpringCloud微服务知识整理六：声明式服务调用 Spring Cloud Feign
什么是Spring Cloud Feign Spring Cloud Feign 是基于 Netflix Feign 实现的，整合了 Spring Cloud Ribbon 和 Spring Cloud Hystrix，除了提供这两者的强大功能之外，还提供了一种声明式的 Web 服务客户端定义方式。 一、快速入门 1、创建一个 Spring Boot 基础工程，取名为 feign-consumer…- 0
- 0
-
SpringCloud微服务知识整理一：基础知识
一.什么是微服务 将一个原本独立的单体系统拆分成多个微服务，各自独立运行，通过 HTTP的RESTful API 进行通信协作，属于架构范畴的一种设计风格。 微服务优点 1.它们往往比传统的应用程序更有效地利用计算资源。这是因为它们通过扩展组件来处理功能瓶颈问题。只需要为额外的组件部署计算资源，而不需要部署一个完整的应用程序的全新迭代。最终的结果是有更多的资源可以提供给其它任务。 2.它们更快且更…- 3
- 0
-
微服务架构核心技术三
康威法则和启示 Melvin Conway于1967提出康威法则: 博客地址: http://melconway.com/Home/Conways_Law.html Any organization that designs a system (defined broadly) will produce a design whose structure is a copy of the organ…- 1
- 0
-
微服务架构核心技术十二
微服务路由发现体系 图示: netflix路由发现体系中两个非常重要的支撑服务是Eureka服务注册中心，和zuul网关.内部服务的发现通过Eureka来注册发现，聚合服务通过注册服务中心做服务发现，拉取路由表，缓存在客户端。网关层会同步服务注册中心的路由表，进行调用聚合服务- 5
- 0
-
Spring Cloud构建微服务架构：服务消费（Feign）【Dalston版】
Spring Cloud Feign Spring Cloud Feign是一套基于Netflix Feign实现的声明式服务调用客户端。它使得编写Web服务客户端变得更加简单。我们只需要通过创建接口并用注解来配置它既可完成对Web服务接口的绑定。它具备可插拔的注解支持，包括Feign注解、JAX-RS注解。它也支持可插拔的编码器和解码器。Spring Cloud Feign还扩展了对Spring…- 5
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×