-
Flume+kafka+spark streaming+Redis实时统计广告投放的pv,uv,click,cost
因为业务逻辑的修改，投放数据存入大数据集群中，因此，需要修改之前的业务逻辑，需要实时知道rtb投放的花费情况。 环境版本： spark: 2.11-2.4.0-cdh6.2.0 kafka: 2.1.0-cdh6.2.0 fluem: 1.9.0-cdh6.2.0 Flume配置 1a1.sources = r1 2 3a1.sinks = k1 4 5a1.channels = c1 6 7#s…- 74
- 0
-
Java使用RabbitMQ（二）–发送和接收信息
发送和接收信息 发送方： 1public class BaseTest2 { 2 public static String queueName="q1"; 3 4 public static ConnectionFactory factory; 5 public static Connection getConnection(String username,String pas…- 7
- 0
-
C# 操作rabbitmq（二）
接着上一篇继续分析rabbitmq的使用，此篇介绍rabbitmq的publish/Subcribe 一、 Exchange rabbitmq建议消息的producer不要直接的把消息发送给queue，而是把消息发送给Exchange。 Exchange一边接收来自producer的消息，一边将消息push给queue。 rabbitmq提供了四种exchange type： direct ：第三…- 1
- 0
-
AMQP-RabbitMQ/2/工作队列
2. 工作队列 Work queues Distributing tasks among workers 消息将发送给c1或者c2 个人理解 生产者定义Queue，并向该队列发送消息 多个消费者可以从指定的同一个Queue中读取消息。每条消息只会发送给其中某一个消费者。 生产者 1package com.futao.springmvcdemo.mq.rabbit.workqueue; 2 3imp…- 9
- 0
-
基于Python语言使用RabbitMQ消息队列（三）
发布/订阅 前面的教程中我们已经创建了一个工作队列。在一个工作队列背后的假设是每个任务恰好会传递给一个工人。在这一部分里我们会做一些完全不同的东西——我们会发送消息给多个消费者。这就是所谓的“发布/订阅”模式。 为了解释这种模式，我们将会构建一个简单的日志系统。它包含两个程序——第一个产生日志消息，第二个接收并把他们打印出来。 在我们的日志系统中，每一个接收程序的正在运行的拷贝都会获知消息，那样我…- 17
- 0
-
分布式Session的几种实现方式
一。分布式Session的几种实现方式 1.基于数据库的Session共享 2.基于NFS共享文件系统 3.基于memcached 的session，如何保证 memcached 本身的高可用性？ 基于resin/tomcat web容器本身的session复制机制 基于TT/Redis 或 jbosscache 进行 session 共享。 基于cookie 进行session共享 或者是： 一…- 13
- 0
-
RabbitMQ基本概念
RabbitMQ基本概念 RabbitMQ简介 RabbitMQ的特点 RabbitMQ核心概念 Producer(生产者) 和 Consumer(消费者) Exchange(交换器) Queue(消息队列) Broker（消息中间件的服务节点） RabbitMQ简介 RabbitMQ是采用Erlang语言实现AMQP(Advanced Message Queuing Protocol）的消息中间…- 29
- 0
-
windows下安装rabbitMQ
博客地址：博客地址 本文转自：https://www.cnblogs.com/ericli-ericli/p/5902270.html 本文转自：https://www.cnblogs.com/ericli-ericli/p/5902270.html rabbitMQ是一个在AMQP协议标准基础上完整的，可服用的企业消息系统。它遵循Mozilla Public License开源协议，采用 E…- 7
- 0
-
14. Dubbo原理解析-集群&容错之Cluster
Dubbo作为一个分布式的服务治理框架，提供了集群部署，路由，软负载均衡及容错机制 下图描述了dubbo调用过程中的对于集群，负载等的调用关系。 Cluster 将Directory中的多个Invoker伪装成一个Invoker, 对上层透明，包含集群的容错机制 Cluster接口定义 @SPI(FailoverCluster.NAME) public interface Cluster …- 5
- 0
-
SpringBoot+zk+dubbo架构实践（三）：部署Dubbo-admin管理平台
上一篇：SpringBoot+zk+dubbo架构实践（二）：SpringBoot 集成 zookeeper 前言 1我们的架构实践已经进行一半了，今天这波操作比较轻松哦。同样我们完成两件事情。 21、Dubbo Git下载（2.6.0版本） 32、dubbo-admin安装和验证 4 再次声明一下：本系列架构实践不做深入探讨，主旨是带领大家能够快速踏入微服务架构门槛，能够轻松的搭建一套属于自己的…- 13
- 0
-
初识Dubbo 系列之3-Dubbo 快速启动
快速启动 (+) (#) Dubbo采用全Spring配置方式，透明化接入应用，对应用没有任何API侵入，只需用Spring加载Dubbo的配置即可，Dubbo基于Spring的Schema扩展进行加载。 1 如果不想使用Spring配置，而希望通过API的方式进行调用（不推荐），请参见：API配置 (+) 1 链接地址服务提供者 (#) 完整安装步骤，请参见：示例提供者安装 (+) 1 定义服务…- 27
- 0
-
Apache 开源的curator 基于Zookeeper实现分布式锁以及源码分析
前一段时间，我发表了一篇关于Redis实现分布式锁 分布式环境下利用Redis实现分布式锁，今天我带领大家熟悉用zookeeper实现分布式锁。 在学习分布式锁之前，让我们想一想，在什么业务场景下会用到分布式锁以及设计分布式锁要注意什么？ 分布式锁介绍 1、在什么业务场景中会使用到分布式锁 当多个客户端访问服务器上同一个资源的时候，需要保证数据的一致性，比如秒杀系统，举个栗子： 某件商品在系统中的…- 12
- 0
-
curator分布式锁
长长的一生，总要勤勤恳恳，刻苦专研。把一件事情做到极致，不然，岂非白活了？ 之前看kafka的时候发现他用的是curator来做leader选举的，突然灵机一动，咦，这不就是把ZK分布式锁封装了一下嘛，咦，那是不是这个也可以做分布式锁呢？“好奇心害死猫”，赶紧在pom里面dependency一下，抓下来源码来看看到底怎么肥事。先把源码贴上，具体的分析自己先分析一波，分析之后找时间再补充上来!!! …- 10
- 0
-
Golang 通过 Consul 实现分布式锁
Consul 是什么 Consul 是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件,由 HashiCorp 公司用 Go 语言开发, 基于 Mozilla Public License 2.0 的协议进行开源. Consul 支持健康检查,并允许 HTTP 和 DNS 协议调用 API 存储键值对. 命令行超级好用的虚拟机管理软件 vgrant 也是 HashiCorp 公司开发的…- 10
- 0
-
Springcloud微服务项目——人力资源管理(HRM)Day11 单点登录SSO
sso简介 百度百科 什么是单点登录(What) 单点登录（ Single Sign-On , 简称 SSO ）是目前比较流行的服务于企业登录业务整合的解决方案之一， SSO 使得在多个应用系统中，用户只需要 登录一次 就可以访问所有相互信任的应用系统。 比如： Qq qq空间 qq游戏 qq邮箱 百度 百度百科 百度贴吧 百度网盘 为什么要使用sso(Why) 我们有多个前端站点,有多个站点是需…- 39
- 0
-
Springcloud微服务项目——人力资源管理(HRM)Day06 ElasticSearch
今日任务 课程的CRUD 关于数据库的存储 有两种方案 方案一： 像课程详情 课程图片 都是数据课程的信息 可知直接放入t_course 就ok 方案二： 有时候我们只需要查询到课程的基本信息 不需要显示图片和详情 这个时候我们就会用到垂直分表 垂直分表：一些字段我们一般不需要直接查询 就把这些字段单独放一个表 通过外键关联 正常情况下 不需要查询关联表 如果需要 就通过外键查询就ok 这样能大大…- 3
- 0
-
Spring Cloud微服务技术栈（一）：浅谈Spring Cloud微服务
传统的单系统应用与微服务架构应用 在传统的企业级系统中，业务场景还不是那么复杂、并发量不高的时候，企业级开发者往往构建的都是单体系统，在一个项目中分布着前端、后端、数据访问等，这样基本能满足系统的日常使用，但是随着业务越来越繁琐，为了满足业务的要求，开发者必须不断地向单系统应用中添加模块，这样就导致这个单系统应用的执行效率越来越低，基本无法满足基本的并发要求了。同时，随着移动设备的大量涌现，多终端…- 7
- 0
-
微服务架构核心技术五
微服务的组织架构 传统企业组织团队为左边图，严格按照职能划分团队.沟通协调成本大，产品的反馈周期长，研发效率慢. 平台型互联网公司组织团队内部形成端到端闭环，开发、测试、项目经理都有.运维对外开放API供所有团队使用.一个团队12个人左右.(亚马逊提出build it/run it).优势是可以快速迭代.- 5
- 0
-
今日头条Go语言构建日请求千亿级微服务的最佳实践
编者按 作者介绍：项超，2015 年加入今日头条，负责研发微服务框架，实施微服务落地。在头条推广 Go 语言在 Web 后端服务的使用，逐渐经历了核心服务从 Python 到 Go 的演变过程，为爆发式的流量增长提供了持续的动力。从 Go1.1 版本开始使用 Go 语言，喜欢 Go 语言的工程性，并且认为 Go 语言非常适合开发大规模分布式系统。 Go 在 2016 年获得了年度编程语言的称号，或…- 82
- 0
-
微服务架构核心技术十
微服务API服务网关 简介： API网关是一个服务器，是系统的唯一入口。从面向对象设计的角度看，它与外观模式类似。API网关封装了系统内部架构，为每个客户端提供一个定制的API。它可能还具有其它职责，如身份验证、监控、负载均衡、缓存、请求分片与管理、静态响应处理。 API网关方式的核心要点是，所有的客户端和消费端都通过统一的网关接入微服务，在网关层处理所有的非业务功能。通常，网关也是提供REST/…- 6
- 0
-
Spring Cloud构建微服务架构：分布式服务跟踪（整合logstash）【Dalston版】
通过之前的 《入门示例 》，我们已经为 两个由SpringCloud构建的微服务项目 trace-1和 trace-2引入了Spring Cloud Sleuth的基础模块 spring-cloud-starter-sleuth，实现了为各微服务的日志信息中添加跟踪信息的功能。但是，由于日志文件都离散的存储在各个服务实例的文件系统之上，仅仅通过查看日志文件来分析我们的请求链路依然是一件相当麻烦的差…- 3
- 0
-
ASP.NET Core微服务之基于Steeltoe集成Zuul实现统一API网关
Tip: 此篇已加入.NET Core微服务基础系列文章索引，本篇接上一篇《基于Steeltoe使用Eureka实现服务注册与发现》，所演示的示例也是基于上一篇的基础上而扩展的。 一、关于Spring Cloud Zuul API Gateway（API GW / API 网关），顾名思义，是出现在系统边界上的一个面向API的、串行集中式的强管控服务，这里的边界是企业IT系统的边界。 Zuul 是…- 9
- 0
-
Netty游戏服务器实战开发(2)：ByteBuf – 字节数据的容器
Buffer（缓冲） 网络数据的基本单位永远是 byte(字节)。Java NIO 提供 ByteBuffer 作为字节的容器，但它的作用太有限，也没有进行优化。使用ByteBuffer通常是一件繁琐而又复杂的事。 幸运的是，Netty提供了一个强大的缓冲实现类用来表示字节序列以及帮助你操作字节和自定义的POJO。这个新的缓冲类，ByteBuf,效率与JDK的ByteBuffer相当。设计Byte…- 8
- 0
-
Netty游戏服务器实战开发(5):利用Netty打造轻量级RPC组件
简介：什么是RPC？ RPC，即 Remote Procedure Call（远程过程调用），说得通俗一点就是：调用远程计算机上的服务，就像调用本地服务一样。 RPC 可基于 HTTP 或 TCP 协议，Web Service 就是基于 HTTP 协议的 RPC，它具有良好的跨平台性，但其性能却不如基于 TCP 协议的 RPC。会两方面会直接影响 RPC 的性能，一是传输方式，二是序列化。 Net…- 40
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×