-
大型网站架构之分布式消息队列
一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦…- 6
- 0
-
深入理解 RPC 消息协议设计
本节我们开始讲解 RPC 的消息协议设计背后的基本原理,了解 RPC 的协议开发背后有哪些需要考虑的基本点。在通晓原理之后,我们就可以自己设计一套协议来开发属于自己的 RPC 系统。 本节主要涉及的知识点和它们之见的关系如下图: 对于一串消息流,我们必须能确定消息边界,提取出单条消息的字节流片段,然后对这个片段按照一定的规则进行反序列化来生成相应的消息对象。 消息表示指的是序列化后的消息字节流在直…- 8
- 0
-
阿里巴巴的微服务开源之路
2019独角兽企业重金招聘Python工程师标准>>> 2019阿里云峰会·北京开发者专场 侠之大者,为国为民。 在金庸小说中,郭靖和黄蓉是“侠之大者,为国为民”的典范,他们以布衣之身帮助宋军守护襄阳十余年。 技术的世界里,并无大小之分。 但当一群程序员由服务公司内部转变为社会的程序员,将技术以开源的方式与社区的开发者一同协作、改进和使用时,他们便被赋予了更大的责任和期待。 …- 1
- 0
-
架构设计:负载均衡层设计方案(3)——Nginx进阶
版权声明:欢迎转载,但是看在我辛勤劳动的份上,请注明来源:http://blog.csdn.net/yinwenjie(未经允许严禁用于商业用途!) 目录(?)[-] Nginx继续进阶 1gzip 2rewrite 3健康检查模块 4不得不提的tengine 后文介绍 上篇文章《架构设计:负载均衡层设计方案(2)——Nginx安装》(http://blog.csdn.net/yinwenjie/…- 9
- 0
-
网站日志统计案例分析与实现
1.概要 到这一步,若是按照前面到文章一步走来,不出意外,我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析,由于很多网站的日志KPI都大同小异,故有些指标直接在文中赘述了。 2.流程 背景 前言 目录 日志分析概述 需求分析 源码 2.1 背景 从2011年开始,中国进入大数据时代如火如荼,以Hadoop为代表的套件,占据…- 5
- 0
-
容器云负载均衡之七:使用IPVS作为Openshift外部负载均衡解决方案的性能测试
一、前言 在文章《将IPVS容器化并扩展为Openshift的服务》中设计的适用于Openshift/Kubernetes平台的大流量负载均衡器在实验室进行了性能测试,从而验证了基于这个负载均衡解决方案的部署,能够在现有的设备条件下(一个物理网卡,最多只能绑定8个CPU给8个队列,而有些物理网卡可以扩展更多的CPU给网卡队列),具有接近裸机的单机能力和具有接近线性的横向扩展性的能力。 转载自htt…- 5
- 0
-
高可用性、负载均衡的mysql集群解决方案
一、 mysql的市场占有率 二、 mysql为什么受到如此的欢迎 三、 mysql数据库系统的优缺点 四、 网络服务器的需求 五、 什么是mysql的集群 六、 什么是负载均衡 七、 mysql集群部署和实现方法 八、 负载均衡的配置和测试 九、 Mysql集群系统的测试(测试方案+测试脚本+测试结果分析) l mysql的市场占有率 MySQL是世界上最流行的开源数据库,已有11…- 1
- 0
-
秒杀系统架构分析与实战
互联网正在高速发展,使用互联网服务的用户越多,高并发的场景也变得越来越多。电商秒杀和抢购,是两个比较典型的互联网高并发场景。虽然我们解决问题的具体技术方案可能千差万别,但是遇到的挑战却是相似的,因此解决问题的思路也异曲同工。 1) 对现有网站业务的冲击 因为秒杀活动只是网站营销的一个附加活动,这个活动具有时间短,并发访问量大的特点,如果和网站原有应用部署在一起,必然会对现有业务造成冲击,稍有不慎…- 20
- 0
-
【总结】一些网络流量统计的网站及工具
**DU METER V3.06 Build 192 汉化版 **软件大小:924 KB 软件类别:网络工具 / 网络监测 运行环境:WinNet, WinXP, Win2K, NT, WinME, Win9X **软件介绍: **1.显示直观的网络带宽计量器,既有数字显示又有图形显示。 2.让你清楚的看到浏览时以及上传下载时的数据传输情况。 3.实时监测你的上传和下载的网速。对病毒的防范也有一定…- 26
- 0
-
系统吞吐量(TPS)、用户并发量、性能测试概念和公式
PS:下面是性能测试的主要概念和计算公式,记录下: 一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。 系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟request/事务 数量 并发数: 系统同时处理的…- 10
- 0
-
架构设计:负载均衡层设计方案(1)——负载场景和解决方式
1、不同的负载场景 我们知道负载均衡层的作用是“将来源于外部的处理压力通过某种规律/手段分摊到内部各个处理节点上”,那么不同的业务场景需要的负载均衡方式又是不一样的,架构师还要考虑架构方案的成本、可扩展性、运维难易度等问题。下面我们先介绍几种典型的不同业务场景,大家也可以先想一下如果是您,会怎么架设这些场景的负载均衡层。 需要注意的是,这个系统的文章,我们都将使用这几个典型的业务场景来讲解系统架构…- 11
- 0
-
四层负载均衡和七层负载均衡的区别
一、简介 所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡;同理,还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说,二层负载均衡会通过一个虚拟MAC地址接收请求,然后再分配到真实的MAC地址;三层负载均衡会通过一个虚拟IP地址接收请求,然后再分配到真实的IP地址;四层通过虚拟IP+端口接收请求,然后再分配到真实的服务器;七层通过虚拟的URL或主…- 2
- 0
-
架构高性能海量图片服务器的技术要素
在图片规模比大的情况,nginx处理能力受制于文件系统的io,意味着,在大规模图片的场景,如果运维还依旧采用传统文件系统的方式,无论是备份成本,还是前端成本,将是无法去衡量,不要去指望调优一点文件系统的一些参数,能带来多大的性能收益,也不要去目录hash+rewrite的方式,改进不大,因为新版的文件系统默认开启了dir_index,解决了同一个目录下文件过多而过慢的问题。不过还有一种方案就是采购…- 11
- 0
-
网站流量统计之PV和UV
如果您是一个站长,或是一个 SEO,您一定对于网站统计系统不会陌生,对于SEO新手来说,统计系统中的一些概念不是很清楚,今天讲讲什么是PV和UV! 网站流量统计之 UV(Unique Visitor):独立访客,将每个独立上网电脑(以 cookie为依据)视为一位访客,一天之内( 00:00-24:00),访问您网站的访客数量。一天之内相同 cookie的访问只被计算 1次。 网站流…- 8
- 0
-
容器云负载均衡之三:RSS、RPS、RFS和XPS调整
一、前言 在测试基于Openshift的负载均衡器的时候,需要进行性能测试,所要要对系统进行一些性能调优,保证每个工作节点能处理巨大的数据流量,其中最重要的调整是对NIC的调整。 在对NIC进行调整的时候,发现RSS(receive side scaling)和RPS(Receive Packet Steering)是两个需要关注的点。RSS和RPS都是网卡为了在接受数据包的时候使用多核架构而进行…- 43
- 0
-
kubernetes 服务发现和负载均衡
kubernetes中如何发现服务 如何发现pod提供的服务 如何使用kube-dns发现服务 service:服务,是一个虚拟概念,逻辑上代理后端pod。众所周知,pod生命周期短,状态不稳定,pod异常后新生成的pod ip会发生变化,之前pod的访问方式均不可达。通过service对pod做代理,service有固定的ip和port,ip:port组合自动关联后端pod,即使pod发生改…- 3
- 0
-
十分钟带你理解Kubernetes核心概念
本文将会简单介绍Kubernetes的核心概念。 因为这些定义可以在Kubernetes的文档中找到,所以文章也会避免用大段的枯燥的文字介绍。 相反,我们会使用一些图表(其中一些是动画)和示例来解释这些概念。我们发现一些概念(比如Service)如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提供Kubernetes文档的链接以便读者深入学习。 什么是Kubernetes? Kuberne…- 14
- 0
-
kubernetes 服务发现和负载均衡
kubernetes中如何发现服务 如何发现pod提供的服务 如何使用kube-dns发现服务 service:服务,是一个虚拟概念,逻辑上代理后端pod。众所周知,pod生命周期短,状态不稳定,pod异常后新生成的pod ip会发生变化,之前pod的访问方式均不可达。通过service对pod做代理,service有固定的ip和port,ip:port组合自动关联后端pod,即使pod发生改…- 1
- 0
-
Kubernetes用户指南(四)–应用检查和调试
一、调试 当你的应用开始运行,那么DEBUG是不可避免的问题。 早些时候,我们在描述的是如何通过kubectl get pods来获得Pod的简单状态信息。 但是现在,这里有更多的方式来获得关于你的应用的更多信息。 1、使用kubectl describe pod来获得Pod的详细信息 在这个例子中,我们将会像之前的例子一样使用RC来创建两个Pod: apiVersion: v1 kind: …- 22
- 0
-
Kubernetes用户指南(二)–部署组合型的应用、连接应用到网络中
一、部署组合型的应用 1、使用配置文件启动replicas集合 k8s通过Replication Controller来创建和管理各个不同的重复容器集合(实际上是重复的pods)。 Replication Controller会确保pod的数量在运行的时候会一直保持在一个特殊的数字,即replicas的设置。 这个功能类似于Google GCE的实例组管理和AWS的弹性伸缩。 在快速开始中,通过k…- 1
- 0
-
DevOps基础-6.1-可靠性工程:工程不应止步于部署
这篇开始进入第六章,第一小节是可靠性工程。这是DevOps中的第三个主要练习区域。在工程中,可靠性描述了系统或组件在规定条件下在指定时间段内运行的能力。 在IT中,这包括可用性,性能,安全性以及允许您的服务实际向用户提供其功能的所有其他因素。 在任何一种管理良好的现代化基础设施中,基础设施造成的停电和生产问题越来越少见。一旦您通过最基本的系统自动化,可以毫不夸张地说,…- 1
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!