-
python(boto3) 脚本实现AWS实例的自起停
python(boto3) 脚本实现AWS实例的自起停 为AWS宁夏区开张送上迟到地祝福，上半年项目开发中用到了AWS云服务器，按时计费，为节省经费计划在上班期间开启，下班之后关闭。通过查看boto3文档，最终实现了这一小脚本。半年前的脚本，不知道在现在会不会过时，权当做个记录，如果能帮到网友自然更好 前置工作 目的 实现定时远程控制AWS中EC2和RDS实例的自启停 运行必要环境 python …- 54
- 0
-
Centos 7安装python3
纯傻瓜式步骤，保证成功。 下面的操作，按照步骤来就可以了，不要在中途cd 到别的文件目录下，要想查看效果可以用 ls加上对应的目录，不需要切换进去。 首先不管你当前在哪个目录下，输入以下命令。 1[root@localhost /]# cd / 2[root@localhost /]# 3 默认Centos7中是有python安装的，但是是2.7版本，我们需要安装py3。我们去看一下默认的py2.…- 10
- 0
-
Java RESTful 框架的性能比较
在微服务流行的今天，我们会从纵向和横向分解代码的逻辑，将一些独立的无状态的代码单元实现为微服务，可以将它们发布到一些分布式计算单元或者Docker中，并在性能需要的时候及时地创建更多的服务单元。 微服务是一个概念，并没有规定的格式，但是很多厂商和框架都不约而同的采用RESTful的架构,尽管也有一些其它的性能很好的RPC框架。 如何在Java生态圈选择一个轻量级的RESTful框架？可以参考一些其…- 8
- 0
-
Caffe深度学习入门（5）—— caffenet 微调网络 训练自己的数据并测试训练的模型
微调网络，通常我们有一个初始化的模型参数文件，这里是不同于training from scratch，scrachtch指的是我们训练一个新的网络，在训练过程中，这些参数都被随机初始化，而fine-tuning，是我们可以在ImageNet上1000类分类训练好的参数的基础上，根据我们的分类识别任务进行特定的微调 这里我以一个车的识别为例，假设我们有1种车需要识别，我的任务对象是车，现在有Imag…- 23
- 0
-
Openstack+Kubernetes+Docker微服务实践之路–弹性扩容
服务上线就要顶的住压力、扛的住考验，不然挨说的还是我们这帮做事的兄弟，还记得上图这个场景吗 老办法是服务集群部署，但总归有个上限，之前跟阿里合作的时候他们有个弹性计算可以通过设置CPU的阀值来动态扩展和收缩计算能力，那时感觉很有逼格，至少在当时我们常规的做法很难做到，没想到时至今日有了Kubernetes我们能也扬眉吐气了，看我来给大家实实在在的秀一把。 Kubernetes的自动扩容针对的是Re…- 6
- 0
-
用Hadoop构建电影推荐系统
前言 Netflix电影推荐的百万美金比赛，把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛，让企业界和学科界有了更深层次的技术碰撞。引发了各种网站“推荐”热，个性时代已经到来。 目录 推荐系统概述 需求分析：推荐系统指标设计 算法模型：Hadoop并行算法 架构设计：推荐系统架构 程序开发：MapReduce程序实现 补充内容：对Step4过程优化 1. 推荐系统概述…- 7
- 0
-
Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。 在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括H…- 0
- 0
-
Docker打包 Asp.Net Core应用，在CentOS上运行
2019独角兽企业重金招聘Python工程师标准>>> 开篇借用百科上对docker的介绍。 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 方便大家学习： http://www.docker.org.cn/（…- 7
- 0
-
通过分区（Partition）提升MySQL性能
相信有很多人经常会问同样的一个问题：当 MySQL 的总记录数超过了100万后，会出现性能的大幅度下降吗？答案是肯定的，但是性能下 降>的比率不一而同，要看系统的架构、应用程序、还有>包括索引、服务器硬件等多种因素而定。当有网友问我这个问题的时候，我最常见的回 答>就是：分表，可以根据id区间或者时间先后顺序等多 种规则来分表。分表很容易，然而由此所带来的应用程序甚至是架构方面的…- 11
- 0
-
MySQL数据库优化技巧
一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇文章主要谈谈MySQL数据库在发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段： 阶段一：数据库表设计 项目立项后，开发部门根据产品部门需求开发项目。 开发工程师在开发项目初期会对表结构设计。对于数据库来说，表结构设计很重要，如果设计不当，会直接影响到用户访问…- 6
- 0
-
Mysql Join语法解析与性能分析
一．Join语法概述 join 用于多表中字段之间的联系，语法如下： 1... FROM table1 INNER|LEFT|RIGHT JOIN table2 ON conditiona 2 table1:左表；table2:右表。 JOIN 按照功能大致分为如下三类： INNER JOIN（内连接,或等值连接）：取得两个表中存在连接匹配关系的记录。 LEFT JOIN（左连接）：取得左表（ta…- 1
- 0
-
Linux下高并发socket最大连接数所受的限制问题
Linux下高并发socket最大连接数所受的限制问题 1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时， 最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统 为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄)。 可使用ulimit命令查看系统允许当前用户进程打…- 186
- 0
-
JAVA多线程与高并发系列[前言,大纲,目录]
学习笔记之多线程与高并发 这个是我学习马士兵大学课程的笔记,多线程与高并发部分是马老师亲自上阵,讲的很棒. 前言 时代在不断发展,技术也是日新月异,所以我们就要不断学习进步,才能赶上时代的步伐,尤其是我们程序员. 传统普通开发,想跳出舒适圈,向前迈一步的话,需要掌握一些"上天入地"的知识: “上天”:高并发,缓存,大流量,大数据量; “入地”:JVM,OS,算法,线程,IO. …- 1
- 0
-
分布式RPC框架性能大比拼
Dubbo 是阿里巴巴公司开源的一个Java高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。不过，略有遗憾的是，据说在淘宝内部，dubbo由于跟淘宝另一个类似的框架HSF（非开源）有竞争关系，导致dubbo团队已经解散（参见http://www.oschina.net/news/55059/druid-1-0-9 中的评论），反…- 12
- 0
-
Openstack+Kubernetes+Docker微服务实践之路–RPC
重点来了，本文全面阐述一下我们的RPC是怎么实现并如何使用的，跟Kubernetes和Openstack怎么结合。 在选型一文中说到我们选定的RPC框架是Apache Thrift，它的用法是在Main方法中重启服务，在Client端连接服务去调用， 而我的想法是要跟Dubblo、HSF的用法一样，因为很多人都熟习这两个框架的用法，特别是我们好几个项目都是基于EDAS开发的，而且世面上用Dubb…- 3
- 0
-
Openstack+Kubernetes+Docker微服务实践之路–弹性扩容
服务上线就要顶的住压力、扛的住考验，不然挨说的还是我们这帮做事的兄弟，还记得上图这个场景吗 老办法是服务集群部署，但总归有个上限，之前跟阿里合作的时候他们有个弹性计算可以通过设置CPU的阀值来动态扩展和收缩计算能力，那时感觉很有逼格，至少在当时我们常规的做法很难做到，没想到时至今日有了Kubernetes我们能也扬眉吐气了，看我来给大家实实在在的秀一把。 Kubernetes的自动扩容针对的是Re…- 13
- 0
-
架构设计：负载均衡层设计方案（9）——负载均衡层总结下篇
(接上一篇《架构设计：负载均衡层设计方案（8）——负载均衡层总结上篇》) 3、负载均衡层技术汇总 3-4、Keepalived技术 Keepalived在我的博客文章《架构设计：负载均衡层设计方案（7）》（http://www.voidcn.com/article/p-wkzhrkpw-bdc.html）、《架构设计：负载均衡层设计方案（6）》（http://www.voidcn.com/arti…- 7
- 0
-
大型网站架构系列：负载均衡详解
一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处文末。 二、Ngnix负载均衡 Ngnix是一款轻量级的Web服务器/反向代理服务器，工作在七层Http协议的负载均衡系统。具有高性能、高并发、低内存使用…- 13
- 0
-
网站15种最差的用户体验
网站15种最差的用户体验，文章原作者不详，作为网站用户体验优化参考建议，看看你的网站都有哪些。 1. 超长的页面下载时间. 如果页面下载时间超过30秒,很难有用户会喜欢你的网站. 2.无限制的使用flash及图片 无可否认,适当的用一些图片及flash,可以增加网站的生动性,增加视觉冲击力.但无限制的使用flash及图片.会造成页面文件超大,占用浏览者的cpu资源,并且不利于页面更新及搜索…- 5
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×