-
(图文并茂)深度学习实战(2)：ubuantu下安装和配置caffe框架(gpu版)
深度学习实战(2)：ubuantu下安装和配置caffe框架(gpu版) 以前做过几个关于深度学习caffe框架下的项目，开发过程中是做了笔记的，但是一直没有机会写出来，现在正好实习期间，把原来的东西记录下来，以便以后复用。 虽然以前也有写过环境安装，(图文并茂)深度学习实战(1)：ubuantu下安装和配置caffe框架(cpu版),是CPU版本的，今天介绍的是GPU版本。 一.查看本机显卡版本…- 35
- 0
-
高性能消息中间件Kafka实战(一)
kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，使用Scala编写。 对于熟悉JMS（Java Message Service）规范的同学来说，消息系统已经不是什么新概念了(例如ActiveMQ，RabbitMQ等)。 Kafka拥有作为一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是确并没有完全遵循JMS规范。 kafka是…- 2
- 0
-
RabbitMQ VS Apache Kafka （四）—— 应用场景如何选择？
架构对比 RabbitMQ是一个通用的消息代理，通过包括点对点、请求/响应及发布订阅在内的多种消息通信模式。其采用的是一种智能代理/傻瓜消费的模式，侧重消息的持续投递与处理，并通过代理本身来维护消费者自身状态。RabbitMQ是一个设计成熟的消息代理中间件，支持包括Java, node.js, .NET, Ruby, PHP等在内的多种客户端，并且提供有多种插件来扩展自身功能。 RabbitMQ支…- 2
- 0
-
虚函数与动态绑定的那点事
面向对象编程的概念 1）多态：简单理解就是多种形态，通过继承而相关联的类型，特别在运行的情况下，对象可能是基类也可能派生类类型 1）继承：能够对类型之间的关系建模，共享公共的东西，仅仅特化本质上不同的东西。 定义为virtual的函数是基类期待派生类重新定义的，基类不希望派生类继承的则定义为非虚函数，这样类就有虚函数与非虚函数之分 2）动态绑定：使程序使用继承层次中任意类型的对象，无需关心具体的类…- 1
- 0
-
Flume+kafka+spark streaming+Redis实时统计广告投放的pv,uv,click,cost
因为业务逻辑的修改，投放数据存入大数据集群中，因此，需要修改之前的业务逻辑，需要实时知道rtb投放的花费情况。 环境版本： spark: 2.11-2.4.0-cdh6.2.0 kafka: 2.1.0-cdh6.2.0 fluem: 1.9.0-cdh6.2.0 Flume配置 1a1.sources = r1 2 3a1.sinks = k1 4 5a1.channels = c1 6 7#s…- 10
- 0
-
Spring Boot整合Kafka
Kafka是一个分布式的、可分区的、可复制的消息系统，下面是Kafka的几个基本术语： Kafka将消息以topic为单位进行归纳； 将向Kafka topic发布消息的程序成为producers； 将预订topics并消费消息的程序成为consumer； Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。 producers通过网络将消息发送到Kafka集群，集…- 1
- 0
-
hadoop生态系统学习之路（十一）Zookeeper的简单使用
今天来给大家介绍下zookeeper的简单使用。之前使用的hbase就依赖zookeeper，选举master。 下面，笔者将分以下几个步骤进行介绍： 一、zookeeper的基本原理 数据模型，如下： ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径…- 9
- 0
-
hadoop生态系统学习之路（五）hbase的简单使用
最近，参与了公司的一个大数据接口平台的开发，具体的处理过程是这样的。我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的java api接口，将数据查询出来返回给用户。另外，如果查询的数据量很大，那么前台就会传一个taskId过来，第一次只需将数据查询…- 3
- 0
-
hadoop实战(五)MAPREDUCE操作
一、基础概念 Maapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； (一)、为什么使用MAPREDUCE 1、海量数据在单机上处理因为硬件资源限制，无法胜任 2、一旦将单机版程序扩展到集群来分布式运行，将极大增…- 13
- 0
-
Hadoop数据压缩
压缩原则 MR支持的压缩编码 压缩方式选择 1. Gzip压缩 2. Bzip2压缩 3. Lzo压缩 4. Snappy压缩 压缩位置选择 压缩参数配置 io.compression.codecs（在core-site.xml中配置） org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCod…- 6
- 0
-
hadoop常见错误
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/securi…- 14
- 0
-
Docker存储驱动之AUFS简介
简介 AUFS曾是Docker默认的首选存储驱动。它非常稳定、有很多真实场景的部署、很强的社区支持。它有以下主要优点： 极短的容器启动时间。 有效的存储利用率。 有效的内存利用率。 虽然如此，但由于它没有包含在Linux内核主线中，所有很多Linux发行版并不支持AUFS。 以下章节介绍AUFS的特性，并且它们如何作用于Docker。 特性 镜像分层和部署 AUFS是一种联合文件系统。它使用同一个…- 36
- 0
-
Docker使用Link在容器之间建立连接
在使用Docker的时候我们会常常碰到这么一种应用，就是我需要两个或多个容器，其中某些容器需要使用另外一些容器提供的服务。比如这么一种情况：我们需要一个容器来提供mysql的数据库服务，而另外两个容器作为客户端来连接使用mysql数据库服务。下面我们就来看看Docker是怎样通过Link来实现这种功能的。 1、 这里我们首先创建两个容器image，一个用来模拟mysql数据库，另外一个使用mysq…- 5
- 0
-
docker搭建私有仓库
一般情况下，docker服务采用的都是docker官方的仓库，但是由于官方仓库服务器在国外，网速往往会比较查，所以很多人回踩用国内的镜像加速，具体可查看我的另外一篇博客docker国内镜像加速查看具体操作，这里我要讲的是如何搭建自己的私有docker仓库。 目前，由于docker服务使得应用的部署变得非常简单高效，使用docker部署应用已经变得越来越热门，通过docker hup下发应用的方式可…- 15
- 0
-
Docker暴露2375端口，引起安全漏洞
为了实现集群管理，Docker提供了远程管理接口。Docker Daemon作为守护进程，运行在后台，可以执行发送到管理接口上的Docker命令。正是因为错误的使用了Docker远端接口，引起安全漏洞。 启动Docker Daemon时，加入-H 0.0.0.0:2375，Docker Daemon就可以接收远端的Docker Client发送的指令。注意，Docker是把2375端口作为非加密端…- 109
- 0
-
设计模式之简单工厂模式
基本介绍： 1）简单工厂模式是属于创建型模式，是工厂模式的一种。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式 2）简单工厂模式：定义了一个创建对象的类，由这个类来封装实例化对象的行为（代码） 3）在软件开发中，当我们会用到大量的创建某种、某类或者某批对象时，就会使用到工厂模式 4）改进的思路分析 分析：修改代码可以接受，但是如果我们在其他的…- 15
- 0
-
自然语言处理工具hanlp关键词提取图解TextRank算法
看一个博主（亚当 -adam）的关于hanlp关键词提取算法TextRank的文章，还是非常好的一篇实操经验分享，分享一下给各位需要的朋友一起学习一下！ TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。这是一个“先有鸡还是先有蛋”的悖论，P…- 67
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×