文章
文章用户文档快讯圈子网址导航
全部标签

安全运维

  • 基于深度学习的推荐(五)：CTR预测经典模型PNN

    基于深度学习的推荐(五)：CTR预测经典模型PNN

    文章目录 公众号 前言 1.向量内积与向量外积 1.1 向量内积Inner Product * 1.2 向量外积Outer Product * 1.3 向量点积Dot Product * 1.4 向量叉积Cross Product 模型结构 2.1 IPNN * 2.2 OPNN 代码实战 3.1 数据 * 3.3 内积和外积的实现 参考 公众号 前言 PNN模型是上交大和UCL（Universi…
    安全运维
    • 20
    • 0
    aqztaqzt
  • (图文并茂)深度学习实战(1)：ubuantu下安装和配置caffe框架(cpu版)

    (图文并茂)深度学习实战(1)：ubuantu下安装和配置caffe框架(cpu版)

    最新的linux系统下使用Caffe（一）caffe安装篇 了解到的环境：Ubuntu16.04 + CPU（Only）+ Inter显卡 1. 查看本机电脑配置与电脑的GPU版本： 系统：Ubuntu 16.04 命令： lspci | grep -i vga 也可以使用 lshw 命令来获取上述信息： 命令： lshw -C display 类似如下输出： 显示为：VGA compatible…
    安全运维
    • 11
    • 0
    aqztaqzt
  • RabbitMQ VS Apache Kafka （一）—— RabbitMQ简介

    RabbitMQ VS Apache Kafka （一）—— RabbitMQ简介

    在接下来的系列章节中，我们将探讨两种消息中间件RabbitMQ与Apache Kafka，从设计的角度来看，作为两种不同的消息中间件，各自都有自己的技术考究，也都有一定的优缺点。本章，我们将不会去评判孰优孰劣，而是作为接下来本系列的引言或者入门。 RabbitMQ RabbitMQ是一个分布式的消息队列系统。之所以说是分布式，因为它通常作为节点集群运行，这其中队列分布在节点上，并可选择复制以实现分…
    安全运维
    • 3
    • 0
    aqztaqzt
  • Kafka、RabbitMQ、RocketMQ消息中间件的对比

    Kafka、RabbitMQ、RocketMQ消息中间件的对比

    引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。   --kafkaRocketMQRabbitMQ数据来源相关文章定位设计定位系统间的数据流管道，实时数据处理。 例如：常规的消息系统、网站活性跟踪，监控数据，日志收集、处理等非日志的可靠消息传输。 例如：订单…
    安全运维
    • 5
    • 0
    aqztaqzt
  • 如何管理Spark Streaming消费Kafka的偏移量（二）

    如何管理Spark Streaming消费Kafka的偏移量（二）

    上篇文章，讨论了在spark streaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的案例。 事情发生一个月前，由于当时我们想提高spark streaming程序的并行处理性能，于是需要增加kafka分区个数，，这里需要说下，在新版本spark streaming和kafka的集成中，按照官网的建议 spark streaming的executors的数量要和kafk…
    安全运维
    • 3
    • 0
    aqztaqzt
  • Kafka的Log存储解析

    Kafka的Log存储解析

    引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。 partition是以文件的形式存储在文件系统中，比如，创…
    安全运维
    • 9
    • 0
    aqztaqzt
  • Spark Streaming使用Kafka保证数据零丢失

    Spark Streaming使用Kafka保证数据零丢失

    spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件： 1.数据输入需要可靠的sources和可靠的receivers 2.应用metadata必须通过应用driver checkpoint 3.WAL(write ahead log) 可靠的sources和receivers spark streaming可以通过多种方式作为数据sources(包括ka…
    安全运维
    • 3
    • 0
    aqztaqzt
  • 基于Hadoop生态圈的数据仓库实践 —— 进阶技术（三）

    基于Hadoop生态圈的数据仓库实践 —— 进阶技术（三）

    三、维度子集 有些需求不需要最细节的数据。例如更想要某个月而不是某天的记录。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度的数据少，因此更易使用，查询也更快。 本节中将准备两个特定维度，它们均取自现有的维度：月份维度（日期维度的子集），Pennsylvania州客户维度（客户维度的子集）。 1. 建立月份维…
    安全运维
    • 0
    • 0
    aqztaqzt
  • Hadoop实战（10）_Sqoop import与抽取框架封装

    Hadoop实战（10）_Sqoop import与抽取框架封装

    CDH Hadoop系列目录： Hadoop实战（3）_虚拟机搭建CDH的全分布模式 Hadoop实战（4）_Hadoop的集群管理和资源分配 Hadoop实战（5）_Hadoop的运维经验 Hadoop实战（8）_CDH添加Hive服务及Hive基础 Hadoop实战（9）_Hive进阶及UDF开发 Sqoop语法说明 Sqoop官方学习文档：http://archive.cloudera.co…
    安全运维
    • 1
    • 0
    aqztaqzt
  • hadoop生态系统学习之路（四）MR支持的输入文件格式以及输出文件格式

    hadoop生态系统学习之路（四）MR支持的输入文件格式以及输出文件格式

    在上一篇博文中，笔者执行mr时，输入文件是.txt格式的。其实，还可以是压缩格式。 为什么要使用压缩格式呢？文件压缩可以减少存储文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。 然后，MR又是怎么判断你的输入目录中的文件是压缩还是非压缩的呢？MR通过CompressionCodecFactory来推断CompressionCodec时，如果输入文件是压缩的，那么在根据文件扩展名推断出相应的c…
    安全运维
    • 47
    • 0
    aqztaqzt
  • hadoop实战(三) 使用HDFS操作文件

    hadoop实战(三) 使用HDFS操作文件

    一、hadoop简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager 二、hdfs的工作机制 (一)、概述 HDFS集群分为两大角色…
    安全运维
    • 9
    • 0
    aqztaqzt
  • Hadoop如何修改HDFS文件存储块大小

    Hadoop如何修改HDFS文件存储块大小

    一、 临时修改 可以在执行上传文件命令时，显示地指定存储的块大小。 查看当前 HDFS文件块大小 我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小。 1.1 终端命令方式查看 [xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linu…
    安全运维
    • 130
    • 0
    aqztaqzt
  • Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）

    Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）

    hadoop : 格式化命令 : 1 hadoop namenode -format 2 3 启动命令 : 1 start-all.sh 2 3 停止命令 : 1 stop-all.sh 2 3 Hdfs : (其实就是打开hadoop 先进入Hadoop目录，再执行以下命令：) 启动命令 : 1 start-dfs.sh 2 3 停止命令: 1 stop-dfs.sh 2 3 yarn: 启动命…
    安全运维
    • 10
    • 0
    aqztaqzt
  • 在Docker下使用Nvidia GPU进行计算

    在Docker下使用Nvidia GPU进行计算

    要使用nvidia-docker来运行docker 容器 nvidia-docker run -p 8503:8503 --mount type=bind,source=sentiment-phone_pre/tf_model,target=/models/sentiment-analysis -e MODEL_NAME=sentiment-analysis -t tensorflow/servi…
    安全运维
    • 4
    • 0
    aqztaqzt
  • Dockerfile中的COPY和ADD指令详解与比较

    Dockerfile中的COPY和ADD指令详解与比较

    Dockerfile中的COPY指令和ADD指令都可以将主机上的资源复制或加入到容器镜像中，都是在构建镜像的过程中完成的。 COPY指令和ADD指令的唯一区别在于是否支持从远程URL获取资源。COPY指令只能从执行docker build所在的主机上读取资源并复制到镜像中。而ADD指令还支持通过URL从远程服务器读取资源并复制到镜像中。 满足同等功能的情况下，推荐使用COPY指令。ADD指令更擅长…
    安全运维
    • 19
    • 0
    aqztaqzt
  • Dockerfile文件详解

    Dockerfile文件详解

      什么是dockerfile? Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。 docker build命令用于从Dockerfile构建映像。可以在docker build命令中使用-f标志指向文件系统中任何位置的Dockerfile。 例： 1docker build -f /pat…
    安全运维
    • 10
    • 0
    aqztaqzt
  • Dockerfile

    Dockerfile

    Dockerfile 1.什么是Dockerfile Dockerfile 是一个文本文件，里面包含了打包Docker镜像所需要用到的命令。Docker 可以通过读取 Dockerfile 里面的命令来自动化地构建Docker镜像。通过执行 docker build 就可以启动这样的一个自动化流程。 1docker build -t runoob/ubuntu:v1 . 2 3 2.容器镜像层的理…
    安全运维
    • 19
    • 0
    aqztaqzt
  • K-means算法

    K-means算法

    偶然接触到了K-means，在理解之后写下博客记录。 首先，K-means是一种 无监督学习的 聚类算法。什么是聚类算法，聚类就是对大量 未标注的数据集，按数据存在的内部特征特征划分为多个不同的类别。 K-means 算法接受参数k,然后将事先输入的n个数据划分为k个聚类。其中满足条件：同一聚类对象相似度高，不同聚类对象相似度较小。 算法思想 k个点为中心聚类，对靠近的对象类归类，通过迭代，逐渐更…
    安全运维
    • 3
    • 0
    aqztaqzt
  • 设计模式之命令模式

    设计模式之命令模式

    1.命令模式的意图是什么？         命令模式的意图是将请求封装在对象内部。从而可像操作对象那样来操作请求，使你可用不同的请求对客户进行参数化; 对请求排队或记录请求日志，以及支持可撤销的操作。 2.为什么用命令模式？         有时我们无法控制方法执行的时机与上下文，此时，可将方法封装在对象的内部，通过在对象内部存储调用方法所需要的信息，就可让客户端或者服务决定何时调用该方法。   …
    安全运维
    • 6
    • 0
    aqztaqzt
  • 设计模式 之 外观模式

    设计模式 之 外观模式

            下载 23种设计模式源码 ： http://download.csdn.net/download/knight_black_bob/8936043   ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////…
    安全运维
    • 26
    • 0
    aqztaqzt
  • 堆排序

    堆排序

    目录 一、基本原理 二、代码实现 1、二叉堆 2、堆排序 3、优先队列   一、基本原理 堆排序基于二叉堆（大顶堆、小顶堆）这一数据结构，二叉堆形状上就是完全二叉树。大顶堆就是任何一个节点都大于等于它的左孩子、右孩子；小顶堆则是任何一个节点都小于等于它的左孩子、右孩子。这两种结构的特点在于最大值、最小值放在堆顶的位置，另外父节点大于或小于其左右孩子节点。堆排序就是将数组转换为最大堆的形式，然后不断…
    安全运维
    • 4
    • 0
    aqztaqzt
  • PID 算法

    PID 算法

    原标题：这是我见过最通俗易懂的PID整定理论！ 在实际工程中，应用最为广泛的调节器控制规律为比例、积分、微分控制，简称PID控制，又称PID调节。 PID控制器问世至今以其结构简单、稳定性好、工作可靠、调整方便而成为工业控制的主要技术之一。 当被控对象的结构和参数不能完全掌握，或得不到精确的数学模型时，控制理论的其它技术难以采用时，系统控制器的结构和参数必须依靠经验和现场调试来确定，这时应用PID…
    安全运维
    • 6
    • 0
    aqztaqzt
  • CRC校验算法

    CRC校验算法

    1.定义 CRC(Cyclic Redundancy Check)：循环冗余检验。在链路层被广泛使用的检错技术。 2.实现原理： 通俗一点就是 在发送端将一组数据划分为组，把一组中要发送的二进制数据,将其左移（n-1）位，除以一个双方约定好的除数P值(n位)，可以得到n-1的余数，也就是冗余码。 冗余码，就是追加到要发送数据的末尾（刚才左移过的那n-1位），将得到的这组二进制进行发送。 另外，虽然…
    安全运维
    • 7
    • 0
    aqztaqzt
  • LRU算法

    LRU算法

    虚拟存储管理： 允许将一个作业分多次调入内存。 若采用连续分配方式，需申请足够空间，再分多次装入，造成内存资源浪费，并不能从逻辑上扩大内存容量。 虚拟的实现建立在离散分配存储管理基础上 方式：请求分页/请求分段系统 细节：分页/段机构、中断机构、地址变换机构、软件支持 每当要访问的页面不在内存时，便产生一缺页中断通知OS，OS则将所缺之页调入内存。作为中断，需经历几个步骤： “保护CPU环境” “…
    安全运维
    • 6
    • 0
    aqztaqzt
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部