文章
文章用户文档快讯圈子网址导航
全部标签

安全运维

  • Ubuntu安装docker

    Ubuntu安装docker

    文章目录 Ubuntu安装docker 一、安装docker 二、修改docker的默认存储路径 Ubuntu安装docker 一、安装docker 检查安装环境是否满足docker安装要求 检查kernel内核是否在3.10以上： 1uname -a 2// Linux dlserver 4.15.0-33-generic #36~16.04.1-Ubuntu SMP Wed Aug 15 17…
    安全运维
    • 8
    • 0
    aqztaqzt
  • 深度学习中的激活函数

    深度学习中的激活函数

    深度学习中的激活函数 Understanding Activation Functions in Deep Learning 激活函数的类型 线性激活函数：这是一种简单的线性函数，公式为：f(x) = x。基本上，输入到输出过程中不经过修改。 非线性激活函数：用于分离非线性可分的数据，是最常用的激活函数。非线性方程控制输入到输出的映射。非线性激活函数有 Sigmoid、Tanh、ReLU、LReL…
    安全运维
    • 10
    • 0
    aqztaqzt
  • 自然语言处理之word2vec

    自然语言处理之word2vec

    一、背景 语言模型  - 在统计自然语言处理中，语言模型指的是计算一个句子的概率模型。     传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同，比如“番茄”和“西红柿”。这给所有NLP任务都带来了挑战——字符串本身无法储存语义信息。该挑战突出表现在模型的平滑问题上：标注语料是有限的，而语言整体是无限的，传统模型无法借力未标注的海量语料，只能靠人工设计平滑算法，…
    安全运维
    • 11
    • 0
    aqztaqzt
  • 设计模式六大原则

    设计模式六大原则

      前言: 设计模式六大设计原则思维导图。   1、 单一职责原则      单一职责原则的定义: 单一职责原则的英文名称是 Single Responsibility Principle，简称是SRP。**应该有且只有一个原因引起类的变化(There should never be more than one reason for a class to change.)。**打个比方，你设计了一…
    安全运维
    • 7
    • 0
    aqztaqzt
  • 快速排序

    快速排序

    一、什么是快速排序      快速排序同冒泡排序一样，是一种 交换排序，通过元素之间的比较和交换达到排序目的。不同的是，冒泡排序每一轮只把一个元素（该轮最大/最小）冒泡到最右端；而快速排序每一轮则是选一个 基准元素（ pivot），并让其它 比基准元素小的数通过交换放在基准元素 左端，而 比基准元素大的数则放在基准元素的 右端，从而把待排序的数列拆分成两部分，这就是 分治法的典型应用。然后不断重复…
    安全运维
    • 17
    • 0
    aqztaqzt
  • meanShift算法介绍

    meanShift算法介绍

    meanShift, 均值漂移，在聚类、图像平滑、分割、跟踪等方面有着广泛的应用。 meanShift这个概念最早是由 Fukunage在 1975年提出的，其最初的含义正如其名：偏移的均值向量；但随着理论的发展， meanShift的含义已经发生了很多变化。如今，我们说的 meanShift算法，一般是指一个迭代的步骤，即先算出当前点的偏移均值，然后以此为新的起始点，继续移动，直到满足一定的结束…
    安全运维
    • 9
    • 0
    aqztaqzt
  • DES算法

    DES算法

    DES算法 概要 DES是有IBM公司研制的一种对称加密算法，美国国家标准局于1977年公布把它作为非机要部门使用的数据加密标准。 DES是一个分组加密算法，就是将明文分组进行加密，每次按顺序取明文一部分，一个典型的DES以64位为分组，加密解密用算法相同。它的密钥长度为56位，因为每组第8位是用来做奇偶校验，密钥可以是任意56位的数，保密性依赖于密钥。 加密步骤 首先生成一套加密密钥，我们提供一…
    安全运维
    • 22
    • 0
    aqztaqzt
  • DES加密算法

    DES加密算法

    1.什么是对称密码算法 网络安全通信中要用到两类密码算法，一类是对称密码算法，另一类是非对称密码算法。对称密码算法有时又叫传统密码算法、秘密密钥算法或单密钥算法，非对称密码算法也叫公开密钥密码算法或双密钥算法。对称密码算法的加密密钥能够从解密密钥中推算出来，反过来也成立。在大多数对称算法中，加密解密密钥是相同的。它要求发送者和接收者在安全通信之前，商定一个密钥。对称算法的安全性依赖于密钥，泄漏密钥…
    安全运维
    • 8
    • 0
    aqztaqzt
  • NLP 拼音汉字转换

    NLP 拼音汉字转换

    https://www.cnblogs.com/zh-1721342390/p/8276922.html https://blog.csdn.net/l1028386804/article/details/55505397
    安全运维
    • 0
    • 0
    aqztaqzt
  • NLP之关键词提取

    NLP之关键词提取

    关键词提取就是从文本里面把跟这篇文章意义最相关的一些词语抽取出来，在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用。 关键词提取算法一般分为有监督和无监督两类 有监督的关键词提取方法主要是通过分类的方式进行，通过构建一个较为丰富和完善的词表，然后判断每个文档与词表中每个词的匹配程度，以类似打标签的方式，达到关键词提取的效果。优点是精度较高，缺点是需要大批量的标注数据，人工成本过高，并且词表…
    安全运维
    • 22
    • 0
    aqztaqzt
  • Hanlp中使用纯JAVA实现CRF分词

    Hanlp中使用纯JAVA实现CRF分词

    与基于隐马尔可夫模型的最短路径分词、N- 最短路径分词相比，基于条件随机场（ CRF ）的分词对未登录词有更好的支持。本文（ HanLP ）使用纯 Java 实现 CRF 模型的读取与维特比后向解码，内部特征函数采用 双数组 Trie 树 (DoubleArrayTrie) 储存，得到了一个高性能的中文分词器。 开源项目**** 本文代码已集成到HanLP 中开源： http://hanlp.co…
    安全运维
    • 113
    • 0
    aqztaqzt
  • 【深度学习】基于caffe的表情识别（四）：在Intel AI DevCloud上训练模型

    【深度学习】基于caffe的表情识别（四）：在Intel AI DevCloud上训练模型

      一、注册申请Intel AI DevCloud   1.打开AI DevCloud申请的网址，请求访问：https://software.intel.com/zh-cn/ai-academy/tools/devcloud   2.填写注册信息： 3.Submit提交，提交后会出现下面的界面： 4.说明已经申请成功了，大概等2个工作日左右，会收到一封邮件，邮件长这样： 第一个红框内的链接是使用教…
    安全运维
    • 8
    • 0
    aqztaqzt
  • PyTorch深度学习60分钟快速上手（三），神经网络。

    PyTorch深度学习60分钟快速上手（三），神经网络。

    神经网络 使用torch.nn可以很方便地构建神经网络。 到目前为止，我们已经对autograd有所了解，nn依靠autograd来定义模型，并求微分。nn.Module包含了许多网络层，forward(input)能返回输出结果output。 下面是分类数字图片的网络结构图： 这是一个非常简单的前向网络，将输入经过若干网络层的处理，最后得出结果。 神经网络的典型训练过程有以下几点： 定义网络结构…
    安全运维
    • 8
    • 0
    aqztaqzt
  • [深度学习基础] 4. 卷积神经网络

    [深度学习基础] 4. 卷积神经网络

    卷积神经网络 (convolutional neural networks, CNN, ConvNets) 是流行的深度学习技术中的一种. 和上文讨论的神经网络一样, CNN 也是由可学习的参数组成, 每一层也是进行一个线性运算和经过一个激活函数, 参数的学习也是根据 BP 算法. CNN 和神经网络的区别, CNN 的优点, 和CNN 参数的具体学习过程将在本文进行讨论. 1 训练数据 CNN …
    安全运维
    • 2
    • 0
    aqztaqzt
  • 基于深度学习的推荐系统

    基于深度学习的推荐系统

    ACMJ.Comput.Cult.Herit.,Vol.1,No.1,Article35.Publication date:July 2017. 1、引言 推荐系统：用来预测使用者对于他们还没有见到或了解的事物的喜好。由于网络信息的复杂性和动态性，推荐系统成为解决信息过载问题的有效途径。 深度学习：是通过组合低层的特征，形成更加抽象的高层表示属性或特征，以发现数据的分布式特征表示。目前已应用于语音…
    安全运维
    • 5
    • 0
    aqztaqzt
  • 基于深度学习的推荐(三)：基于attention的AFM模型

    基于深度学习的推荐(三)：基于attention的AFM模型

    公众号 前言 从这周开始,我们关注基于attention机制的推荐模型,首先看下较早提出的AFM(Attentional Factorization Machines)模型.论文链接:AFM 论文作者认为,并非所有的特征交互都包含有效信息,因此那些"less userful features"应该赋予更低的权重.很明显,当无效信息和有效信息权重相同时,相当于引入了噪声.而FM缺…
    安全运维
    • 17
    • 0
    aqztaqzt
  • 深度学习数据集

    深度学习数据集

    1.MNIST数据集 MNIST（Mixed National Institute of Standards and Technology database）是一个计算机视觉数据集，它包含70000张手写数字的灰度图片，其中每一张图片包含 28 X 28 个像素点。可以用一个数字数组来表示这张图片： 每一张图片都有对应的标签，也就是图片对应的数字，例如上面这张图片的标签就是 1 数据集被分成两部分…
    安全运维
    • 1
    • 0
    aqztaqzt
  • Kafka实战(五) – Kafka的秘技"坂本"之争

    Kafka实战(五) – Kafka的秘技"坂本"之争

    只有顺应版本,才能成就王者不败神话 也是能否用好Kafka的关键。 不论是哪种Kafka，本质上都基于core Apache Kafka 那就来说说Apache Kafka版本号的问题 1 缘何"在乎"你这版本号 直接使用最新版本不就好了吗？ 当然了!这的确是一种有效策略，这种策略并非在任何场景下都适用 如果不了解各个版本之间的差异和功能变化，怎么能够准确地评判某Kafka版本…
    安全运维
    • 0
    • 0
    aqztaqzt
  • Kafka分区分配策略（1）——RangeAssignor

    Kafka分区分配策略（1）——RangeAssignor

    引言 按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图（1）。 此时消费组内又加入了一个新的消费者C1，按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费，情形上图（2），消费者C0和C1各…
    安全运维
    • 12
    • 0
    aqztaqzt
  • kafka解决了什么问题?

    kafka解决了什么问题?

    Web应用：部署在云服务器上，为个人电脑或者移动用户提供的访问体验。 SQL数据库：为Web应用提供数据持久化以及数据查询。 这套架构简洁而高效，很快便能够部署到百度云等云计算平台，以便快速推向市场。互联网不就是讲究小步快跑嘛！ 好景不长。随着用户的迅速增长，所有的访问都直接通过SQL数据库使得它不堪重负，不得不加上缓存服务以降低SQL数据库的荷载；为了理解用户行为，开始收集日志并保存到Hadoo…
    安全运维
    • 5
    • 0
    aqztaqzt
  • Flume+Kafka+SparkStreaming整合

    Flume+Kafka+SparkStreaming整合

    SparkStream整合Flume&Kafka打造通用的流处理平台 整个流程如图所示： 使用下面这段简单的代码模拟日志产生： 1import org.apache.log4j.Logger; 2 3/** 4 * Created by Zhaogw&Lss on 2019/11/27. 5 */ 6public class LoggerGenerator { 7 private …
    安全运维
    • 10
    • 0
    aqztaqzt
  • Flume整合Kafka

    Flume整合Kafka

    Flume 整合 Kafka 一、背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特…
    安全运维
    • 10
    • 0
    aqztaqzt
  • 基于hadoop生态圈的数据仓库实践——进阶技术（十五）

    基于hadoop生态圈的数据仓库实践——进阶技术（十五）

    十五、维度合并 随着数据仓库中维度的增加，我们会发现有些通用的数据存在于多个维度中。例如，客户维度的客户地址相关信息、送货地址相关信息和工厂维度里都有邮编、城市和州。本节说明如何把三个维度里的邮编相关信息合并到一个新的维度。 1. 修改数据仓库模式 为了合并维度，需要改变数据仓库模式。下图显示了修改后的模式。新增了一个zip_code_dim表，sales_order_fact和productio…
    安全运维
    • 1
    • 0
    aqztaqzt
  • hadoop生态系统学习之路（八）hbase与hive的数据同步以及hive与impala的数据同步

    hadoop生态系统学习之路（八）hbase与hive的数据同步以及hive与impala的数据同步

    在之前的博文中提到，hive的表数据是可以同步到impala中去的。一般impala是提供实时查询操作的，像比较耗时的入库操作我们可以使用hive，然后再将数据同步到impala中。另外，我们也可以在hive中创建一张表同时映射hbase中的表，实现数据同步。 下面，笔者依次进行介绍。 一、impala与hive的数据同步 首先，我们在hive命令行执行show databases;可以看到有以下…
    安全运维
    • 4
    • 0
    aqztaqzt
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部