-
自然语言处理之word2vec
一、背景 语言模型 - 在统计自然语言处理中,语言模型指的是计算一个句子的概率模型。 传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同,比如“番茄”和“西红柿”。这给所有NLP任务都带来了挑战——字符串本身无法储存语义信息。该挑战突出表现在模型的平滑问题上:标注语料是有限的,而语言整体是无限的,传统模型无法借力未标注的海量语料,只能靠人工设计平滑算法,…- 33
- 0
-
Caffe深度学习入门(1)——python调用caffe训练好的模型检测单帧图片
python调用caffe训练好的cifar10_quick_iter_4000.caffemodel模型检测单帧图片 python直接调用caffe训练好的模型,进行单帧图片检测,并显示检测结果。caffe自带的classify.py文件检测结果直接保存到了foo文件,不能直观显示,这里加入几行显示的代码,方便直接测试查看结果,运行OK,笔记mark。 1#!/usr/bin/env pytho…- 46
- 0
-
深度学习caffe数据结构(五)—— blob数据结构blob.cpp文件详细解读
在caffe中,Blob类实现的源码位于caffe根目录下的src/caffe/路径中的blob.cpp文件中,本文对这个文件进行详细解读。 1#include <climits> 2#include <vector> 3 4#include "caffe/blob.hpp" 5#include "caffe/common.hp…- 3
- 0
-
深度学习caffe–手写字体识别例程(四)—— create_mnist.sh脚本文件详解
在《深度学习caffe--手写字体识别例程(一)》中,我们进行了手写字体识别例程的演练,在获取了数据集后,需要将数据集转换为caffe需要的LMDB格式的文件,使用create_mnist.sh脚本文件进行转换,这篇文章我们来研究一下这个脚本文件到底做了什么。我们在caffe根目录下的examples/mnist/目录下可以找到这个脚本文件,源码如下所示。 1#!/usr/bin/…- 5
- 0
-
深度学习—-NLP结巴分词词性大全
jieba为自然语言语言中常用工具包,jieba具有对分词的词性进行标注的功能,词性类别如下: Ag 形语素 形容词性语素。形容词代码为 a,语素代码g前面置以A。 a 形容词 取英语形容词 adjective的第1个字母。 ad 副形词 直接作状语的形容词。形容词代码 a和副词代码d并在一起。 an 名形词 具有名词功能的形容词。形容词代码 a和名词代码n并在一起。 b 区别词 取汉字“别”的声…- 5
- 0
-
Ubuntu 14 如何设置开机自启动?
## 切换到root sudo -i ## 自动启动主要扫描这个目录下的软连接 cd /etc/rcS.d ## 赋予rc.local 可执行的权限 chmod +x ../rc.local ## S表启动时执行,60 是顺序可调整 sudo ln -s ../rc.local S60rc.local ## 重启就发现写在 /etc/rc.local 里的命令开机时都执行了 参考: https:…- 39
- 0
-
kafka原理系列之(四)ACK机制(数据可靠性和持久性保证)
1、kafka的ack机制的分类 1request.required.asks=0 2 3 当producer向leader发送数据时,可以通过request.required.acks参数来设置数据可靠性的级别: 0:这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高, 但是数据可靠性确是最低的。 1(默认):这意味着producer在ISR中…- 118
- 0
-
Kafka分区分配策略(3)——自定义分区分配策略
自定义分区分配策略 读者不仅可以任意选用Kafka所提供的3种分配策略,还可以自定义分配策略来实现更多可选的功能。自定义的分配策略必须要实现org.apache.kafka.clients.consumer.internals.PartitionAssignor接口。PartitionAssignor接口的定义如下: 1Subscription subscription(Set<String…- 17
- 0
-
RabbitMQ VS Apache Kafka (二)—— Kafka简介
接上一章【RabbitMQ VS Apache Kafka (一)】,本章我们讨论Kafka。 Kafka Kafka is a distributed, replicated commit log. Kafka本身没有队列的概念,作为一个消息中间件,乍听起来,这略显奇怪,这可能与我们长期以来的形成的一个固化思维有关——但凡消息系统,肯定离不开消息队列。让我们重新回头来看,如何理解distribu…- 0
- 0
-
如何收集项目日志统一发送到kafka中?
如何在普通应用程序实时收集日志 所谓的普通程序就是web项目的或者非web项目的的程序,大部分都是单机版本的。 大多数时候,我们的log都会输出到本地的磁盘上,排查问题也是使用Linux命令来搞定,如果web程序组成负载集群,那么就有多台机器,如果有几十台机器,几十个服务,那么想快速定位log问题和排查就比较麻烦了,所以很有必要有一个统一的平台管理log,现在大多数公司的套路都是收集重要应用的lo…- 15
- 0
-
kafka+zookeeper环境配置(Mac 或者 linux环境)
一.zookeeper下载与安装 1)下载 1adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 2 2)解压 1tar zxvf zookeeper-3.4.6.tar.gz 2 3)配置 1cd zook…- 0
- 0
-
Hadoop实战(9)_Hive进阶及UDF开发
CDH Hadoop系列目录: Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Hadoop实战(4)_Hadoop的集群管理和资源分配 Hadoop实战(5)_Hadoop的运维经验 Hadoop实战(8)_CDH添加Hive服务及Hive基础 Hive目录及配置文件 1# 配置文件 2/etc/hive/conf 3# 根目录 4/opt/cloudera/parcels/CDH/lib…- 2
- 0
-
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
环境:阿里云服务器 CentOS 7 x86_64 安装介质:jdk-7u75-linux-i586.tar.gz,hadoop-2.4.1.tar.gz 安装jdk 1tar -zxvf jdk-7u75-linux-i586.tar.gz 2 配置环境变量: 1# vi .bash_profile 2 3JAVA_HOME=/root/training/jdk1.7.0_75 4export …- 3
- 0
-
Hadoop计算能力调度器应用和配置
需求 公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务,hive希望可以和pig在高峰期时,平均使用整个集群的计算容量,互不影响。 思路 hadoop的默认调度器是FIFO,但是也有计算容量调度器,这…- 0
- 0
-
Hadoop各商业发行版之比较
Hadoop 的发行版除了社区的Apache hadoop外,cloudera,hortonworks,mapR, EMC , IBM , INTEL , 华为 等等都提供了自己的商业版本。商业版主要是提供了专业的技术支持,这对一些大型 企业 尤其重要。每个发行版都有自己的一些特点,本文就各发行版做简单介绍。 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供…- 9
- 0
-
Jenkins+Git+Docker+K8s部署
准备工作 Jenkins已安装 Docker和K8s部署运行成功 代码管理工具使用Git 最近公司项目使用Jenkins+Git+Docker+K8s进行持续化构建部署,这里笔者整理了一下构建部署的相关操作,以便留存查看。 项目和工具介绍 这里有两个项目:前端和后台,同样都是使用Git代码管理工具,目前是使用所谓的微服务进行发布操作,结合Docker和K8s进行部署发布。 部署步骤 传统的服务发布…- 7
- 0
-
使用docker搭建FastDFS文件系统
简介 FastDFS是一个轻量级分布式文件系统。可以对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,而且可以集群部署,有高可用保障。相应的竞品有Ceph、TFS等。相比而言FastDFS对硬件的要求比较低,所以适合中小型公司。 概念 FastDFS服务端由两个重要部分组成:跟踪器(Tracker)和存储节点(Storage)。 Tracker主要做调度工作,在访问上…- 24
- 0
-
docker搭建oracle开发环境
oracle太大了,对于开发人员来说,在本机安装一个oracle代价不菲。 在docker环境中,我找了很久,发现wnameless/oracle-xe-11g 镜像还不错,很方便搭建起来。 但是也发现一个问题,挂载本地卷遇到了麻烦。一旦挂载,就无法登陆了。从官方的issues中发现,有一个fork版本解决了这个问题,记录一下。 创建docker-compose工作目录 1mkdir -p ora…- 9
- 0
-
Docker网络详解
当 Docker 启动时,会自动在主机上创建一个 docker0 虚拟网桥,实际上是 Linux 的一个 bridge,可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。 同时,Docker 随机分配一个本地未占用的私有网段(在 RFC1918 中定义)中的一个地址给 docker0 接口。比如典型的 172.17.42.1 ,掩码为 255.255.0.0 。此后启…- 18
- 0
-
docker安装mysql
语法: 运行一: 1docker run -p 3307:3306 --name mysql5 -e MYSQL_ROOT_PASSWORD=123456 -d hub.c.163.com/library/mysql 2 运行二 1docker run -p 3306:3306 --name mysql5.6 -v /usr/local/mysql/conf:/etc/mysql/ -v /usr…- 2
- 0
-
设计模式之解释器模式
0x01.定义与类型 定义:给定一个语言,定义它的文法的一种表示,并定义一个解释器,这个解释器使用该表示来解释语言中的句子。 为了解释一种语言,而为语言创建的解释器。 类型:行为型 UML类图 一个解释器模式中包含的四种角色 抽象(或接口)解释器(Interpreter):声明一个所有具体表达式都要实现的抽象接口(或者抽象类),接口中主要是一个interpret()方法,称为解释操作。具体解释任务…- 9
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!