10 年软件研发经验
通过 Keras 实现 GAN ,其主要过程如下: GAN训练过程分析 正如上图所示,通过调节 Generator 和 Discriminator 交替训练来达到不断达到真实数据的拟合过程。
公司弄了台深度学习的服务器,前段时间给另一部门使用后,他们默认使用了 zsh 作为 默认 shell 环境,其中使用的 python 等环境基本是比较老版本,以及没有安装 tf 环境,果断的准备还原为我所习惯的 bash 环境。
keras 中提供图片生成器 ImageDataGenerator, 通过设定不同的参数,来生成更多的数据从而达到小样本训练优质模型的能力。 from keras.
最近在 kaggle 上学习些 keras 的使用方法,这里总结下 AutoEncoder 使用方式 模型定义 对于 AutoEncoder 模型定义有两种方式: Encoder 和 Decoder 分开定义,然后通过 Model 进行合并 Enco...
自定义 Metrics 在 keras 中操作的均为 Tensor 对象,因此,需要定义操作 Tensor 的函数来操作所有输出结果,定义好函数之后,直接将其放在 model.
自定义激活函数 通过定义个操作 Tensor 的函数,然后将其添加到 keras 系统中即可。 from keras.utils.generic_utils import get_custom_objects def binary(x): # 注: tf.
在使用 keras 或者使用 tf 做深度学习时,通常有些内容需要计算距离来作为判定相似程度的依据,如下列举一些常见的距离公式: def minkowski_distance(vec1, vec2, p=3): """ 闵氏距离 ...
在 rocket-chip 中对 opcodes 进行定制化的过程主要是在 riscv-tools/riscv-opcodes 目录中: . ├── encoding.
尝试学习 Chisel 语言,“工欲善其事,必先利其器”, 因此先扫除环境问题。 基础环境 本笔记使用的基础环境是 ubuntu 16.04 , Idea 进行开发, 在 ubuntu 中安装如下工具 名称 描述 verilator RTL...
JDBC 入口开始分析 jdbc 数据查询接口依次按如下步骤完成 kylin 的查询内容(这里省略了函数实现内容,以减少篇幅): 1. KylinClient.
注 本文以 riscv-tools 为基础进行分析 gcc 与平台之间的关系,及porting基础描述。 GCC 平台描述 GCC 使用 RTL 和 C 宏的结合来描述平台,后缀为 "md" 的文件(gcc/config/*/.md)定义了 Machine description 。
最近把公司 devops 总算搞起来了,然后把线上的 mysql 数据库定期备份到 oss 上。 中间遇到不少头痛问题,比如 oss 挂载到 centos 中,docker 备份时脚本直接执行正常,放到 crontab 中执行失败,不能发送邮件等。
最近搞 devops 相关的内容,将机房的机器集中起来,方便服务部署,算力集中管理等。在 k8s 等都基本搭建完毕之后,闲暇时间学习下 docker-compose 工作原理。
前些时间做AI项目过程中,需要使用 ubuntu 系统(方便编译调试等), 想把手头的神州笔记本装上ubuntu,可一直都是在安装过程中出现自动掉电关机,一直没有时间处理,趁十一长假,把家里的服务和笔记本一同整理下,昨天刚把防火墙和 NAS 系统搭好,同步好资料之后,今天也把 ubuntu 系统装好咯,写个文章记录下。
国庆期间在家里更新曾经购买的设备,将曾经的单系统,加固为防火墙,多系统的网络架构,如下图: 网络架构 在 ESXI 系统中默认存在一个 vSwitch0 交换机,且其不能被修改名称,因此在此通过修改其对应绑定的上行网卡即可,具体如下: 设置 vSwitch0 上行链路 将 vmnic 0 (网口 1) 设置为 WAN 网接入口,设置为 VM Network 上行链路: 修改vSwitch0 上行链路 注意:在没有添加新 vSwitch 时,VM Network 被设置为默认网口类型。
在 FPGA 中通过扩展指令集来加速计算过程,即将某些函数以CPU指令的方式来执行。然后通过将他们用 C 语言进行封装,从而成为标准C库中的一部分。 这里通过简单的添加 opcode 的方式来说明自定义 opcode 中对 gcc 的扩展过程。
一直没有搞明白 hmm-gmm 之间是通过什么联系起来的,花了些时间查代码,看到最直观联系的就是 gmm-init-mono 工具。 gmm-init-mono 基础类 通过上述看到,主要的配置都是 在 topo 文件中, 这里需要将一些常...
在 egs/wsj/s5/steps/nnet3/chain/gen_topo*.py 与 src/hmm/hmm-topology.cc 文件进行对应 在 gen_topo*.p{l, y} 文件中进行自动创建 topo 文件, 然后在 hmm-topology.cc 文件中的 HmmTopology::Read() 函数中解析 topo 文件生成 HmmTopology 对象。
在 kaldi 训练过程中,DNN 的训练是依赖于 GMM-HMM 模型的,通过 GMM-HMM 模型得到 DNN 声学模型的输出结果(在 get_egs.sh 脚本中可以看到这一过程)。
Kaldi 语音识别主流程: 语音识别过程 解码网络使用 HCLG.fst 的方式, 它由 4 个 fst 经过一系列算法组合而成。分别是 H.fst、C.fst、L.fst 和 G.fst 4 个 fst 文件: 1. G:语言模型,输入输出类型相同,实际是一个WFSA(acceptor接受机),为了方便与其它三个WFST进行操作,将其视为一个输入输出相同的WFST。
在 kaldi 系统中通常会出现很多参数相关的解析,比如: # 对于 声纹识别 中获取 ivector 特征向量使用如下脚本 steps/online/nnet2/extract_ivectors_online.
习惯了使用 ide 开发,做 kaldi 开发使用 vim 虽然也可以,总觉得别扭,所以想找个 IDE 开发,这里使用的是 CLion 作为开发工具。 将项目以 [ Import Project from Source ] 的方式导入到 Clion 里面,然后配置好相关的 CMakeLists.
周末找了个 nlp 相关的工具,使用起来还不错,它就是 rasa_nlu, 具有实体识别,意图分类等功能,在加上一个简单的意图操作即可实现简单的 chatbot 功能,其类图如下所示: Rasa_NLU 类依赖图 整体程序的入口是在 data_router.
在 kaldi 源码中,src 目录内容主要都使用来创建工具使用的一些工具源码,比如 feat,fstext, decoder 等相关工具源码。 kaldi 版本信息存放在 src/.version 文件中,通过 src/base/get_version.sh 脚本生成相应的 version.h 头文件,供 kaldi 其他函数或类进行使用。
tree命令,是大小写敏感的。常用的是: tree -C 颜色显示 tree -f 显示文件全路径 tree -L 2 只显示2层 tree -P *.pl 只显示文件目录和*.pl的perl文件。
在 kaldi 样本(egs/xxx/s5)目录下,大都会存在如下文件及文件夹: cmd.sh # 并行执行命令,通常分 run.
最近做个 IM 相关的项目,为了搞个开源的 IOS 版本,因此开启了 XCode 开发使用 遇见了如下几点问题 环境说明 Mac macOS High Sierra.
源码目录结构分析 egs/ 开放数据集合,主要目录 wsj, rm |- README.txt src/ 代码主目录 |- configure 构建 kaldi.
搞了一个月总算申请到了台 NVIDIA 机器, 接下来是安装过程 NVIDIA 驱动及Cuda环境安装 1. 查看系统架构 $ uname -am Linux aisrv 4.
简单层实现 实现一个简单层需要首先继承 layers.Layer 类即可,如下是官方网站上的例子: from keras import backend as K from keras.
插件分类 消息等内部插件 这类插件主要用于对 openfire 内消息,状态等扩展 webUI 插件 这类插件主要用于对 openfire 控制台扩展 web接口插件 这类插件主要用于对 openfire 后台接口扩展 插件开发基本流程 实现 Plugin 类 添加 plugin.
按照我一贯的做法,来阅读开源代码: 1. 编译以及基础功能的测试 2. 模块功能划分 3. 单一模块解析(添加注释或日志) 4. 扩展新demo工程 5. 自定义模块及调用 文章也会按照上述流程进行开展。
下载安装包 wget http://download.igniterealtime.org/openfire/openfire-4.2.3-1.x86_64.
安装 环境变量 OS: centos 6.9 安装 Bind 9 $ yum install -y bind* caching-nameserver* 安装 Webmin $ wget https://jaist.
最近,开始搞些大数据相关的内容,遇到的第一个问题,就是数据入库,小白刚入手,又不想写太多代码,于是从网上找,入库手段很多: DataX,Sqoop,以及Flume 等以及直接使用 Spark 进行入库,想了下当下的场景(不是简单的倒库,要从kafka拉...
在 keras 源码中, layers/recurrent.py 中看到 RNN 实现方式 RNN 中的循环体使用 RNNCell 来进行定义的, 在 RNN(Layer) 中的 compute_output_shape 函数可以查看到 RNN 输出维度的计算方法, 可以看出维度为 (输入维度, 输出维度) .
python 常见函数(v3.0) lambda 匿名函数 # lambda : func = lambda x, y: x + y print(func(1, 2)) # 输出 3 map 函数 将 一个或多个 sequnce 中元素作为参数传递到 func 中执行,并以迭代器的方式将函数执行结果返回。
用户相关 添加用户 $ sudo useradd -g sambashare dev $ sudo passwd dev 为用户添加bash $ usermod -s /usr/bin/bash u1 查看用户组 $ groups de...
scp 工具 [user@bogon bin]$ scp usage: scp [-12346BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file] [-l limit] [-...
服务配置 服务配置主目录存放路径 # cd /usr/lib/systemd/system 文件内容格式 [Unit]:服务的说明 Description:描述服务 After:在哪些描述服务类别之后启动 [Service]服务运行参数的设...
Docker CE 安装过程 更新系统源 $ sudo yum -y update 安装yum-utils工具 $ sudo yum -y install yum-utils # 将软件包添加至本地缓存 $ sudo yum makecach...
今天,公司服务器被发现有异常进程,总是出现进程被杀掉。后来发现有些异常进程异常活跃。想着平时对linux服务器还算是比较了解的前提下,试试趟这趟浑水。 首先干掉进程,发现过段时间它又会起来,这时候想到 cron 定时任务,因此去查查 /etc/cron* 下的相关配置,凸(艹皿艹 ),发现好多不认识的东西,尝试删除 rm -rf crontab* 结果是没有权限删除, 大哥,我是 root 哦,我不能删除我想要的文件?为啥? 看看是不是只读fs,发现就这几个文件不是rw的,其他都可以操作。
[问题 1] templatematch 出现size不对的问题 OpenCV Error: Assertion failed (corrsize.height
最近写些小的 java 项目先用 resources 目录来存放一些资源文件,有些是正式环境的资源如 log4j 等配置,有些是junit测试环境,比如测试用的图片资源等。
这两天做Android短信验证码相关开发,在使用中已经注册android.provider.Telephony.SMS_RECEIVED 广播监听,且已配置相应的权限 ,使用模拟器接受短信畅通无阻,到真机运行时,不能接收到短信验证码。
使用 vbox 安装 openai gym 工具时出现如下问题: pci id for fd 5: 80ee:beef, driver (null) libGL error: core dri or dri2 extension not found l...
这两天调研了下基于图结构的计算方式,并以图结构的方式实现了简单的算式计算,具体过程如下文。 图结构构成 使用简单的将所有节点通过数组或链表进行管理起来 使用二维数组将节点之间的关系进行管理。
本文主要以 Mockito 2.9.0 为基础进行分析,如有bug请大家指正。 Mockito 主要过程如下图所示: Mockito架构 如上图所示,通过对目标类进行创建 proxy 类,并添加相应的函数拦截方式,然后实例化,即为最终生成的 mock 对象。
本文参考《PKI/CA 与数字证书技术大全》书籍,如有理解bug, 请大家指正。 对称密码优点是加解密运算非常快,适合处理大批量数据,但其密码的分发与管理比较复杂。
本文参考文献 《PKI/CA 与数字证书技术大全》书籍 Block cipher mode of operation 如有理解bug, 请大家指正。 ECB ECB 模式 CBC CBC 模式 CFB CFB 模...