紧跟大神脚步,争做下个小神。
HAWQ技术总结: 1、 官网: http://hawq.incubator.apache.org/ 2、 特性 2.1 sql支持完善 ANSI SQL标准,OLAP扩展,标准JDBC/ODBC支持。
一、决策树概念 决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。
main() 首先入口函数caffe.cpp 1 int main(int argc, char** argv) { 2 ...... 3 if (argc == 2) { 4 #ifdef WITH_PYTHON_LAYER 5 try { 6 #endif ...
Caffe | Deep Learning Framework是一个清晰而高效的深度学习框架,其作者是博士毕业于UC Berkeley的 Yangqing Jia,目前在Google工作。Caffe是纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口;可以在CPU和GPU直接无缝切换: 1 Caffe::set_mode(Caffe::GPU); Caffe的优势 上手快:模型与相应优化都是以文本形式而非代码形式给出。
对境准备:对于多个GPU而言,一台机器2个GPU,参数交换的流程图: 参数交换从main()进入train()函数,在train函数中找到对应源码为: 1 . . . . . 2 if (gpus.
概述 网络层的构建是在Net::Init()函数中完成的,构建的流程图如下所示: 从图中可以看出网络层的构建分为三个主要部分:解析网络文件、开始建立网络层、网络层需要参与计算的位置。 解析网络文件 该部分主要有两个函数FilterNet()、InsertSplits()。
FineTuning机制的分析 为什么用FineTuning 使用别人训练好的网络模型进行训练,前提是必须和别人用同一个网络,因为参数是根据网络而来的。当然最后一层是可以修改的,因为我们的数据可能并没有1000类,而只有几类。
Snapshot的存储 概述 Snapshot的存储格式有两种,分别是BINARYPROTO格式和hdf5格式。BINARYPROTO是一种二进制文件,并且可以通过修改shapshot_format来设置存储类型。
摘要 近年来,深度学习在计算机视觉领域取得了引人注目的成果,其中一个重要因素是激活函数的发展。新型激活函数ReLU克服了梯度消失,使得深度网络的直接监督式训练成为可能。本文将对激活函数的历史和近期进展进行总结和概括。
Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,该问题的目的是辨识10个不同的单个数字。
1. logistic分类 几乎所有的教材都是从logistic分类开始的,因为logistic分类实在太经典,而且是神经网络的基本组成部分,每个神经元(cell)都可以看做是进行了一次logistic分类。
Caffe的整体流程图: 程序入口:main() 1 int main(int argc, char** argv) { 2 ..... 3 return GetBrewFunction(caffe::string(argv[1]))(); 4 .... 5 } g_brew_map实现过程,首先通过 typedef定义函数指针 typedef int (*BrewFunction)(); 这个是用typedef定义函数指针方法。
DataFrame API 1、collect与collectAsList 、 collect返回一个数组,包含DataFrame中的全部Rows collectAsList返回一个Java List,包含DataFrame中包含的全部Rows 2、count 返回DataFrame的rows的个数 3、first 返回第一个row 4、head 不带参数的head方法,返回DataFrame的第一个Row。
一、程序 1 package sparklearning 2 3 import org.apache.log4j.Logger 4 import org.apache.spark.SparkConf 5 import org.
Spark SQL运行架构 Spark SQL由Core、Catalyst、Hive和Hive-Thriftserver组成 core:负责处理数据的输入/输出,从不同的数据源获取数据(如RDD、Parquet文件和json文件等),然后将查询结果输出成DataFrame Catalyst...
MapReduce1 分为6个步骤: 1、作业的提交 1)、客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取,见第2步 2)、计算作业的输入分片,将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)...
一、jar包 最基础的hibernatejar包,以及数据库驱动的jar包 二、数据库 1 t_user表 2 id int 主键 自动增长 3 name varchar(20) 三、配置文件 1 2 DOCTYPE hibernate-confi...
一、Spring事务接口 spring事务提供了三个主要的接口PlatformTransactionManager、TransactionDefination定义事务隔离级别、TransactionDefination定义事务传播行为、TransactionStatus接口。
一、拦截器简介 Struts拦截器和Action的关系如图: 为了在使用拦截器时制定参数值,应通过元素添加子元素来为拦截器指定参数值。下面是配置拦截器动态指定参数值的语法。 1: 2: 3: 参数值一 4: 参数值二 5: 6: 二、自定义拦截器 1、简单的拦截器 用户要开发自己的拦截器,需要实现com.opensymphony.xwork2.interceptor.Interceptor接口。
拦截器是一个类,这个类包含方法,用来解决DRY规则,即代码复用的问题。如果不调用拦截器,代码中需要显示通过代码调用目标方法,定义了拦截器,系统就会自动执行。大部分时候,拦截器方法都是通过代理的方式调用的。
1、下载登录页面download.jsp 1: 3: 4: 5: 6: 7: 8: 下载页面 9: 10: 11: 下载前的登录页面 12: 13: 14: ...
一、单文件的上传 表单的enctype属性: application/x-www-form-urlencoded:默认的编码方式。 multipart/form-data:会以二进制的方式处理表单数据,会将文件域指定文件的内容也封装到请求参数里。
假设有如下的输入界面: 在上面输入abc,xyz模式的字符串,其中abc作为用户的用户名,xyz作为用户的密码,系统希望将上边的字符串转换成一个User实例。 1、LoginAction.
模型驱动使用单独的VO(值对象)来封装请求参数和处理结果,属性驱动则使用Action实例来封装请求参数和处理结果。 一、使用模型驱动 1、login.action采用模型驱动模式实现,采用模型驱动时必须提供对应的模型,该模型就是一个普通的javabean。
一、搭建环境与测试 1、web.xml文件,配置核心Filter 1: 2: 7: 8: struts2 9: org.apache.struts2.
一、Struts1 1、Struts1原理简介 Struts1框架以ActionServlet作为控制器核心,整个应用由客户端请求驱动。当客户端向Web应用发送请求时,请求被Struts1的核心控制器ActionServlet拦截,ActionServlet根据请求决定是否需要调用业务逻辑控制器处理用户请求(实际上,业务逻辑控制器还是控制器,它只是负责调用模型来处理用户请求),当用户请求处理完成后,其处理结果会通过jsp呈现给用户。
web容器会为每个请求分配一个线程,Servlet3.0新增了异步处理,解决多个线程不释放占据内存的问题。可以先释放容器分配给请求的线程与相关资源,减轻系统负担,原先释放了容器所分配线程的请求,其响应将被延后,可以在处理完成后再对客户端进行响应。
过滤器Filter,是介于Servlet之前,可拦截过滤浏览器对Servlet的请求,也可以改变Servlet对浏览器的响应。 一、过滤器的概念 现在有以下几个请求: 1、针对所有的Servlet,产品经理想要了解从请求到响应之间的时间差。
Web容器管理Servlet/JSP相关的生命周期,若对HttpServletRequest对象、HttpSession对象、ServletContxt对象在生成、销毁或相关属性设置发生的时机点有兴趣,可以实现对应的监听器(Listener)。
对于每个Servlet的设置信息,web容器会为其生成一个ServletConfig作为代表对象,可以从该对象取得Servlet初始参数,以及代表整个web应用程序的ServletContext对象。
一、会话管理的基本原理 web应用程序的请求与响应是基于HTTP,为无状态的通信协议,服务器不会记得这次请求和下次请求的关系,如购物车,用户可能在多个购物网页之间采购商品,web应用程序必须有个方式来得知用户在这些网页中采购了哪些商品,这种记得此次请求与之后请求间关系的方式,就称为会话管理(Session Management). 1、使用隐藏域 隐藏域就是主动告知服务器多次请求间必要信息的方式之一。
可以使用HttpServletResponse来对浏览器进行响应,大部分情况下,会使用setContentType()设置响应类型,使用getWriter()取得PrintWriter对象,而后使用PrintWriter的println()等方法输出。
一、从容器到HttpServlet 1、web容器作了什么 web容器做的事情就是,创建Servlet实例,并完成Servlet的名称注册及URL模式的对应。在请求来到时,web容器会转发给正确的Servlet来处理请求。
第一个Servlet程序: 1 package cc.openhome; 2 3 import java.io.IOException; 4 import java.io.PrintWriter; 5 6 import javax.
一、HTTP HTTP是浏览器和web服务器之间使用的沟通方式。它有两个很重要的特性: 基于请求(Request)/响应(Response)模型:客户端对服务器发出一个取得资源的请求,服务器将要求的资源响应给客户端,每次的联机只做一次请求/响应,没有请求就没有响应。
一、JDBC简介 JDBC是连接java应用程序和数据库之间的桥梁。 什么是JDBC? Java语言访问数据库的一种规范,是一套API。 JDBC (Java Database Connectivity) API,即Java数据库编程接口,是一组标准的Java语言中的接口和类,使用这些接口和类,Java客户端程序可以访问各种不同类型的数据库。
我的MySQ安装路径是:D:\Program Files\MySQL 1.所以先cmd下切入盘 输入-> D: 输入->cd "D:\Program Files\MySQL\MySQL Server 5.
图片放大镜效果将借助于jqzoom插件,遮罩层借助于thickbox插件。 1、引入样式表 1 /*整体样式*/ 2 3 /*图片遮罩层样式*/ 4 2、引入js插件 1 2 3 4 5 6 7 3、具体页面内容 1 2 ...
这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding 的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB 集群。 MongoDB 的数据分块称为 chunk。
GridFS mongoDB除了保存各种文档(JOSN结构)外还能够保存文件。GridFS规范提供了一种透明机制,可以将一个大文件分割成为多个较小的文档,这样的机制允许我们有效的保存大文件对象,特别对于那些巨大的文件,比如视频、高清图片等。
存储过程 关系型数据库的存储过程描述为:一组为了完成特定功能的SQL 语句集,经编译后存储在数据库中,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。 mongoDB也有存储过程,但是mongoDB是用javascript来写的,这正是mongoDB的魅力。
find文档 1.find简介 使用find查询集合中符合条件的子集合 1 db.test.blog.find(); 类似于sql查询 1 select * from test.blog 上面的查询是返回多有多有集合,并且是所有键。
数据库操作无非就是增、删、改、查。这篇主要介绍增、删、改。 1.增 Mongodb插入操作很简单,使用关键字“insert”。实例: 1 > db.test.blog.insert({"haha":"xiaohaha","abc":"123"}) 2 > db.
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
MapReduce深度分析(二) 五、JobTracker分析 JobTracker是hadoop的重要的后台守护进程之一,主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。
MapReduce深度分析(一) 一、数据流向分析 图为MapReduce数据流向示意图 步骤1、输入文件从HDFS流向到Mapper节点。在一般情况下,存储数据的节点就是Mapper运行的节点,不需要在节点之间进行数据传输,也就是尽量让存储靠近计算。
MapReduce计算框架 一、MapReduce实现原理 图展示了MapReduce实现中的全部流程,处理步骤如下: 1、用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M),在集群上执行处理程序,见序号1 2、主控程序master分配Map任务和Reduce任务给工作执行机器worker。
HDFS存储系统 一、基本概念 1、NameNode HDFS采用Master/Slave架构。namenode就是HDFS的Master架构。主要负责HDFS文件系统的管理工作,具体包括:名称空间(namespace)管理(如打开、关闭、重命名文件和目录、映射关系)、文件block管理。
一、Spark SQL的发展 1、spark SQL和shark SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生,它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。
spark算子大致上可分三大类算子: 1、Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Key-Value型的数据。