shiyanjuncn
TA的个人档案
个人介绍
暂无个人介绍
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2016-04-14
HBase-0.90.4集群安装配置
HBase是Hadoop数据库，能够实现随机、实时读写你的Big Data，它是Google的Bigtable的开源实现，可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括：distributed, versioned, column-oriented。HBase并非只能在HDFS文件系统上使用， 你可以应用在你的本地文件系统上部署HBase实例来存储数据。 准备工作 hbase-0.90.4.tar.gz [http://labs.renren.com/apache-mirror//hbase/stable/hbase-0.90.4.tar.gz] zookeeper-3.3.4.tar.gz 下面介绍Standalone和Distributed安装过程。 Standalone模式 这种安装模式，是在你的本地文件系统上安装配置一个HBase实例，安装配置比较简单。 首先，要保证你的本地系统能够通过ssh无密码访问，配置如下： 1 ssh-keygen -t dsa 2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 检查一下权限：你的~/.ssh目录的权限是否为755，~/.ssh/authorized_keys的权限是否为644，如果不是，执行下面的命令行： 1 chmod 755 ~/.ssh 2 chmod 644 ~/.ssh/authorized_keys 然后，安装配置HBase，过程如下： 1 cd /home/shirdrn/hadoop 2 tar -xvzf hbase-0.90.4.tar.gz 3 cd hbase-0.90.4 修改conf/hbase-env.sh中JAVA_HOME配置，指定为你的JAVA_HOME目录： 1 export JAVA_HOME=/usr/java/jdk1.6.0_16 其他配置，如HBASE*指定配置项，如果需要可以进行配置。 修改hbase-site.xml中配置，示例如下： 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 3 4 <configuration> 5 <property> 6 <name>hbase.rootdir</name> 7 <value>file:///home/shirdrn/hadoop/hbase-0.90.4/data</value> 8 </property> 9 </configuration> 指定HBase的数据存储目录，使用的是本地文件系统的目录。 接着，就可以启动HBase实例，提供本地存储服务： 1 bin/start-hbase.sh 启动完成以后，你可以跟踪一下HBase日志，看看是否启动成功了： 1 tail -500f logs/hbase-shirdrn-master-localhost.log 或者查看一下HMaster进程是否存在： 1 ps -ef | grep HMaster 通过日志可以看出，HBase实例启动了所有的HBase和Zookeeper守护进程，并且这些进程都是在同一个JVM中。下面，可以启动HBase shell，来简单测试HBase的数据存储的基本命令： 01 cd bin 02 hbase shell 03 hbase(main):001:0> help 04 hbase(main):002:0> status 05 hbase(main):003:0> version 06 // 创建表'pagedb'，列簇（Column Family）为metadata、text、status 07 hbase(main):004:0> create 'pagedb', 'metadata', 'text', 'status' 08 // 插入数据 09 hbase(main):005:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','metadata:site', 'www.mafengwo.cn' 10 hbase(main):006:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','metadata:pubdate', '2011-12-20 22:09' 11 hbase(main):007:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html', 'text:title','南国之境' 12 hbase(main):008:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','text:content', '如果海會說话， 如果風愛上砂 我會聆聽浪花，...' 13 hbase(main):009:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','status:extracted', '0' 14 hbase(main):010:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','status:httpcode', '200' 15 hbase(main):011:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','status:indexed', '1' 16 // 扫描表'pagedb' 17 hbase(main):012:0> scan 'pagedb' 18 // 获取记录'http://www.mafengwo.cn/i/764197.html'的所有列的数据 19 hbase(main):013:0> get 'pagedb', 'http://www.mafengwo.cn/i/764197.html' 20 // 获取记录'http://www.mafengwo.cn/i/764197.html'的metadata列簇数据 21 hbase(main):014:0> get 'pagedb', 'http://www.mafengwo.cn/i/764197.html', 'metadata' 22 // 获取记录'http://www.mafengwo.cn/i/764197.html'的列metadata:site数据 23 hbase(main):015:0> get 'pagedb', 'http://www.mafengwo.cn/i/764197.html','metadata:site' 24 // 增加一个列status:state，并指定值为4 25 hbase(main):016:0> incr 'pagedb', 'http://www.mafengwo.cn/i/764197.html','status:state', 4 26 // 修改status:httpcode的值为500 27 hbase(main):017:0> put 'pagedb', 'http://www.mafengwo.cn/i/764197.html','status:httpcode', '500' 28 // 统计表'pagedb'中的记录行数 29 hbase(main):018:0> count 'pagedb' 30 // disable表'pagedb' 31 hbase(main):019:0> disable 'pagedb' 32 // enable表pagedb 33 hbase(main):020:0> enable 'pagedb' 34 // 清空表'pagedb' 35 hbase(main):021:0> truncate 'pagedb' 36 // 列出所有表 37 hbase(main):022:0> list 38 // 删除'http://www.mafengwo.cn/i/764197.html'数据行 39 hbase(main):023:0> deleteall 'pagedb','http://www.mafengwo.cn/i/764197.html' 40 // 删除表'pagedb'，删除之前必须先disable表 41 hbase(main):024:0> drop 'pagedb' 如果想练习使用其他更多命令，可以通过help查看其他命令。 Distributed模式 基于分布式模式安装HBase，首先它是在安装在HDFS集群之上，所以，首先要做的就是能够正确配置分布式模式的HDFS集群：保证Nanemode和Datanode进程都正确启动。HBase是一个分布式NoSQL数据库，建立于HDFS之上，并且对于集群模式的HBase需要对各个结点之间的数据进行协调（Coordination），所以HBase直接将ZooKeeper作为一个分布式协调系统来实现HBase数据复制（Replication）存储。有关ZooKeeper的介绍可以参考官方文档：http://zookeeper.apache.org。 HBase的基于主从架构模式：HBase集群中存在一个Hbase Master Server，类似于HDFS中的Namenode的角色；而作为从结点的Region Server，类似于HDFS中的Datanode。 对于HBase分布式模式的安装，又基于Zookeeper的是否被HBase管理，分为两种模式： 基于HBase管理的Zookeeper集群，启动和关闭HBase集群，同时也控制Zookeeper集群 外部Zookeeper集群：一个完全独立于HBase的ZooKeeper集群，不受HBase管理控制（启动与停止ZooKeeper集群） 下面，我们基于一个单独安装的ZooKeeper集群，不基于HBase管理，进行安装。根据官网文档，很容易就能安装配置好，并尝试使用。1、安装配置HDFS集群 启动HDFS集群实例，一台master作为Namenode结点，其余3台slaves作为Datanode结点。 其中，master服务端口为9000。2、创建HBase存储目录 1 #创建目录hdfs://master:9000/hbase 2 hadoop fs -mkdir /hbase 3 #验证/hbase目录创建成功 4 hadoop fs -lsr / 3、配置HBase （1）解压缩HBase软件包，修改系统环境变量，在~/.bashrc中最后面加入如下配置： 1 export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30 2 export HADOOP_HOME=/home/hadoop/installation/hadoop-0.22.0 3 export HBASE_HEAPSIZE=128 4 export HBASE_MANAGES_ZK=false 使配置生效： 1 . ~/.bashrc 2）修改hbase-0.90.4/conf/hbase-env.sh脚本内容： 首先要重命名hbase-0.90.4目录下的一个目录： 1 hadoop@master:~/installation/hbase-0.90.4$ mv hbase-webapps/ webapps 默认会查找webapps目录。然后修改脚本，内容如下： 1 export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30 2 export HADOOP_HOME=/home/hadoop/installation/hadoop-0.22.0 3 export HBASE_HEAPSIZE=128 4 export HBASE_MANAGES_ZK=false 5 export HBASE_CLASSPATH=$HBASE_HOME/ 最后一个表示使用外部Zookeeper集群，而不让HBase集群去管理。 （3）修改conf/hbase-site.xml文件内容，如下所示： 01 <?xml version="1.0"?> 02 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 03 04 <configuration> 05 <property> 06 <name>hbase.rootdir</name> 07 <value>hdfs://master:9000/hbase</value> 08 <description>The directory shared by RegionServers.</description> 09 </property> 10 <property> 11 <name>hbase.cluster.distributed</name> 12 <value>true</value> 13 <description>The mode the cluster will be in. Possible values are false: standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)</description> 14 </property> 15 <property> 16 <name>hbase.zookeeper.property.dataDir</name> 17 <value>/home/hadoop/storage/zookeeper</value> 18 <description>Property from ZooKeeper's config zoo.cfg. The directory where the snapshot is stored.</description> 19 </property> 20 <property> 21 <name>hbase.zookeeper.quorum</name> 22 <value>slave-01,slave-02,slave-03</value> 23 <description>The directory shared by RegionServers.</description> 24 </property> 25 </configuration> 上面配置中： hbase.rootdir 指定了HBase存储的根目录是在HDFS的hdfs://master:9000/hbase目录下，该目录要被HBase集群中Region Server共享。不要忘记了，在启动HBase集群之前，在HDFS集群中创建/hbase目录，在master上执行命令hadoop fs -mkdir /hbase即可。 hbase.cluster.distributed 指定了我们使用完全分布的模式进行安装 hbase.zookeeper.property.dataDir 指定了HBase集群使用的ZooKeeper集群的存储目录 hbase.zookeeper.quorum指定了用于协调HBase集群的ZooKeeper集群结点，必须配置奇数个结点，否则HBase集群启动会失败 所以，在启动HBase集群之前，首先要保证ZooKeeper集群已经成功启动。 （4）接下来，检查HBase的lib中的Hadoop的版本是否之前我们启动的HDFS集群使用的版本一致： 1 rm ~/installation/hbase-0.90.4/lib/hadoop-core-0.20-append-r1056497.jar 2 cp ~/installation/hadoop-0.22.0/*.jar ~/installation/hbase-0.90.4/lib/ 我直接将HBase解压缩包中的hadoop的jar文件删除，用当前使用版本的Hadoop的jar文件。这一步很重要，如果不细看官方文档，你可能会感觉很怪异，实际HBase软件包中lib下的Hadoop的版本默认是0.20的，如果你启动的HDFS使用的是0.22，则HBase启动会报版本不一致的错误。 （5）修改conf/regionservers文件，配置HBase集群中的从结点Region Server，如下所示： 1 slave-01 2 slave-02 3 slave-03 一行一个主机字符串，上面使用是从结点主机的域名。上面配置，与HDFS的从结点的配置非常类似。 （6）经过上面几个骤，基本已经在一台机器上（master）配置好HBase了，这时，需要将上述的全部环境变量配置，也在各个从结点上进行配置，然后将配置好的HBase安装文件拷贝分发到各个从结点上： 1 scp -r ~/installation/hbase-0.90.4 hadoop@slave-01:/home/hadoop/installation 2 scp -r ~/installation/hbase-0.90.4 hadoop@slave-02:/home/hadoop/installation 3 scp -r ~/installation/hbase-0.90.4 hadoop@slave-03:/home/hadoop/installation 4、配置Zookeeper集群 具体安装、配置和启动，详见文章 http://blog.csdn.net/shirdrn/article/details/7183503 的说明。 在开始启动HBase集群之前，要先启动Zookeeper集群，保证其运行正常。5、启动HBase集群 启动HBase集群了，执行如下脚本： 1 ./start-hbase.sh 你可以使用jps查看一下，当前master上启动的全部进程，如下所示： 1 hadoop@master:~/installation/hbase-0.90.4$ jps 2 15899 SecondaryNameNode 3 15553 NameNode 4 21677 Jps 5 21537 HMaster 其中，HMaster进程就是HBase集群的主结点服务进程。 slaves结点上启动的进程，以slave-03为例： 1 hadoop@slave-03:~/installation/hbase-0.90.4$ jps 2 6919 HRegionServer 3 4212 QuorumPeerMain 4 7053 Jps 5 3483 DataNode 上面，HReginServer是HBase集群的从结点服务进程，QuorumPeerMain是ZooKeeper集群的结点服务进程。 或者，查看日志，是否出现启动异常： 1 master上 ： tail -500f $HBASE_HOME/logs/hbase-hadoop-master-master.log 2 slave-01上： tail -500f $HBASE_HOME/logs/hbase-hadoop-zookeeper-slave-01.log 3 slave-02上： tail -500f $HBASE_HOME/logs/hbase-hadoop-zookeeper-slave-02.log 4 slave-03上： tail -500f $HBASE_HOME/logs/hbase-hadoop-zookeeper-slave-03.log 6、验证HBase安装 启动HBase shell，如果能够显示如下信息则说明HBase集群启动成功： 01 hadoop@master:~/installation/hbase-0.90.4$ hbase shell 02 12/01/09 01:14:09 WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available 03 12/01/09 01:14:09 WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available 04 12/01/09 01:14:09 WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available 05 HBase Shell; enter 'help<RETURN>' for list of supported commands. 06 Type "exit<RETURN>" to leave the HBase Shell 07 Version 0.90.4, r1150278, Sun Jul 24 15:53:29 PDT 2011 08 09 10 hbase(main):001:0> help 11 HBase Shell, version 0.90.4, r1150278, Sun Jul 24 15:53:29 PDT 2011 12 Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for help on a specific command. 13 Commands are grouped. Type 'help "COMMAND_GROUP"', (e.g. 'help "general"') for help on a command group. 14 15 16 COMMAND GROUPS: 17 Group name: general 18 Commands: status, version 19 20 21 Group name: ddl 22 Commands: alter, create, describe, disable, drop, enable, exists, is_disabled, is_enabled, list 23 24 25 Group name: dml 26 Commands: count, delete, deleteall, get, get_counter, incr, put, scan, truncate 27 28 29 Group name: tools 30 Commands: assign, balance_switch, balancer, close_region, compact, flush, major_compact, move, split, unassign, zk_dump 31 32 33 Group name: replication 34 Commands: add_peer, disable_peer, enable_peer, remove_peer, start_replication, stop_replication 35 36 37 SHELL USAGE: 38 Quote all names in HBase Shell such as table and column names. Commas delimit 39 command parameters. Type <RETURN> after entering a command to run it. 40 Dictionaries of configuration used in the creation and alteration of tables are 41 Ruby Hashes. They look like this: 42 43 44 {'key1' => 'value1', 'key2' => 'value2', ...} 45 46 47 and are opened and closed with curley-braces. Key/values are delimited by the 48 '=>' character combination. Usually keys are predefined constants such as 49 NAME, VERSIONS, COMPRESSION, etc. Constants do not need to be quoted. Type 50 'Object.constants' to see a (messy) list of all constants in the environment. 51 52 53 If you are using binary keys or values and need to enter them in the shell, use 54 double-quote'd hexadecimal representation. For example: 55 56 57 hbase> get 't1', "key\x03\x3f\xcd" 58 hbase> get 't1', "key\003\023\011" 59 hbase> put 't1', "test\xef\xff", 'f1:', "\x01\x33\x40" 60 61 62 The HBase shell is the (J)Ruby IRB with the above HBase-specific commands added. 63 For more on the HBase Shell, see http://hbase.apache.org/docs/current/book.html 64 hbase(main):002:0> status 65 3 servers, 0 dead, 0.0000 average load 66 67 68 hbase(main):003:0> version 69 0.90.4, r1150278, Sun Jul 24 15:53:29 PDT 2011 70 71 72 hbase(main):004:0> 你可以按照前面使用本地文件系统安装过程中，使用的命令来进行相关的操作。 总结说明 1、出现版本不一致错误 如果启动时出现版本不一致的错误，如下所示： 01 2012-01-06 21:27:18,384 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown. 02 org.apache.hadoop.ipc.RemoteException: Server IPC version 5 cannot communicate with client version 3 03 at org.apache.hadoop.ipc.Client.call(Client.java:740) 04 at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220) 05 at $Proxy5.getProtocolVersion(Unknown Source) 06 at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359) 07 at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:113) 08 at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:215) 09 at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:177) 10 at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82) 11 at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378) 12 at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) 13 at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) 14 at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) 15 at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) 16 at org.apache.hadoop.hbase.util.FSUtils.getRootDir(FSUtils.java:364) 17 at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:81) 18 at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:346) 19 at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:282) 20 2012-01-02 21:27:18,384 INFO org.apache.hadoop.hbase.master.HMaster: Aborting 这就是说明Hadoop和HBase版本不匹配，仔细阅读文档，你会在http://hbase.apache.org/book.html#hadoop发现，解释如下所示： 1 Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY 2 3 for use in standalone mode. In 4 distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib 5 directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. 6 Hadoop version mismatch issues have various manifestations but often all looks like its hung up. 将HBase解压缩包中lib的Hadoop Core jar文件替换为当前你所使用的Hadoop版本即可。2、HBase集群启动以后，执行相关操作时抛出异常 如果HBase集群正常启动，但是在想要创建一个table的时候，出现如下异常，如下所示： 01 ERROR: org.apache.hadoop.hbase.NotAllMetaRegionsOnlineException: org.apache.hadoop.hbase.NotAllMetaRegionsOnlineException: Timed out (10000ms) 02 at org.apache.hadoop.hbase.catalog.CatalogTracker.waitForMeta(CatalogTracker.java:334) 03 at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:769) 04 at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:743) 05 at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 06 at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 07 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 08 at java.lang.reflect.Method.invoke(Method.java:597) 09 at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570) 10 at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039) 解决方法就是，修改/etc/hosts文件，修改内容以master为例，如下所示： 01 #127.0.0.1 localhost 02 192.168.0.180 master 03 192.168.0.191 slave-01 04 192.168.0.190 slave-02 05 192.168.0.189 slave-03 06 # The following lines are desirable for IPv6 capable hosts 07 #::1 ip6-localhost ip6-loopback 08 #fe00::0 ip6-localnet 09 #ff00::0 ip6-mcastprefix 10 #ff02::1 ip6-allnodes 11 #ff02::2 ip6-allrouters 然后，再进行相关操作就没有问题了。
-
发表了文章 2016-04-14
Apache Mina通信框架架构与应用
Apache Mina Server 是一个网络通信应用框架，也就是说，它主要是对基于 TCP/IP、UDP/IP协议栈的通信框架（当然，也可以提供 JAVA 对象的序列化服务、虚拟机管道通信服务等），Mina 可以帮助我们快速开发高性能、高扩展性的网络通信应用，Mina 提供了事件驱动、异步（Mina 的异步 IO 默认使用的是 JAVA NIO 作为底层支持）操作的编程模型。从官网文档“MINA based Application Architecture”中可以看到Mina作为一个通信层框架，在实际应用所处的位置，如图所示： Mina位于用户应用程序和底层Java网络API（和in-VM通信）之间，我们开发基于Mina的网络应用程序，就无需关心复杂的通信细节。 应用整体架构 再看一下，Mina提供的基本组件，如图所示： 也就是说，无论是客户端还是服务端，使用Mina框架实现通信的逻辑分层在概念上统一的，即包含如下三层： I/O Service – Performs actual I/O I/O Filter Chain – Filters/Transforms bytes into desired Data Structures and vice-versa I/O Handler – Here resides the actual business logic 想要开发基于MIna的应用程序，你只需要做如下事情： Create an I/O service – Choose from already available Services (*Acceptor) or create your own Create a Filter Chain – Choose from already existing Filters or create a custom Filter for transforming request/response Create an I/O Handler – Write business logic, on handling different messages 下面看一下使用Mina的应用程序，在服务器端和客户端的架构细节： 服务器端架构 服务器端监听指定端口上到来的请求，对这些请求经过处理后，回复响应。它也会创建并处理一个链接过来的客户会话对象（Session）。服务器端架构如图所示： 对服务器端的说明，引用官网文档，如下所示： IOAcceptor listens on the network for incoming connections/packets For a new connection, a new session is created and all subsequent request from IP Address/Port combination are handled in that Session All packets received for a Session, traverses the Filter Chain as specified in the diagram. Filters can be used to modify the content of packets (like converting to Objects, adding/removing information etc). For converting to/from raw bytes to High Level Objects, PacketEncoder/Decoder are particularly useful Finally the packet or converted object lands in IOHandler. IOHandlers can be used to fulfill business needs. 客户端架构 客户端主要做了如下工作： 连接到服务器端 向服务器发送消息 等待服务器端响应，并处理响应 客户端架构，如图所示： 对客户端架构的说明，引用官网文档内容，如下所示： Client first creates an IOConnector (MINA Construct for connecting to Socket), initiates a bind with Server Upon Connection creation, a Session is created and is associated with Connection Application/Client writes to the Session, resulting in data being sent to Server, after traversing the Filter Chain All the responses/messages received from Server are traverses the Filter Chain and lands at IOHandler, for processing 应用实例开发 下面根据上面给出的架构设计描述，看一下Mina（版本2.0.7）自带的例子，如何实现一个简单的C/S通信的程序，非常容易。服务端 首先，服务器端需要使用的组件有IoAdaptor、IoHandler、IoFilter，其中IoFilter可选. 我们基于Mina自带的例子进行了简单地修改，实现服务端IoHandler的代码如下所示： 01 package org.shirdrn.mina.server; 02 03 import org.apache.mina.core.service.IoHandlerAdapter; 04 import org.apache.mina.core.session.IdleStatus; 05 import org.apache.mina.core.session.IoSession; 06 import org.slf4j.Logger; 07 import org.slf4j.LoggerFactory; 08 09 public class TinyServerProtocolHandler extends IoHandlerAdapter { 10 private final static Logger LOGGER = LoggerFactory.getLogger(TinyServerProtocolHandler.class); 11 12 @Override 13 public void sessionCreated(IoSession session) { 14 session.getConfig().setIdleTime(IdleStatus.BOTH_IDLE, 10); 15 } 16 17 @Override 18 public void sessionClosed(IoSession session) throws Exception { 19 LOGGER.info("CLOSED"); 20 } 21 22 @Override 23 public void sessionOpened(IoSession session) throws Exception { 24 LOGGER.info("OPENED"); 25 } 26 27 @Override 28 public void sessionIdle(IoSession session, IdleStatus status) { 29 LOGGER.info("*** IDLE #" + session.getIdleCount(IdleStatus.BOTH_IDLE) + " ***"); 30 } 31 32 @Override 33 public void exceptionCaught(IoSession session, Throwable cause) { 34 session.close(true); 35 } 36 37 @Override 38 public void messageReceived(IoSession session, Object message) 39 throws Exception { 40 LOGGER.info( "Received : " + message ); 41 if(!session.isConnected()) { 42 session.close(true); 43 } 44 } 45 } 这个版本中，IoHandlerAdapter实现了IoHandler接口，里面封装了一组用于事件处理的空方法，其中包含服务端和客户端的事件。在实际应用中，客户端可以选择客户端具有的事件，服务器端选择服务器端具有的事件，然后分别对这两类事件进行处理（有重叠的事件，如连接事件、关闭事件、异常事件等）。 客户端的IoHandler的具体实现也是类似的，不过多累述。 下面看启动服务器的主方法类，代码如下所示： 01 package org.shirdrn.mina.server; 02 03 import java.net.InetSocketAddress; 04 05 import org.apache.mina.filter.codec.ProtocolCodecFilter; 06 import org.apache.mina.filter.codec.textline.TextLineCodecFactory; 07 import org.apache.mina.transport.socket.SocketAcceptor; 08 import org.apache.mina.transport.socket.nio.NioSocketAcceptor; 09 import org.slf4j.Logger; 10 import org.slf4j.LoggerFactory; 11 12 public class TinyMinaServer { 13 14 private final static Logger LOG = LoggerFactory.getLogger(TinyMinaServer.class); 15 /** Choose your favorite port number. */ 16 private static final int PORT = 8080; 17 18 public static void main(String[] args) throws Exception { 19 SocketAcceptor acceptor = new NioSocketAcceptor(); 20 acceptor.setReuseAddress(true); 21 acceptor.getFilterChain().addLast("codec", new ProtocolCodecFilter(newTextLineCodecFactory())); 22 23 // Bind 24 acceptor.setHandler(new TinyServerProtocolHandler()); 25 acceptor.bind(new InetSocketAddress(PORT)); 26 LOG.info("Listening on port " + PORT); 27 28 LOG.info("Server started!"); 29 30 for (;;) { 31 LOG.info("R: " + acceptor.getStatistics().getReadBytesThroughput() + ", W: " + acceptor.getStatistics().getWrittenBytesThroughput()); 32 Thread.sleep(3000); 33 } 34 } 35 36 } 客户端 实现客户端IoHandler的代码如下所示： 01 package org.shirdrn.mina.client; 02 03 import org.apache.mina.core.service.IoHandlerAdapter; 04 import org.apache.mina.core.session.IdleStatus; 05 import org.apache.mina.core.session.IoSession; 06 import org.slf4j.Logger; 07 import org.slf4j.LoggerFactory; 08 09 public class TinyClientProtocolHandler extends IoHandlerAdapter { 10 11 private final static Logger LOGGER = LoggerFactory 12 .getLogger(TinyClientProtocolHandler.class); 13 14 @Override 15 public void sessionCreated(IoSession session) { 16 LOGGER.info("CLIENT::CREATED"); 17 } 18 19 @Override 20 public void sessionClosed(IoSession session) throws Exception { 21 LOGGER.info("CLIENT::CLOSED"); 22 } 23 24 @Override 25 public void sessionOpened(IoSession session) throws Exception { 26 LOGGER.info("CLIENT::OPENED"); 27 } 28 29 @Override 30 public void sessionIdle(IoSession session, IdleStatus status) { 31 LOGGER.info("CLIENT::*** IDLE #" 32 + session.getIdleCount(IdleStatus.BOTH_IDLE) + " ***"); 33 } 34 35 @Override 36 public void exceptionCaught(IoSession session, Throwable cause) { 37 LOGGER.info("CLIENT::EXCEPTIONCAUGHT"); 38 cause.printStackTrace(); 39 } 40 41 public void messageSent(IoSession session, Object message) throws Exception { 42 LOGGER.info("CLIENT::MESSAGESENT: " + message); 43 } 44 } 下面看启动客户端的主方法类，代码如下所示： 01 package org.shirdrn.mina.client; 02 03 import java.net.InetSocketAddress; 04 05 import org.apache.mina.core.future.ConnectFuture; 06 import org.apache.mina.filter.codec.ProtocolCodecFilter; 07 import org.apache.mina.filter.codec.textline.TextLineCodecFactory; 08 import org.apache.mina.transport.socket.SocketConnector; 09 import org.apache.mina.transport.socket.nio.NioSocketConnector; 10 import org.slf4j.Logger; 11 import org.slf4j.LoggerFactory; 12 13 public class TinyMinaClient { 14 15 private final static Logger LOG = LoggerFactory.getLogger(TinyMinaClient.class); 16 /** Choose your favorite port number. */ 17 private static final int PORT = 8080; 18 19 public static void main(String[] args) throws Exception { 20 SocketConnector connector = new NioSocketConnector(); 21 22 // Connect 23 connector.getFilterChain().addLast("codec", new ProtocolCodecFilter(newTextLineCodecFactory())); 24 connector.setHandler(new TinyClientProtocolHandler()); 25 26 for (int i = 0; i < 10; i++) { 27 ConnectFuture future = connector.connect(new InetSocketAddress(PORT)); 28 LOG.info("Connect to port " + PORT); 29 future.awaitUninterruptibly(); 30 future.getSession().write(String.valueOf(i)); 31 Thread.sleep(1500); 32 } 33 34 } 35 } 我们只是发送了十个数字，每发一次间隔1500ms。 测试上述服务器端与客户端交互，首先启动服务器端，监听8080端口。 接着启动客户端，连接到服务器端8080端口，然后发送消息，服务器端接收到消息后，直接将到客户端的连接关闭掉。
-
发表了文章 2016-04-14
MIna框架I/O Service层设计
Mina从2.0版本以后，它的设计让人感觉到非常的优雅。它对网络应用通信框架的3个层进行了更好的抽象，以及在功能逻辑上的划分，同时又保证了 作为一个网络应用通信框架的统一。划分的3个层分别为： I/O Service层 I/O Filter Chain层 I/O Handler层 这里，我们重点关注I/O Service层。作为一个基于网络通信的应用，无论是服务器还是客户端角色，都要和网络I/O打交道，比如，服务器端需要创建服务器端Socket，监听指定端口并等待请求的带来，而客户端需要连接到服务器端指定的监听端口，使用网络服务。一般来说，这些I/O操作都比较复杂，而且很难在编 码中进行很好地控制，Mina的I/O Service层就是处理这些与实际的网络I/O相关的操作（事件）。 我们先看一下，对于服务器端和客户端，I/O Service层是如何设计的。类设计上的关系，作为这一层的最顶层抽象就是IoService接口类，如图所示： 通过上图，我们可以看到，IoService抽象的服务（功能）有如下几个： 管理IoSession：创建和删除IoSession，探测会话Idle状态 Filter Chain管理：处理过滤器链，允许用户修改过滤器链执行顺序 Handler的调用：当指定事件发生的时候，负责调用Handler进行处理 统计数据管理：更新消息发生的数量，以及传输的字节数，等等 监听器管理：管理用户设置的Listener 通信管理：管理端到端数据传输 具体可以参考源代码中定义的方法。 下面看看在服务器端和客户端，Mina是如何使用IoService进行抽象和设计的。 服务器端I/O Service层 在服务器端，对应于该层的抽象是IoAcceptor接口，IoAcceptor继承自IoService。具体的类设计上的关系，如图所示： 上图中，主要基于网络传输层协议TCP和UDP内置了对应IoAcceptor的实现，还附加了另外两个，如下所示： NioSocketAcceptor NioDatagramAcceptor AprSocketAcceptor VmPipeSocketAcceptor 根据实现类的命名就可知道各个类对应的应用场景。这里要说的是，前两个NioSocketAcceptor和NioDatagramAcceptor 都是基于非阻塞Socket的。AprSocketAcceptor是基于APR（Apache portable Run-time）的阻塞 Socket实现。 客户端I/O Service层 在客户端，对应于该层的抽象是IoConnector接口，IoConnector继承自IoService。具体的类设计上的关系，如图所示： 上图中给出了IoConnector的6个实现，如下所示： NioSocketConnector NioDatagramConnector AprSocketConnector ProxyConnector SerialConnector VmPipeConnector 上面的ProxyConnector是提供了代理支持的IoConnector，SerialConnector是支持串行传输数据的 IoConnector，VmPipeConnector就是in-VM的IoConnector。
-
发表了文章 2016-04-14
MIna框架I/O Filter Chain层设计
I/O Filter Chain层是介于I/O Service层与I/O Handler层之间的一层，从它的命名上可以看出，这个层可以根据实际应用的需要，设置一组IoFilter来对I/O Service层与I/O Handler层之间传输数据进行过滤，任何需要在这两层之间进行处理的逻辑都可以放到IoFilter中。我们看一下IoFilter的抽象层次设计，如图所示： 通过上述类图可见，要实现一个自定义的IoFilter，一般是直接实现IoFilterAdapter类。同时，Mina也给出了几类常用的开发IoFilter的实现类，如下所示： LoggingFilter记录所有事件和请求 ProtocolCodecFilter将到来的ByteBuffer转换成消息对象（POJO） CompressionFilter压缩数据 SSLFilter增加SSL – TLS – StartTLS支持 想要实现一个自定义的IoFilter实现类，只需要基于上述给出的几个实现类即可。 如果想要实现自己的IoFilter，可以参考如下例子： 1 public class MyFilter extends IoFilterAdapter { 2 @Override 3 public void sessionOpened(NextFilter nextFilter, IoSession session) throwsException { 4 // Some logic here... 5 nextFilter.sessionOpened(session); 6 // Some other logic here... 7 } 8 } 下面通过一个例子来说明，如何使用IoFilter的实现类。 ProtocolCodecFilter 下面是Mina自带的例子，使用了ProtocolCodecFilter类： 01 package org.apache.mina.example.gettingstarted.timeserver; 02 03 import java.io.IOException; 04 import java.net.InetSocketAddress; 05 import java.nio.charset.Charset; 06 07 import org.apache.mina.core.service.IoAcceptor; 08 import org.apache.mina.core.session.IdleStatus; 09 import org.apache.mina.filter.codec.ProtocolCodecFilter; 10 import org.apache.mina.filter.codec.textline.TextLineCodecFactory; 11 import org.apache.mina.filter.logging.LoggingFilter; 12 import org.apache.mina.transport.socket.nio.NioSocketAcceptor; 13 14 public class MinaTimeServer { 15 /** 16 * We will use a port above 1024 to be able to launch the server with a 17 * standard user 18 */ 19 private static final int PORT = 9123; 20 21 /** 22 * The server implementation. It's based on TCP, and uses a logging filter 23 * plus a text line decoder. 24 */ 25 public static void main(String[] args) throws IOException { 26 // Create the acceptor 27 IoAcceptor acceptor = new NioSocketAcceptor(); 28 29 // Add two filters : a logger and a codec 30 acceptor.getFilterChain().addLast("logger", new LoggingFilter()); 31 acceptor.getFilterChain().addLast("codec", new ProtocolCodecFilter(newTextLineCodecFactory(Charset.forName("UTF-8")))); 32 33 // Attach the business logic to the server 34 acceptor.setHandler(new TimeServerHandler()); 35 36 // Configurate the buffer size and the iddle time 37 acceptor.getSessionConfig().setReadBufferSize(2048); 38 acceptor.getSessionConfig().setIdleTime(IdleStatus.BOTH_IDLE, 10); 39 40 // And bind ! 41 acceptor.bind(new InetSocketAddress(PORT)); 42 } 43 } 上面设置了两个IoFilter，关键是看如果基于文本行的消息，使用一个ProtocolCodecFilter包裹了一TextLineCodecFactory类的实例，使用起来非常容易。 构造一个ProtocolCodecFilter实例，需要实现一个ProtocolCodecFactory实例，一个ProtocolCodecFactory包含了对消息进行编解码（Codec）的逻辑，这样实现的好处是将编解码的逻辑和IoFilter解耦合。下面看一下类图： LoggingFilter 如果需要记录通信过程中的事件以及请求，则可以直接使用LoggingFilter类，使用方法可以参考上面的例子。 CompressionFilter CompressionFilter是与压缩/解压缩数据相关的IoFilter，我们可以看一下该类的构造方法，如下所示： 01 /** 02 * Creates a new instance which compresses outboud data and decompresses 03 * inbound data with default compression level. 04 */ 05 public CompressionFilter() { 06 this(true, true, COMPRESSION_DEFAULT); 07 } 08 09 /** 10 * Creates a new instance which compresses outboud data and decompresses 11 * inbound data with the specified <tt>compressionLevel</tt>. 12 * 13 * @param compressionLevel the level of compression to be used. Must 14 */ 15 public CompressionFilter(final int compressionLevel) { 16 this(true, true, compressionLevel); 17 } 18 19 /** 20 * Creates a new instance. 21 * 22 * @param compressInbound <tt>true</tt> if data read is to be decompressed 23 * @param compressOutbound <tt>true</tt> if data written is to be compressed 24 * @param compressionLevel the level of compression to be used. Must 25 */ 26 public CompressionFilter(final boolean compressInbound, final booleancompressOutbound, final int compressionLevel) { 27 this.compressionLevel = compressionLevel; 28 this.compressInbound = compressInbound; 29 this.compressOutbound = compressOutbound; 30 } 基本上就构造方法参数中指定的3个参数与压缩/解压缩相关： compressionLevel compressInbound compressOutbound 使用的时候也比较简单，只需要创建一个CompressionFilter实例，加入到Filter Chain中即可。 DefaultIoFilterChainBuilder Mina自带的DefaultIoFilterChainBuilder可以非常容易就可以构建一个Filter Chain，默认在创建IoAcceptor和IoConnector的时候，可以直接通过他们获取到一个DefaultIoFilterChainBuilder的实例，然后调用add*方法设置IoFilter链，如下面代码中示例： 1 IoAcceptor acceptor = new NioSocketAcceptor(); 2 3 // Add two filters : a logger and a codec 4 acceptor.getFilterChain().addLast("logger", new LoggingFilter()); 5 acceptor.getFilterChain().addLast("codec", new ProtocolCodecFilter(newTextLineCodecFactory(Charset.forName("UTF-8")))); 下面看一下来自Mina官网的表格，Mina框架也给出了一些典型的IoFilter的实现，引用如下所示： Filter class Description Blacklist BlacklistFilter Blocks connections from blacklisted remote addresses Buffered Write BufferedWriteFilter Buffers outgoing requests like the BufferedOutputStream does Compression CompressionFilter ConnectionThrottle ConnectionThrottleFilter ErrorGenerating ErrorGeneratingFilter Executor ExecutorFilter FileRegionWrite FileRegionWriteFilter KeepAlive KeepAliveFilter Logging LoggingFilter Logs event messages, like MessageReceived, MessageSent, SessionOpened, … MDC Injection MdcInjectionFilter Inject key IoSession properties into the MDC Noop NoopFilter A filter that does nothing. Useful for tests. Profiler ProfilerTimerFilter Profile event messages, like MessageReceived, MessageSent, SessionOpened, … ProtocolCodec ProtocolCodecFilter A filter in charge of encoding and decoding messages Proxy ProxyFilter Reference counting ReferenceCountingFilter Keeps track of the number of usages of this filter RequestResponse RequestResponseFilter SessionAttributeInitializing SessionAttributeInitializingFilter StreamWrite StreamWriteFilter SslFilter SslFilter WriteRequest WriteRequestFilter
-
发表了文章 2016-04-14
使用libsvm进行分类预测
使用libsvm，首先需要将实际待分类的内容或数据（训练数据，或预测数据）进行量化，然后通过libsvm提供的功能实现分类和预测。下面介绍使用libsvm的基本步骤。 准备训练数据 数据格式： 1 <label1> <index1>:<value11> <index2>:<value12>... 2 <label2> <index1>:<value21> <index2>:<value22>... 3 <label3> <index1>:<value31> <index2>:<value32>... 4 ... 每一行，表示以已定义的类别标签，以及属于该标签的各个属性值，每个属性值以“属性索引编号:属性值”的格式。一行内容表示一个类别属性以及与该类别相关的各个属性的值。属性的值，一般可以表示为“该属性隶属于该类别的程度”，越大，表示该属性更能决定属性该类别。 上面的数据必须使用数字类型，例如类别，可以通过不同的整数来表示不同的类别。 准备的原始训练样本数据存放在文件raw_data.txt中，内容如下所示： 1 1 1:0.4599 2:0.8718 3:0.1987 2 2 1:0.9765 2:0.2398 3:0.3999 3 3 1:0.0988 2:0.2432 3:0.7633 归一化 这一步对应于libsvm的缩放操作，即将量化的数据缩放到某一范围之内。首先，需要把原始的训练数据存放到文件中作为输入，如果实际应用中不需要从文件输入，可以根据需要修改libsvm的代码，来满足需要。 上面准备的文件raw_data.txt定义了三个类别，分别为1,2,3，其中有三个属性。正常情况下，每个属性值范围可能并不一定是在0到1之间，比如实际的温度数据，销售额数据，等等。 libsvm通过使用svm_scale来实现归一化，下面是svm_scale的使用说明： 1 用法：svmscale [-l lower] [-u upper] [-y y_lower y_upper] [-s save_filename] [-r restore_filename] filename 2 缺省值： lower = -1，upper = 1，没有对y进行缩放 3 -l：数据下限标记；lower：缩放后数据下限； 4 -u：数据上限标记；upper：缩放后数据上限； 5 -y：是否对目标值同时进行缩放；y_lower为下限值，y_upper为上限值；(回归需要对目标进行缩放，因此该参数可以设定为 –y -1 1 ) 6 -s save_filename：表示将缩放的规则保存为文件save_filename； 7 -r restore_filename：表示将缩放规则文件restore_filename载入后按此缩放； 8 filename：待缩放的数据文件（要求满足前面所述的格式） 我们输入如下参数，来执行数据的缩放操作： 1 -l 0 -u 1 -s src/s_rules.txt src/raw_data.txt 数据缩放的区间为[0, 1]，生成的缩放规则的文件存放到文件src/s_rules.txt中，最后面的文件src/raw_data.txt就是我们进行分类的训练数据文件。 输入上面参数执行后，可以看到归一化的数据，如下所示： 1 1.0 1:0.4114162014355702 2:1.0 2 2.0 1:1.0 3:0.3563584838823946 3 3.0 2:0.005379746835443016 3:1.0 使用Eclipse的话，控制台输出的就是上面的内容，也就是我们可以直接用来训练的训练数据，将其存为文件train.txt。执行svm_scale命令，还输出一个规则文件（src/s_rules.txt）： 1 x 2 0.000000000000000 1.000000000000000 3 1 0.09880000000000000 0.9765000000000000 4 2 0.2398000000000000 0.8718000000000000 5 3 0.1987000000000000 0.7633000000000000 训练分类模型 训练分类模型的过程，就是够呢局前面归一化的样本数据，建立一个分类模型，然后根据这个分类模型就能够进行分类的预测，这也是最终的目的。 我们看一下libsvm提供的训练模型的命令： 01 用法： svmtrain [options] training_set_file [model_file] 02 其中， options（操作参数）：可用的选项即表示的涵义如下所示 03 -s svm类型：设置SVM 类型，默认值为0，可选类型有（对于回归只能选3或4）： 04 0 -- C- SVC 05 1 -- n - SVC 06 2 -- one-class-SVM 07 3 -- e - SVR 08 4 -- n - SVR 09 -t 核函数类型：设置核函数类型，默认值为2，可选类型有： 10 0 -- 线性核：u'*v 11 1 -- 多项式核： (g*u'*v+ coef 0)deg ree 12 2 -- RBF 核：e( u v 2) g - 13 3 -- sigmoid 核：tanh(g*u'*v+ coef 0) 14 -d degree：核函数中的degree设置，默认值为3； 15 -g g ：设置核函数中的g，默认值为1/k，其中k是指输入数据中的属性数； 16 -r coef 0：设置核函数中的coef 0，默认值为0； 17 -c cost：设置C- SVC、e - SVR、n - SVR中从惩罚系数C，默认值为1； 18 -n n ：设置n - SVC、one-class-SVM 与n - SVR 中参数n ，默认值0.5； 19 -p e ：设置n - SVR的损失函数中的e ，默认值为0.1； 20 -m cachesize：设置cache内存大小，以MB为单位，默认值为40； 21 -e e ：设置终止准则中的可容忍偏差，默认值为0.001； 22 -h shrinking：是否使用启发式，可选值为0 或1，默认值为1； 23 -b 概率估计：是否计算SVC或SVR的概率估计，可选值0 或1，默认0； 24 -wi weight：对各类样本的惩罚系数C加权，默认值为1； 25 -v n：n折交叉验证模式，随机地将数据剖分为n部分并计算交叉检验准确度和均方根误差。 以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM 类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。 training_set_file是要进行训练的数据集；model_file是训练结束后产生的模型文件，该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名。 针对上面归一化操作得到的训练数据，我们通过输入如下参数并执行svmtrain命令进行训练： 1 src/train.txt src/model.txt 输入出的src/model.txt就是分类模型，模型数据的内容，如下所示： 01 svm_type c_svc 02 kernel_type rbf 03 gamma 0.3333333333333333 04 nr_class 3 05 total_sv 3 06 rho 0.0 0.0 0.0 07 label 1 2 3 08 nr_sv 1 1 1 09 SV 10 1.0 1.0 1:0.4114162014355702 2:1.0 11 -1.0 1.0 1:1.0 3:0.3563584838823946 12 -1.0 -1.0 2:0.005379746835443016 3:1.0 根据得出的分类模型，就可以进行分类预测了。 有关训练分类模型的优化，从参考链接中引用一段，有兴趣可以实际操作一下： 本实验中的参数-s取3，-t取2（默认）还需确定的参数是-c，-g，-p。 另外，实验中所需调整的重要参数是-c 和 –g，-c和-g的调整除了自己根据经验试之外，还可以使用gridregression.py对这两个参数进行优化。 该优化过程需要用到Python（2.5），Gnuplot（4.2），gridregression.py（该文件需要修改路径）。然后在命令行下面运行： python.exe gridregression.py -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -s 3 –t 2 -v 5 -svmtrain E:/libsvm/libsvm-2.86/windows/svm-train.exe -gnuplot E:/libsvm/libsvm-2.86/gnuplot/bin/pgnuplot.exe E:/libsvm/libsvm-2.86/windows/train.txt > gridregression_feature.parameter 以上三个路径根据实际安装情况进行修改。 -log2c是给出参数c的范围和步长 -log2g是给出参数g的范围和步长 -log2p是给出参数p的范围和步长 上面三个参数可以用默认范围和步长。 -s选择SVM类型，也是只能选3或者4 -t是选择核函数 -v 10 将训练数据分成10份做交叉验证，默认为5 为了方便将gridregression.py是存放在python.exe安装目录下，trian.txt为训练数据，参数存放在gridregression_feature.parameter中，可以自己命名。 搜索结束后可以在gridregression_feature.parameter中最后一行看到最优参数。其中，最后一行的第一个参数即为-c，第二个为-g，第三个为-p，最后一个参数为均方误差。前三个参数可以直接用于模型的训练。然后，根据搜索得到的参数，重新训练，得到模型。 验证分类模型 预测分类的命令，说明如下所示： 1 用法：svmpredict [options] test_file model_file output_file 2 options（操作参数）： 3 -b probability_estimates：是否需要进行概率估计预测，可选值为0 或者1，默认值为0。 4 model_file 是由svmtrain 产生的模型文件； 5 test_file 是要进行预测的数据文件； 6 output_file 是svmpredict 的输出文件，表示预测的结果值。 这个命令有两个主要的作用： 一个是在得出分类模型后，对分类模型进行验证评估，来确定分类模型的准确性。这种情况下，到输入的验证数据实际上也是已经知道分类结果的，可以通过指定的方式进行选取，最终将模型的精度优化到能够接受的程度。 另一个是，使用经过验证后的模型，对实际中未知的数据进行分类，得到分类结果，这也是分类预测的最终目的和结果。 这里，只有通过一组已经知道类别的数据来做验证，才能知道分类器（基于分类模型数据）的精度如何。如果分类器精度脚底，完全可以进行额外的参数寻优来调整模型。 准备验证分类器的数据（已知类标签，存为文件test.txt），如下所示： 1 1 1:0.0599 2:0.2718 3:0.1987 2 3 1:0.6765 2:0.1398 3:0.6999 3 2 1:0.0988 2:0.9432 3:0.7633 上面的数据是和训练数据属于同一类型的，即已经知道类别，通过将其作为模拟的待预测数据来验证分类模型的准确度。 输入如下参数，进行模拟预测： 1 src/test.txt src/model.txt src/predict.txt 结果会输出分类预测的精度： 1 Accuracy = 33.33333333333333% (1/3) (classification) 使用Eclipse的话会直接输出到控制台。然后看一下预测的结果，保存在文件src/predict.txt中，内容如下所示： 1 1.0 2 2.0 3 1.0 可见，模型的精度不是很高，只有一个预测与实际分类相符。我们这里只是举个例子，数据又很少。实际分类过程中，如果出现这种精度特别低的情况，需要对分类模型进行调整，达到一个满意的分类精度。 预测分类 实际上预测分类的数据是类别未知的，我们通过训练得出的分类器要做的事情就是确定待预测数据的类别。使用libsvm默认是以文件的方式输入数据，而且预测要求的数据格式必须和训练时相同，所以数据文件中第一列的类标签可以是随便给出的，分类器会处理数据，得出类别，然后输出到指定的文件中。 预测分类和前面的“验证分类模型”中的执行过程是一样的。 如果有其他需要，可以适当修改libsvm程序，使其支持你想要的输入输出方式。
滑动查看更多
暂无更多信息
-
发表了文章
2016-04-14
HBase Thrift客户端Java API实践
-
发表了文章
2016-04-14
HBase-0.90.4集群安装配置
-
发表了文章
2016-04-14
Apache Mina通信框架架构与应用
-
发表了文章
2016-04-14
MIna框架I/O Service层设计
-
发表了文章
2016-04-14
MIna框架I/O Filter Chain层设计
-
发表了文章
2016-04-14
使用libsvm进行分类预测
-
发表了文章
2016-04-14
CentOS 6.4单机环境下安装配置Storm
-
发表了文章
2016-04-14
Mina框架IoService通用抽象服务详解
-
发表了文章
2016-04-14
Hadoop MapReduce处理海量小文件：自定义InputFormat和RecordReader
-
发表了文章
2016-04-14
Mina框架IoHandler与IoProcessor详解
-
发表了文章
2016-04-14
Mina框架IoSession详解
-
发表了文章
2016-04-14
Dubbo架构设计详解
-
发表了文章
2016-04-14
Dubbo实现RPC调用使用入门
-
发表了文章
2016-04-14
基于Dubbo的Hessian协议实现远程调用
-
发表了文章
2016-04-14
CentOS 6.4上HAProxy-1.4.24安装配置
-
发表了文章
2016-04-14
JVM 分代GC策略分析
-
发表了文章
2016-04-14
分类算法：决策树（ID3）
-
发表了文章
2016-04-14
分类算法：决策树（C4.5）
-
发表了文章
2016-04-14
基于Solr DIH实现MySQL表数据全量索引和增量索引
-
发表了文章
2016-04-14
ZooKeeper应用案例
滑动查看更多
暂无更多信息