刘洋intsmaze
刘洋intsmaze_个人页
刘洋intsmaze
文章
45
问答
0
视频
0
个人介绍
证书:软件设计师，Apache kylin管理员 java服务端开发，分布式开发，大数据开发工程师
擅长的技术
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
Clouder
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
获得于2023-02-02 12:51:56
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
阿里云技能认证
详细说明-
发表了文章 2018-07-28
（理论篇）从基础文件IO说起虚拟内存，内存文件映射，零拷贝
新IO采用了内存映射的方式来处理输入/输出，新IO将文件或文件的一段区域映射到内存中，这样就可以像访问内存一样访问文件了，通过这种方式比传统的输入/输出要快的多。通过内存映射机制操作文件比使用常规方法和使用FileChannel读写高效的多。
-
发表了文章 2018-06-23
IT咨询顾问:group by与join引发的项目救火
我又一次进行了项目救火，这次的原因是group by与join胡乱的堆彻导致的整个业务系统审核流程发生严重的错误。基础的sql表关联，group by,子表都理不清，我也只能对你面带微笑，不想对你解析原因，你就按照我提供给你的模板改你全部的业务sql层（XML文件的sql）吧。
-
发表了文章 2018-06-12
jdbc操作根据bean类自动组装sql,天啦，我感觉我实现了hibernate
场景:需要将从ODPS数仓中计算得到的大额可疑交易信息导入到业务系统的mysql中供业务系统审核。最简单的方式是用阿里云的组件自动进行数据同步了。但是本系统是开放是为了产品化，要保证不同环境的可移植性，同时同步的表也就6个表，那么就利用现有的基于jdbc的规则引擎工程来自己实现数据的同步。
-
发表了文章 2018-05-06
redis主从，哨兵回忆手册
redis主从 持久化的开启与主从集群是否生效无关系 Slave Server同样是以非阻塞的方式完成数据同步。在同步期间，如果有客户端提交查询请求，Redis则返回同步之前的数据(注意初次同步则会阻塞)。
-
发表了文章 2018-03-22
java或判断优化小技巧
写业务代码的时候，我们经常要做条件判断，有的时候条件判断的或判断长达20多个。reg.equals("1") || reg.equals("2") || reg.equals("3")||.....是不是很奔溃 1，这个时候代码维护不好维护，字段一多对字段就会出错。
-
发表了文章 2017-12-24
TCP服务端开发为例--web开发不同url请求为何会走不同方法
拿java的web开发为例子，相信有很多小伙伴是做j2EE开发的，htpp请求，json数据传输都是工作中经常用的，查询请求，添加请求，修改请求前端配个url，例如https://localhost/intsmaze/user/add?name=intsmaze。
-
发表了文章 2017-09-28
Storm同步调用之DRPC模型探讨
摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。
-
发表了文章 2017-09-09
一句话说清分布式锁，进程锁，线程锁
在分布式集群系统的开发中，线程锁往往并不能支持全部场景的使用，必须引入新的技术方案分布式锁。 线程锁，进程锁，分布式锁 线程锁:大家都不陌生，主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时，那么在同一时刻至多仅有有一个线程在执行该段代码。
-
发表了文章 2017-08-04
storm从入门到放弃(三)，放弃使用 StreamId 特性
序:StreamId是storm中实现DAG有向无环图的重要一个特性,但是从实际生产环境来看，这个功能其实蛮影响生产环境的稳定性的，我们系统在迭代时会带来整体服务的不可用。 StreamId是storm中实现DAG有向无环图的重要一个特性，官方也提供对应的接口实现让开发者自己灵活化构造自己的ADG图。
-
发表了文章 2017-08-02
storm从入门到放弃(一)，storm介绍
背景:目前就职于国内最大的IT咨询公司，恰巧又是毕业季，所在部门招了20多个应届毕业生，本人要跟部门新人进行为期一个月的大数据入职培训，特此将整理的文档分享出来。 原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/7274361.html 微信：intsmaze 避免微信回复重复咨询问题，技术咨询请博客留言。
-
发表了文章 2017-06-25
TCP连接中time_wait在开发中的影响-搜人以鱼不如授之以渔
根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方socket将进入TIME_WAIT状态,TIME_WAIT状态将持续2个MSL(Max Segment Lifetime),TIME_WAIT状态下的socket不能被回收使用.
-
发表了文章 2017-06-24
Strom序列化机制
Storm 中的 tuple可以包含任何类型的对象。由于Storm 是一个分布式系统，所以在不同的任务之间传递消息时Storm必须知道怎样序列化、反序列化消息对象。 Storm 使用 Kryo库对对象进行序列化。
-
发表了文章 2017-04-27
sqoop关系型数据迁移原理以及map端内存为何不会爆掉窥探
序：map客户端使用jdbc向数据库发送查询语句，将会拿到所有数据到map的客户端，安装jdbc的原理，数据全部缓存在内存中，但是内存没有出现爆掉情况，这是因为1.3以后，对jdbc进行了优化，改进jdbc内部原理，将数据写入磁盘存储了。
-
发表了文章 2017-04-20
MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析
摘要:mapreduce中执行reduce(KEYIN key, Iterable values, Context context)，调用一次reduce方法，迭代value集合时，发现key的值也是在不断变化的，这是因为key的地址在内部会随着value的迭代而不断变化。
-
发表了文章 2017-04-19
MapReduce中map并行度优化及源码分析
mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理。
-
发表了文章 2017-04-14
kafka0.8--0.11各个版本特性预览介绍
kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。
-
发表了文章 2017-04-10
python类与对象基本语法
面向对象编程的2个非常重要的概念：类和对象。 对象是面向对象编程的核心，在使用对象的过程中，为了将具有共同特征和行为的一组对象抽象定义，提出了另外一个新的概念——类。 本人学习笔记基于python2的版本进行测试。
-
发表了文章 2017-04-08
linux之shell编程基本语法
Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell。Shell也是一门编程语言，即shell脚本。一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的。
-
发表了文章 2017-04-07
Linux之shell编程条件判断-if,while,for,case
原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6675350.html 微信：intsmaze if 语法格式 if condition then statements [elif condition ...
-
发表了文章 2017-03-31
storm自定义分组与Hbase预分区结合节省内存消耗
Hbas预分区 在系统中向hbase中插入数据时，常常通过设置region的预分区来防止大数据量插入的热点问题，提高数据插入的效率，同时可以减少当数据猛增时由于Region split带来的资源消耗。
-
发表了文章 2017-03-25
2.sparkSQL--DataFrames与RDDs的相互转换
Spark SQL支持两种RDDs转换为DataFrames的方式 使用反射获取RDD内的Schema 当已知类的Schema的时候，使用这种基于反射的方法会让代码更加简洁而且效果也很好。 通过编程接口指定Schema 通过Spark SQL的接口创建RDD的Schema，这种方式会让代码比较冗长。
-
发表了文章 2017-03-17
Spark2.1集群安装（standalone模式）
机器部署 准备三台Linux服务器，安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包到指定位置tar -zxvf spark-2.
-
发表了文章 2017-03-14
storm1.0节点间消息传递过久分析及调优
序:最近对storm平台系统进行性能检测发现偶尔会出现oncebolt向另一个twobolt发送数据后，twobolt要500毫秒后才接收到进行处理。这里简单说增大twobolt的并行度即可解决，但是究其内部原因是因为storm的通信机制所导致的问题。
-
发表了文章 2017-03-01
storm 1.0版本滑动窗口的实现及原理
滑动窗口在监控和统计应用的场景比较广泛，比如每隔一段时间(10s)统计最近30s的请求量或者异常次数，根据请求或者异常次数采取相应措施。在storm1.0版本之前，没有提供关于滑动窗口的实现，需要开发者自己实现滑动窗口的功能（storm1.0以前实现滑动窗口的实现原理可以自行百度）。
-
发表了文章 2017-02-10
Kafka概念入门（一）
序：如何保证kafka全局消息有序？ 比如，有100条有序数据，生产者发送到kafka集群，kafka的分片有4个，可能的情况就是一个分片保存0-25，一个保存25-50......这样消息在kafka中存储是局部有序了。
-
发表了文章 2016-12-22
kafka主题offset各种需求修改方法
简要：开发中，常常因为需要我们要认为修改消费者实例对kafka某个主题消费的偏移量。具体如何修改？为什么可行？其实很容易，有时候只要我们换一种方式思考，如果我自己实现kafka消费者，我该如何让我们的消费者代码如何控制对某一个主题消费，以及我们该如何实现不同消费者组可以消费同一个主题的同一条消息，一个消费组下不同消费者消费同一个主题的不同消息。
-
发表了文章 2016-11-13
RPC原来就是Socket——RPC框架到dubbo的服务动态注册，服务路由，负载均衡演化
序：RPC就是使用socket告诉服务端我要调你的哪一个类的哪一个方法然后获得处理的结果。服务注册和路由就是借助第三方存储介质存储服务信息让服务消费者调用。然我们自己动手从0开始写一个rpc功能以及实现服务注册，动态上下线，服务路由，负载均衡。
-
发表了文章 2016-11-11
java接口调用——webservice就是一个RPC而已
很多新手一听到接口就蒙逼，不知道接口是什么！其实接口就是RPC，通过远程访问别的程序提供的方法，然后获得该方法执行的接口，而不需要在本地执行该方法。就是本地方法调用的升级版而已，我明天会上一篇如何通过socket实现rpc,以及服务的注册和动态上下线。
-
发表了文章 2016-11-04
如何遍历文件夹下上亿文件而不栈溢出
序：一个文件夹下面有很多层的小文件，如何算出这个文件夹下面有多少文件？递归遍历，简单暴力，递归在一般情况确实是比较方便的解决方案，但是当文件夹深度多深，递归的反复调用会导致方法一直无法释放，造成jvm的栈溢出。
-
发表了文章 2016-10-31
java观察者模式
像activeMQ等消息队列中，我们经常会使用发布订阅模式，但是你有没有想过，客户端时如何及时得到订阅的主题的信息？其实就里就用到了观察者模式。在软件系统中，当一个对象的行为依赖于另一个对象的状态时，观察者模式就相当有用。
-
发表了文章 2016-10-30
java代理模式之静态代理
作为一个初级开发者，可能不会接触到代理模式，但是在很多框架的使用中都不知不觉使用了代理模式，比如servlet的过滤器链，spring的AOP，以及spring mvc的拦截器等。所以了解代理模式对于个人的成长是不可避免的。
-
发表了文章 2016-10-28
HTTP协议下保证密码不被获取更健壮方式
说到在http协议下用户登录如何保证密码安全这个问题： 小白可能第一想法就是，用户在登录页面输入密码进行登录时，前台页面对用户输入的密码进行加密，然后把加密后的密码作为http请求参数通过网络发到服务器。
-
发表了文章 2016-10-25
由提交storm项目jar包引发对jar的原理的探索
序：在开发storm项目时，提交项目jar包当把依赖的第三方jar包都打进去提交storm集群启动时报了发现多个同名的文件错误由此开始了一段对jar包的深刻理解之路。 java.lang.
-
发表了文章 2016-10-23
storm0.9.5集群安装
安装前的准备工作 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户 groupadd realtime && useradd realtime && usermod -a -G realtime realtime 创建工作目录并赋权 mkdir /export mkdir /export/servers chmod 755 -R /export 切换到realtime用户下 su realtime 1、安装一个zookeeper集群,并启动zookeeper集群。
-
发表了文章 2016-10-15
kafka-0.10.0官网翻译（一）入门指南
1.1 IntroductionKafka is a distributed streaming platform. What exactly does that mean?kafka是一个分布式的流式平台，它到底是什么意思？ We think of a streaming platform as...
-
发表了文章 2016-10-10
kafkaspot在ack机制下如何保证内存不溢
新浪微博：intsmaze刘洋洋哥。 storm框架中的kafkaspout类实现的是BaseRichSpout，它里面已经重写了fail和ack方法，所以我们的bolt必须实现ack机制，就可以保证消息的重新发送；如果不实现ack机制，那么kafkaspout就无法得到消息的处理响应，就会在超时以后再次发送消息，导致消息的重复发送。
-
发表了文章 2016-09-30
Storm的BaseBasicBolt源码解析ack机制
我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。
-
发表了文章 2016-09-28
Storm的ack机制在项目应用中的坑
正在学习storm的大兄弟们，我又来传道授业解惑了，是不是觉得自己会用ack了。好吧，那就让我开始啪啪打你们脸吧。 先说一下ACK机制： 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。
-
发表了文章 2016-06-24
Hadoop中MR程序的几种提交运行模式
本地模型运行 1：在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://...
-
发表了文章 2016-03-11
mysql,SQL标准,多表查询中内连接，外连接，自然连接等详解之查询结果集的笛卡尔积的演化
先附上数据 CREATE TABLE `course` ( `cno` int(11) NOT NULL, `cname` char(30) CHARACTER SET utf8 NOT NULL, `ctime` int(11) NOT NULL, `scount` ...
-
发表了文章 2016-03-05
java:JDBC详解
JDBC全称为：Java DataBase Connectivity（java数据库连接）。 SUN公司为了简化、统一对数据库的操作，定义了一套Java操作数据库的规范，称之为JDBC。 简单的说，JDBC的意义在于在Java程序中执行SQL语句。
-
发表了文章 2016-03-04
springMVC参数绑定
默认支持的参数类型 处理器形参中添加如下类型的参数处理注解适配器会默认识别并进行赋值。1 HttpServletRequest通过request对象获取请求信息2 HttpServletResponse通过response处理响应信息3 HttpSession通过session对象得到sess...
-
发表了文章 2016-02-22
Spring AOP不拦截从对象内部调用的方法原因
拦截器的实现原理很简单，就是动态代理，实现AOP机制。当外部调用被拦截bean的拦截方法时，可以选择在拦截之前或者之后等条件执行拦截方法之外的逻辑，比如特殊权限验证，参数修正等操作。 但是最近在项目中要在一个事务中跨数据源进行操作。
-
发表了文章 2016-02-19
Java IO 装饰者模式
装饰模式（Decorator） 装饰模式又名包装（Wrapper）模式。 装饰模式以对客户端透明的方式扩展对象的功能，是继承关系的一个替代方案。 装饰模式通过创建一个包装对象，也就是装饰，来包裹真实的对象。
-
发表了文章 2015-11-13
Quartz任务调度器
在使用jdk的timer时发现无法满足开发需求；即无法在指定的日期进行执行任务。 这便引入一个优秀的开源任务调度框架“quartz”。 这里加入的是quartz-1.8.6版本。Quart的官网：http://www.quartz-scheduler.org/；项目中的框架的spring是spring 3.0版本无法集成quartz 2.x及其后续版本；所以这里用quartz 1.8.6版本。
暂无更多信息
-
发表了文章
2018-07-28
（理论篇）从基础文件IO说起虚拟内存，内存文件映射，零拷贝
-
发表了文章
2018-06-23
IT咨询顾问:group by与join引发的项目救火
-
发表了文章
2018-06-12
jdbc操作根据bean类自动组装sql,天啦，我感觉我实现了hibernate
-
发表了文章
2018-05-06
redis主从，哨兵回忆手册
-
发表了文章
2018-03-22
java或判断优化小技巧
-
发表了文章
2017-12-24
TCP服务端开发为例--web开发不同url请求为何会走不同方法
-
发表了文章
2017-09-28
Storm同步调用之DRPC模型探讨
-
发表了文章
2017-09-09
一句话说清分布式锁，进程锁，线程锁
-
发表了文章
2017-08-04
storm从入门到放弃(三)，放弃使用 StreamId 特性
-
发表了文章
2017-08-02
storm从入门到放弃(一)，storm介绍
-
发表了文章
2017-06-25
TCP连接中time_wait在开发中的影响-搜人以鱼不如授之以渔
-
发表了文章
2017-06-24
Strom序列化机制
-
发表了文章
2017-04-27
sqoop关系型数据迁移原理以及map端内存为何不会爆掉窥探
-
发表了文章
2017-04-20
MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析
-
发表了文章
2017-04-19
MapReduce中map并行度优化及源码分析
-
发表了文章
2017-04-14
kafka0.8--0.11各个版本特性预览介绍
-
发表了文章
2017-04-10
python类与对象基本语法
-
发表了文章
2017-04-08
linux之shell编程基本语法
-
发表了文章
2017-04-07
Linux之shell编程条件判断-if,while,for,case
-
发表了文章
2017-03-31
storm自定义分组与Hbase预分区结合节省内存消耗
滑动查看更多
暂无更多信息
暂无更多信息