大数据资讯_个人页

大数据分析技术在新型智慧能源建设中的应用

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。

Spring Boot中对自然语言处理工具包hanlp的调用详解

HanLP 是基于 Java开发的 NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。而且 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合 Spring Boot来将 HanLP用起来！

基于DKHadoop的智慧人社服务平台开发案例简述

大数据技术的应用与发展正在让我们的生活经历一场深刻的“变革”，而且这种变革几乎让所有人都感觉非常舒服，自然而然的就完成了这样的一个变化。最根本的原因其实是大数据技术的应用真正帮助我们解决了问题。

pyhanlp 停用词与用户自定义词典功能详解

关于停用词，我同样先给出了一个简单的例子，你可以使用这个例子来完成你所需要的功能。要注意的一点是，因为java中的类所返回的数据类型与Python不统一，所以当你使用不同的函数的时候，一定要先检查输出结果在Python中的类型，不然可能会出现意想不到的问题。

大数据分析在新型智慧能源建设中的应用

“互联网+”智慧能源的重点任务概括为：打造能源生产新手段，建设分布式能源新网络，探索能源消费新模式，统筹部署电网和通信网深度融合的新基础设施。智慧能源发展方向已经明确，能源行业怎样将互联网的优势更好地运用到能源产业中，赋予能源新的数字化属性和互联网思维，实现提高效率、节能减排、能源生产和消费革命化、智能化转型升级目标，成为能源行业目前必须认真研究解决的问题。

Hanlp分词实例：Java实现TFIDF算法

工业大数据分析平台的应用价值探讨

大数据经过多年的潜心发展，在当今可以说是进入到了一个快速发展期。各种围绕大数据的应用开发也迅速火热起来了。政务大数据解决方案、企业级大数据解决方案、智慧城市停车大数据解决方案等已经开始被应用。5月份一条很有意思的娱乐新闻——警方在某歌手的演唱会上抓捕了好几个被网上追逃的人。

非局部神经网络，打造未来神经网络基本组件

将非局部计算作为获取长时记忆的通用模块，提高神经网络性能在深度神经网络中，获取长时记忆（long-range dependency）至关重要。对于序列数据（例如语音、语言），递归运算（recurrent operation）是长时记忆建模的主要解决方案。

Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程

在Kmeans算法中，一个样本需要使用数值类型，所以需要把文本转为数值向量形式，这里在Spark中有两种方式。其一，是使用TF-IDF；其二，使用Word2Vec。这里暂时使用了TF-IDF算法来进行，这个算法需要提供一个numFeatures，这个值越大其效果也越好，但是相应的计算时间也越长，后面也可以通过实验验证。

大快搜索“大数据与智慧城市”南京技术交流会成功举办

2018年11月6日，由大快搜索、南京大数据产业协会、南京东大智能化系统有限公司共同组织筹备的“大数据与智慧城市”南京技术交流会圆满结束。大快搜索常务副总李海鹏、大快搜索CTO王鑫义、大快搜索应用研究院院长高林、东大智能智慧城市事业部总经理凌霄汉、东大智能技术总监李玉峰等行业专家出席了会议。

系统架构都经历了怎样的演变？

当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。

基于hadoop的免费大数据平台有哪些？

现在市面上围绕大数据的应用开发如火如荼，比如，企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都是偏向于底层的，开发难度之大真不是三两个人就可以搞得定的。

hanlp源码解析之中文分词算法详解

词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。

云计算的云数据安全与加密技术

现有的云服务提供商可以提供基础加密密钥方案来保护基于云的应用开发和服务，或者他们将这些保护措施都交由他们的用户决定。当云服务提供商向支持健壮密钥管理的方案发展时，需要做更多工作来克服采用的障碍。

城市智慧停车系统方案的产品设计体系介绍

最近几年随着大数据技术快速发展与应用，智慧城市随即被正式提出。而且，我们也可以深刻感受到“智慧”正在慢慢改变我们的生活方式和城市。要让城市变智慧的地方太多太多，当前我们接触做多的可能就是外出停车，比如很多商场的停车系统，很多商城的停车场都实现了无人值守。这就是得益于智慧城市停车云平台

HanLP 关键词提取算法分析详解

给定若干个句子，提取关键词。而TextRank算法是 graphbased ranking model，因此需要构造一个图，要想构造图，就需要确定图中的顶点如何构造，于是就把句子进行分词，将分得的每个词作为图中的顶点。

从服务端视角看高并发难题

服务端处理请求需要耗费服务端的资源，比如能同时开启的进程数、能同时运行的线程数、网络连接数、cpu、I/O、内存等等，由于服务端资源是有限的，那么服务端能同时处理的请求也是有限的。高并发问题的本质就是：资源的有限性

HanLP用户自定义词典源码分析详解

HanLP作者在HanLP issue783:上面说：词典不等于分词、分词不等于自然语言处理；推荐使用语料而不是词典去修正统计模型。由于分词算法不能将一些“特定领域”的句子分词正确，于是为了纠正分词结果，把想要的分词结果添加到自定义词库中，但最好使用语料来纠正分词的结果。

动态分配多任务资源的移动端深度学习框架

与云相比，移动系统受计算资源限制。然而众所周知，深度学习模型需要大量资源 。为使设备端深度学习成为可能，应用程序开发者常用的技术之一是压缩深度学习模型以降低其资源需求，但准确率会有所损失。尽管该技术非常受欢迎，而且已被用于开发最先进的移动深度学习系统，但它有一个重大缺陷：由于应用程序开发者独立开发自己的应用，压缩模型的资源-准确率权衡在应用开发阶段的静态资源预算的基础上就被预先确定了，在应用部署后仍然保持不变。

DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！

Python中调用自然语言处理工具HanLP手记

详谈分布式系统缓存的设计细节

在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。如今的业务规模稍大的互联网项目，即使在最初beta版的开发上，都会进行预留设计。但是在诸多应用场景里，也带来了某些高成本的技术问题，需要细致权衡。

HanLP中的人名识别分析详解

这篇文章里面没有写维特比分词算法的详细过程，以及转移矩阵的生成过程，以后有时间再补上。看源码，对隐马模型的理解又加深了一点，感受到了理论的东西如何用代码一步步来实现。由于我也是初学，对源码的理解不够深入或者存在一些偏差，欢迎批评指正。

处理数据缺失的结构化解决办法

数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。

Hanlp实战HMM-Viterbi角色标注中国人名识别

这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。

DKHadoop大数据开发框架的构成模块

大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。

Hanlp中使用纯JAVA实现CRF分词

与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用 双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。

DKHadoop大数据平台架构详解

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。

依存句法分析器的简单实现

生成式句法分析指的是，生成一系列依存句法树，从它们中用特定算法挑出概率最大那一棵。句法分析中，生成模型的构建主要使用三类信息：词性信息、词汇信息和结构信息。前二类很好理解，而结构信息需要特殊语法标记，不做考虑。

hadoop框架结构的说明介绍

MapReduce实现与自定义词典文件基于hanLP的中文分词详解

文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapreduce程序来进行分词，则hanLP更加胜任。

Hadoop的集群环境部署说明

Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题，网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题，甚至可以说事“手到擒来”的事情，但对于hadoop的初学者来说，hadoop集群环境的搭建着实压力不小。

Hanlp等七种优秀的开源中文分词库推荐

中文分词是中文文本处理的基础步骤，也是中文人机自然语言交互的基础模块。由于中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词。

HanLP代码与词典分离方案与流程

Elasticsearch集成HanLP分词器

菜鸟如何使用hanlp做分词的过程记录

最近在学习hanlp的内容，准备在节后看看有没有时间整理一波hanlp分享下，应该还是会像之前分享DKHadoop一样的方式吧。把整个学习的过程中截图在配文字的方式搞一下。 这两天也在看一些其他人分享的hanlp学习和使用分享的文章，后面看到的分享也会转载分享给大家。

hanlp自然语言处理包的基本使用--python

hanlp拥有：中文分词、命名实体识别、摘要关键字、依存句法分析、简繁拼音转换、智能推荐。

全文检索Solr集成HanLP中文分词

以前发布过HanLP的Lucene插件，后来很多人跟我说其实Solr更流行（反正我是觉得既然Solr是Lucene的子项目，那么稍微改改配置就能支持Solr），于是就抽空做了个Solr插件出来，开源在Github上，欢迎改进。

学hadoop需要什么基础

最近一段时间一直在接触关于hadoop方面的内容，从刚接触时的一片空白，到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”，这个问题好像至今还没好好细想过，可能是因为身边有大神在带着我学习hadoop的缘故，也就没想过这样的一个简单的问题。

Hanlp自然语言处理工具的使用演练

Hanlp是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。Hanlp具备功能完善、性能高效、架构清洗、语料时新、可自定义的特点；提供词法分析（中文分词、磁性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。

hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。

Hadoop体系结构中的服务解决介绍

翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。

学习hadoop需要什么基础

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！

Apache Shiro在web开发安全技术中的应用

shiro安全框架是目前为止作为登录注册最常用的框架，因为它十分的强大简单，提供了认证、授权、加密和会话管理等功能 。

零基础怎么学习hadoop 掌握这些不要慌

零基础学习hadoop开发是很多新手关心的问题，当然零基础并不是说没有IT方面的知识储备，而是指没有大数据hadoop方面的基础。将“零基础学习hadoop开发”这个问题换个说法也许就更容易让人明白了，比如“学习hadoop需要具备什么基础知识”。

大快DKH大数据网络爬虫安装教程（详细图文步骤）

爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

DKhadoop开发环境安装常见问题与解决方法汇总

大快DKM大数据基础管理平台的监控功能剖析

在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。

大数据hadoop从入门到精通之hadoop家族产品

作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！