dasein58_个人页

2021年11月

• 11.02 23:05:53
  发表了文章 2021-11-02 23:05:53

  HBase使用例子（中文翻译）

  通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。 1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。 2、 插入数据 创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来提交操作，子猴在这里提请注意的是：在创建Put对象的时候，你必须指定一个行(Row)值，在构造Put对象的时候作为参数传入。 3、 获取数据 要获取数据，使用Get对象，Get对象同Put对象一样有好
• 11.02 23:04:40
  发表了文章 2021-11-02 23:04:40

  Hbase插入参数测试与对比

  HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插入的影响。 HTable htable1 = new HTable(hbaseconf, "test2"); Scan scan1 = new Scan(); ResultScanner scaner = htable.getScanner(scan1); List
• 11.02 23:03:40
  发表了文章 2021-11-02 23:03:40

  HBASE启动脚本/Shell解析

  常用到的HBase启动脚本有： 1.$HBASE_HOME/bin/start-hbase.sh 启动整个集群 2.$HBASE_HOME/bin/stop-hbase.sh 停止整个集群 3.$HBASE_HOME/bin/hbase-daemons.sh 启动或停止，所有的regionserver或zookeeper或backup-master 4.$HBASE_HOME/bin/hbase-daemon.sh 启动或停止，单个master或regionserver或zookeeper 以start-hbase.sh为起点，可以看看脚本间的一些调用关系
• 11.02 23:02:26
  发表了文章 2021-11-02 23:02:26

  NoSQL性能测试工具(YCSB)

  写在前面 目前，在系统设计中引入了越来越多的NoSQL产品，例如Redis/ MongoDB/ HBase等，其中性能指标往往会成为权衡不同NoSQL产品的关键因素。对这些产品在性能表现和产品选择上的争论，Ivan碰到不止一次。虽然通过对系统架构原理方面的分析可以大致判断出其在不同读写场景下的表现，但一是对受众有较高的要求，再者也来的不那么直接。这时候，没有什么比一次性能测试更有说服力。有什么好的性能测试工具呢？这就是今天的主角YCSB。YCSB是Yahoo开源的一套分布式性能测试工具，方便易用，拓展性强。Ivan最近研究HBase二级索引时用它来做性能测试，感觉还是非常顺手的。虽然网上已经有
• 11.02 23:01:10
  发表了文章 2021-11-02 23:01:10

  报表与火锅的故事

  上篇文章也谈到BI报表查询，但更多在讲技术人员的价值观，有标题党的嫌疑。本文回归技术分析，题目有点小写意，套用一个火锅店的小故事，重点是MPP与分布式数据库存储上的一个差异点，希望能达到通俗易懂的效果。 数据时代，信息化成熟的企业通常建设了很多BI报表系统，每天各级管理人员根据报表的数据调整企业整体的经营决策和各项具体措施、行动。系统除了保证数据准确，最受关注的就是查询的相应效率也就是延迟时间（Latency）。
• 11.02 23:00:37
  发表了文章 2021-11-02 23:00:37

  如何理解Hadoop-Hbase原理与应用小结

  1 我们常说HBase是“数据即日志”的数据库，它是怎样修改和删除数据的？和Oracle这类传统的RDBMS有什么区别？ 答：首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识，我们只有通过行键来访问列族别无他法。 修改数据：我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本。 删除数据：插入带有删除标记的行进入，相当于把整个行键所在的行删了。
• 11.02 22:59:04
  发表了文章 2021-11-02 22:59:04

  好程序员大数据纪实：HBase知识点集中总结

  好程序员大数据纪实： HBase知识点集中总结， HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 　　 与 FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中
• 11.02 22:58:19
  发表了文章 2021-11-02 22:58:19

  HBase 在单机模式 和伪分布模式下的安装

  HBase的安装 本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。 安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。 我将要安装的hbase是hbase-0.90.4版本，需要的hadoop是hadoop-0.20.2版本。 1.单机安装 将下载的hbase-0.90.4解压到相应的目录，如/home/zhangxin/hbase-0.90.4 修改hbase-0.90.4下的conf目录下的配置文件hbase-env.sh 首先，修改hbase-env.sh中的如下属性： export JAVA_HOME=/home/zhang
• 11.02 22:57:15
  发表了文章 2021-11-02 22:57:15

  实验Hbase的test中的TestTableMapReduce类--修改成简单易懂点的

  不积跬步，无以至千里！ 这几天狂看mapreduce对hbase进行操作的例子，消化吸收，熟能生巧，掌握mapreduce和hbase交互的各个细节，以及整体流程等，整体流程等年前写一篇总结下，这几天先狂看吧 看，复制，修改，运行，遇到各种问题，解决，慢慢的就熟了。 这个类是干啥的呢，其实就是对hbase的某表进行简单操作，不过用的是mapreduce，即效率高，当然，看这个，主要吸收其用mapreduce操作hbase的思路及如何编程。 这个类功能是：将表中所有行 列族f1的某列q1的值倒序后放在另一列族f2的列q2，所谓倒序即 abc变成cba，456变成654，其中q1和q2是可
• 11.02 22:56:24
  发表了文章 2021-11-02 22:56:24

  通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据

  下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,Oracle与Hbase的互导最后给出命令。 一、Mysql与HDFS互导数据 环境： 宿主机器操作系统为Win7，Mysql安装在宿主机上，宿主机地址为192.168.66.96 3台虚拟机操作系统为Ubuntu-12.04.1-32位 三台虚拟机已成功安装hadoop，并实现免密钥互访，配hosts为： 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 /etc/profile已配置好必备环境变量HADOO
• 11.02 22:55:49
  发表了文章 2021-11-02 22:55:49

  Hbase迎接电信TB级大数据洗礼之热点网站功能实践

  在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验，随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络，流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大，中国联通3G用户流量使用情况也是非常可观的。那么在3G网络功能中上网冲浪占了很大的比例，去研究用户感兴趣的热点网站成为了行为分析中很有特点的一项功能，联通就可以根据这些网站信息推出增值服务，古人云：大浪淘沙始到金啊！
• 11.02 22:55:08
  发表了文章 2021-11-02 22:55:08

  因为主机时间不同步导致的hbase zookeeper 节点宕机奔溃 一例

  前几天 ，升级hadoop/hbase 集群， 新 添加了几十台机器， 硬件部门，安装好主机os 后就交付给我们了， 安装好软件环境，配置好，就启动接入集群了，运行了一个礼拜，系统运行正常。 昨天的时候淘汰一台旧机器，上面跑了zookeeper ， 需要准备一个新的zookeeper 节点来代替，如实就找了一台hbase 节点上启动了zookeeper 这个时候问题来了， zookeeper 启动后总是在报错， 一直在确定自己的状态。
• 11.02 22:54:24
  发表了文章 2021-11-02 22:54:24

  基于HBase构建千亿级文本数据相似度计算与快速去重系统

  前言：随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持千亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。 一. 面临的问题 1. 如何选择文本的相似度计算或去重算法？ 常见的有余弦夹角算法、欧式距离、Jaccard 相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，但在海量数据背景下，如果每天产生的数据以千万计算，我们如何对于这些海
• 11.02 20:28:31
  发表了文章 2021-11-02 20:28:31

  TDSQL中修复的mysql内核bug

  在TDSQL这两年多的开发工作中，我感觉很自豪的一件事是我修复了不少mysql-5.7.17和mariadb-10.1.9的内核bug，这些bug大多已经报告给了MySQL/MariaDB官方开发团队，在每个bug描述中我会贴出来bug报告的连接。本文将大略介绍这些bug的概况，我在将来会写更多文章详细介绍每个bug的具体问题分析以及解决思路。本文列出的所有bug都已经修复，经过验证可以正确工作并解决相关问题。 这里先说一下为什么我要提交代码给mysql/mariadb官方开发团队，主要有一下几个好处： 1. 官方开发者可以review我提交的patch，帮助完善patch，发现和解决之前
• 11.02 20:28:00
  发表了文章 2021-11-02 20:28:00

  TDSQL XA 全局死锁处理

  本文是我最初于2017年发表在我的个人微信公众号里面，现发布在这里。 1．概述 TDSQL XA的全局事务(global transaction)就是用户客户端连接到TDSQL XA分布式数据库系统后发起和执行的事务，也就是TDSQL XA处理的分布式事务。一个全局事务可能会写入数据到多个后端mysql 数据库实例，每个实例上面的本地事务都是这个全局事务的事务分支(transaction branch)。客户端发起全局事务提交时，运行在TDSQL XA的网关模块中的全局事务管理器会控制该事务访问的所有后端mysql数据库实例完成两阶段提交。 全局事务执行过程中可能发生两类死锁，第一类就是
• 11.02 20:27:23
  发表了文章 2021-11-02 20:27:23

  TDSQL XA的事务隔离级别

  本文是我最初于2017年发表在我的个人微信公众号里面，现发布在这里。 1.1. 概述 TDSQL XA全局事务(global transaction)是指用户客户端连接到TDSQL XA分布式数据库系统后发起和执行的事务，也就是TDSQL XA处理的分布式事务。一个全局事务可能会写入数据到多个后端mysql 数据库实例，每个实例上面的本地事务都是这个全局事务的事务分支(transaction branch)。客户端发起全局事务提交时，运行在TDSQL XA的网关模块中的全局事务管理器会控制该事务访问的所有后端mysql数据库实例完成两阶段提交。 TDSQL XA的全局事务的隔离级别最高可以
• 11.02 20:26:20
  发表了文章 2021-11-02 20:26:20

  中小型企业应该选择什么样的云服务器

  中小型公司放企业网站，国内靠前的服务器商各方面差别是不大的，都是基于同样的技术，只是在服务器配置的选择上，不同的应用场景有不同的要求需要考虑。 1.仅仅是展示站 那么采用阿里云ECS 或者 腾讯云CVM 2核心4g内存5M宽带，1000以下同时访问是没有问题的。 2.需要部署其他项目，如erp，文件备份，对性能，可靠性要求较高。 对数据量大，访问高，稳定性要求较高时，建议采用在RDS上放数据库，在OSS上存放大量文件，而只将web应用部署在多台ECS上然后对外通过SLB提供服务的方式，这样具有较高的性能和稳定性以及容灾能力。 所以建议采用阿里云SLB + 多台ECS + RDS +
• 11.02 20:25:32
  发表了文章 2021-11-02 20:25:32

  Oracle DBA遇到频次最高的五十个问题

  随着数据价值在企业地位越来越高，DBA这一职位更是受到重视和支持，如何帮助各位数据达人维护好数据，也是ITPUB社区一直秉承的理念，本期我们将社区DBA关注最多的50个问题，已经各位大师对问题的解决方式进行了汇总和整理，期待大家更多给与问题和反馈，以下是问题和解决方案。 问题1：如何收集统计信息不影响数据库？ 解决方案 大多数情况下，表的统计信息不准导致了优化器对于执行计划的错误计算，因此需要对表的统计信息进行更正， 以便让优化器重新选择准确的 执行计划。 但是在生产情况下，随意的收集统计信息，则会给数据库带来隐患： 1、对重新收集统计信息的表，对应的一些SQL可能需要重新硬解
• 11.02 20:24:41
  发表了文章 2021-11-02 20:24:41

  线程的基础

  安全是多线程编程的核心主题，但并不是只要使用多线程就一定会引发安全问题。要了解哪些操作是安全的，哪些是不安全的，就必须先掌握如何使用多线程。不过在操作多线程之前，我们先了解一下多线程的几种状态。 线程的状态 在Thread的实现中，包含一个名为State的enum类，用来标识线程运行中的各种状态，其中定义了以下几个类型： public enum State { /** * Thread state for a thread which has not yet started. */ NEW, /** * Thread state fo
• 11.02 20:23:02
  发表了文章 2021-11-02 20:23:02

  大数据和人工智能工程上的一些点

  大数据 大数据这个词最早出现在上世纪90年代的美国，直到2012年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的mapreduce论文和hadoop开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能 人工智能在1956年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。大数据与人工智能之间可以说是相辅相成，人工智能的基础是数据，而数据的利用又离不开人工智能。各
• 11.02 20:22:04
  发表了文章 2021-11-02 20:22:04

  在PostgreSQL中构建基础类型

  最近在做一些功能兼容的工作，做了一些数据类型的工作。其中一部分是添加新的基础类型，很多细节值得记录一下，在此进行步骤介绍以及代码介绍。 此次要添加一种新的数据类型，这种类型使用的算法和PostgreSQL使用相同的input和output函数。那么接下来就将所有步骤进行演示。 类型信息 类型名，newtype； 类型长度，pg中显示-1，定长，和bigint相同，实际占用8个字节； 使用bigint（int8或int64）的input、output、send、receive函数； 能够进行显示、排序、简单比较、建立索引； 实现方法
• 11.02 19:43:05
  发表了文章 2021-11-02 19:43:05

  搭好数据架构，这7个技术是关键

  数字化转型的核心是数据，它已成为商业中最有价值的事务。由于格式不兼容，传统数据库的局限性，以及无法灵活地合并来自多个来源的数据，组织长期以来一直受到其使用数据的困扰。新兴技术的出现有望改变这一切。 企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。 数字化转型的核心是数据，它已成为商业中最有价值的事务。由于格式不兼容，传统数据库的局限性，以及无法灵活地合并来自多个来源的数据，组织长期以来一直受到其使用数据的困扰。新兴技术的出现有望改变这一
• 11.02 19:42:12
  发表了文章 2021-11-02 19:42:12

  大数据时代技术架构

  1. 概述 当前大数据已经渗透到每个行业和领域，成为了重要的生产因素。在大数据环境下，数据是海量的，且呈爆发式增长，数据类型复杂多样，除结构化数据外，还有大量半结构化和非结构化数据。大数据应用需求也很复杂，包括复杂多表关联查询，即席查询，离线数据批量处理等。这种形势给构建大数据处理的通用平台带来了挑战。 2. 传统数据库构建大数据平台的不足 传统事务型数据库是针对事务型处理设计的，采用行存储和Shared Disk架构，硬件方面采用小型机+磁盘阵列的配置。而面对大数据的分析处理型应用，传统的数据库在处理海量数据方面表现出明显的不足，主要表现在如下方面： Ÿ传统的Shared Disk架
• 11.02 19:41:13
  发表了文章 2021-11-02 19:41:13

  做了三年数据分析，给你的几点建议

  还有一个多月，我工作就满3年了。在职场上，3年是个坎，意味着从初级转到中高级，但前提是能力跟得上工作年限。 我第一份和第二份工作，是做的数据运营，现在这份工作，title是商业分析师。因为专业不是数学、计算机类的，所以相当于转行，但也是理工科，有编程基础，所以相对文科生来说会稍微轻松点，但转行之路并不轻松。 之前看到很多想转行的朋友，会问比如，女生适不适合做数据分析、文科生能不能做好数据分析、数据分析做什么的，这样的问题。 今天想写的，是三年来的一个总结，也写一下我是如何从一个连Excel都不会的菜鸟慢慢成长的经历。想必像BAT这样的大牛不会是我的读者，那我就自作主张的把读我这篇文章的朋
• 11.02 19:40:14
  发表了文章 2021-11-02 19:40:14

  十问 TiDB ：关于架构设计的一些思考

  “我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家，相信大家理解了背后原因后，就能够把 TiDB 用的更好。” 做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？ 从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。 作为一个开源项目，TiDB 是我们基础架构工程师和社区一起努力的结果，TiDB 已经发版到 2.0，有了一个比较稳定的形态，大量在生产环境使用的伙伴们。可以负责任的说，我们做的任何决定都经过了非常慎重的思考和实践，是经过内部和社区一起论证产生的结果。它未必是最好的，
• 11.02 19:39:33
  发表了文章 2021-11-02 19:39:33

  集中式架构和分布式架构哪种更好？

  集中式架构的优势主要是设备数量少，架构设计简单、通用与应用耦合度低，资源可以灵活调度，部署容易。数据集中存储和处理，无需多个节点之间分布式协作，所以具有系统响应快，数据可靠性和一致性好的优点。由于架构简单，设备少，所以在系统运维，容灾设计，空间用电等方面都具有较大优势。稳健、可靠、易维护管理是集中式架构的特点，所以集中式架构多用于传统的银行、电信、交通、医疗等行业。数据显示，2019年，仍有92%的银行选择购买集中式架构的服务器，以确保关键业务稳定运行。 而分布式架构的优势主要是灵活、性价比高，同时也安全自主，其弹性伸缩能力优势明显。所以随着时下数据量的剧增，分布式架构在这方面的能力展露锋芒
• 11.02 19:37:51
  发表了文章 2021-11-02 19:37:51

  数据结构为什么那么难？每个面试官都会问的问题！

  01 招聘趣事 如果你关注计算机专业招聘试题，会发现越是大型公司，问的问题越基础，有的甚至问你什么是栈和队列，反而一些小公司会关心你做过什么系统。从关注点的不同可以看出，大公司更注重基础扎实和发展潜力，而小公司希望你立刻能够为其干活。可以这样比喻：小公司喜欢细而长的竹子，大公司更喜欢碗口粗的竹笋。 我曾经推荐一个学生到某知名公司，没多久，学生向我说了应聘的事情：“我介绍我开发了企业管理系统、在线商城系统等，没想到他问我使用了什么数据结构和算法，我懂很多技术，那么多功能我都实现了，他不问，却问我使用了什么数据结构和算法，你说搞笑不？数据结构和算法我早就忘了，我会开发软件还不行吗？”人力资源
• 11.02 19:34:52
  发表了文章 2021-11-02 19:34:52

  py2neo基本用法

  neo4j目前是图数据库的主流，neo4j的Cypher语法简单直观，但是不便于流程化。如果习惯在python环境下处理数据，那么还是要用到python的neo4j库，即py2neo. py2neo本身并不复杂，但要先适应它的思考模式。另一个问题是py2neo文档的示例较少，而且不同版本的py2neo挺不相同，容易弄混。这里要讲的是目前的v4版本。 连接数据库和图 from py2neo import * # *中常用的是Node,Relationship,Graph graph = Graph(url,username='name',password='pw') 2.
• 11.02 19:33:26
  发表了文章 2021-11-02 19:33:26

  5个技巧助你编写更好的React代码

  在本文中，我想分享几个技巧，这些技巧将改善你的React代码。 1. 解构 props 在 JS 中解构对象（尤其是 props）可以大大减少代码中的重复。看下面的例子： //Parent Component import React from 'react'; import CoffeeCard from './CoffeeCard'; const CafeMenu = () => { const coffeeList = [ { id: '0', name: 'Espresso', pr
• 11.02 19:32:46
  发表了文章 2021-11-02 19:32:46

  为什么说for...of循环是JS中的宝石？

  是什么使得一个编程语言的新特性很棒？当这个特性可以结合多个其它特性的时候。 ES2015 版本中引入的 for...of 语句就是这种情况。 for...of 可以迭代数组、类数组以及任何可以迭代的对象(maps、sets、DOM集合)，并且，for...of 的语句还很短。 在这篇文章中，我将会演示 for...of 的能力。 1. 数组迭代 for...of 最常见的应用是对数组项进行迭代。该循环可以高效得完成迭代，而无需其他变量来保持索引。 例如:
• 11.02 19:31:33
  发表了文章 2021-11-02 19:31:33

  Linux 用户态与内核态的交互——netlink 篇

  理论篇 在 Linux 2.4 版以后版本的内核中，几乎全部的中断过程与用户态进程的通信都是使用 netlink 套接字实现的，例如iprote2网络管理工具，它与内核的交互就全部使用了netlink，著名的内核包过滤框架Netfilter在与用户空间的通读，也在最新版本中改变为netlink，无疑，它将是Linux用户态与内核态交流的主要方法之一。它的通信依据是一个对应于进程的标识，一般定为该进程的 ID。当通信的一端处于中断过程时，该标识为 0。当使用 netlink 套接字进行通信，通信的双方都是用户态进程，则使用方法类似于消息队列。但通信双方有一端是中断过程，使用方法则
• 11.02 19:25:16
  发表了文章 2021-11-02 19:25:16

  基于NETLINK的内核与用户空间共享内存的实现

  一、前言 前些日子，开发中用到了netlink来实现内核与用户空间共享内存，写点笔记与大家分享。因为我对这块也不了解，写出来的东西一定存在很多错误，请大家批评指正~ 内核与用户空间共享内存的关键是，用户空间必须得知共享内存的起始地址，这就要求内核空间应该有一种通信机制来通知用户空间。已经有Godbach版主等人用proc文件系统实现了（可以google '共享内存 内核 用户空间'）,很显然任何内核空间与用户空间的通信方法都可资利用。本文主要讲基于NETLINK机制的实现。 二、NETLINK简介 netlink在linux的内核与用户空间通信中用得很多（但具体例子我举不出，因为我不清楚~~
• 11.02 19:24:30
  发表了文章 2021-11-02 19:24:30

  内核源码kfifo分析（原创）

  从2.6.10开始,Linux内核提供了一个通用的环形缓存（我喜欢称为环形队列）;它的头文件是<linux/kfifo.h>，kfifo.c是实现代码。 在设备驱动中环形缓存出现相当多. 网络适配器, 特别地, 常常使用环形缓存来与处理器交换数据(报文)[LDD3]。 见下面的图“LDD3中描述的队列”。 我们来看下kfifo的数据结构： struct kfifo { unsigned char *buffer; /* the buffer holding the data */ unsigned int size; /* the size of the al
• 11.02 19:23:41
  发表了文章 2021-11-02 19:23:41

  知识图谱 | Neo4j算法概述

  在neo4j中，Neo4j Graph Algorithms ，通过call algo.list() 可查看neo4j中的算法列表。 在neo4j官方文档中，主要记录如下各种方法： 一. 中心性算法（Centrality algorithms） 中心度算法主要用来判断一个图中不同节点的重要性： PageRank（页面排名算法，algo.pageRank），pagerank值越高的实体在网络中起到的作用越大； ArticleRank（文档排名算法，algo.articleRank），pagerank的一种变体，平衡了出度高低对重要性的影响；
• 11.02 19:23:10
  发表了文章 2021-11-02 19:23:10

  图数据库neo4j数据导入、备份和恢复

  在之前的文章中，介绍了如何搭建neo4j集群，集群的故障切换和节点恢复，还介绍了如何配置驱动实现自动failover。本文聚焦在neo4j的数据上。聊聊如何从外部数据源将数据导入neo4j，如何对neo4j数据库进行备份和恢复。 数据导入 可以有多种方式将数据导入neo4j。大致分为cypher语句导入、apoc.load函数过程导入和离线import导入。 cypher语句导入 这个最简单，就是直接使用cypher语句的create或merge命令来创建neo4j的节点、边和属性。对比来说，create性能较好，但其不会进行存在与否的检查，可能会导致数据库中出现2个相同的节点等情况，造成
• 11.02 19:22:06
  发表了文章 2021-11-02 19:22:06

  Linux2.6内核进程创建过程分析

  Fork的系统调用代码在linux/arch/i386/kernel/process.c中： asmlinkage int sys_fork(struct pt_regs regs) { return do_fork(SIGCHLD, regs.esp, ®s, 0, NULL, NULL); } Sys_fork系统调用通过 do_fork()函数实现，通过对do_fork()函数传递不同的clone_flags来实现fork,clone,vfork。 Syn_clone和syn_vfork的系统调用代码如下： asmlinkage int sys_clone(struct pt_regs
• 11.02 19:21:18
  发表了文章 2021-11-02 19:21:18

  关于LINUX在中断（硬软）中不能睡眠的真正原因

  自陷就是TRAP，LINUX的EXCEPTION－异常，有进程上下文。 TRAP，相当于一个软中断（INT 1， INT 3， 断点，单步等），和软中断调用的系统调用（INT 21， INT 80)几乎一样，属于当前进程，进入内核使用进程的内核栈。唯一不同的是，系统调用的软中断在用户程序中的位置相对固定，而TRAP相对不固定。 假定INT 0是被0除TRAP，你在USER中执行A ＝ 1／0和执行INT 0是一样的，而INT 0 和INT 80也是一样的。用户程序执行INT 80有进程CONTEXT, 执行INT 0也一样有进程CONTEXT. 可以看出，TRAP(比如INT 0)的PR
• 11.02 19:19:43
  发表了文章 2021-11-02 19:19:43

  Neo4j导入Aminer论文数据

  前面一篇介绍了Neo4j一些比较基础的用法。这一篇笔记主要记录下在导入一个大数据集Aminer中MAG论文数据所遇到的一些问题。 数据集介绍 首先关于论文数据集的描述可以在Aminer_Open_Academic中查看，这里简单介绍一下。 有两套数据，一个是Aminer Papers, 是清华大学整理发布的论文集，MAG Papers是微软学术发布的论文数据集。 我们这里选取了MAG的部分数据集来测试导入到Neo4j中。 MAG数据集一共有9个压缩包，其中每一个压缩包里面有20个txt文件，每个txt文件中每行代表一篇论文，用json表示，mid为论文唯一id，可以作为主键使用。除了论文的基
• 11.02 19:18:58
  发表了文章 2021-11-02 19:18:58

  内核模块中对文件的读写

  平时网络部分的东西碰的多些，这块一开始还真不知道怎么写，因为肯定和在用户空间下是不同的。google过后，得到以下答案。一般可以用两种方法：第一种是用系统调用。第二种方法是filp->open()等函数。下面分别来说下这两种方法。 1 利用系统调用： sys_open,sys_write,sys_read等。 其实分析过sys_open可以知道，最后调用的也是filp->open。 sys_open ==> do_sys_open ==> filp->open 在linuxsir上的一个帖子，上面一个版主说：sys_open和进程紧密相关，往往不在内核中使用。 而其实sys_open最后也
• 11.02 19:18:22
  发表了文章 2021-11-02 19:18:22

  微服务介绍与实践总结

  近年来，微服务与DevOps等概念不断热炒。两者实际上是紧密相联，又相辅相成，Docker、Mesos、Kubernates等技术方案的快速崛起，为微服务提供了更坚实土壤，使其得以更顺利地实施落地。 类似spirng-boot等技术的发展与大为传播，更是直接促进了微服务成熟化发展。本文将从与对传统单体架构服务与微服务的比较，介绍微服务，并在最后对DevOps与微服务联系做简单介绍。 单体架构（Monolithic Architecture ） 假设你要开发一个Web后台服务，大部份开发者一开始肯定向于将，所有功能实现放在一个服务进程内。例如JavaWeb的开发者，往往会产出一个War包，这就
• 11.02 19:17:49
  发表了文章 2021-11-02 19:17:49

  Go与微服务-序言

  好奇心 我是在2012年左右开始接触Go，那会主要是基于C/C++做大型的嵌入式系统。最初并不觉得Go有什么优势。一方面来看，性能比不上C/C++，相差数倍，且无法控制内存生命周期，只能依赖Go本身的GC机制。另一方面来看，我们基于C/C++已有一套程序的流程体系，用Go的开发效率并没有显著提升，且编译后的二进制程序往往过大，这对大多嵌入式系统而言是难以接受的。 那时候关注Go主要是出于好奇心，为什么Rob Pike和Ken Thompson等大拿要设计这么一门语言，是因为C不够好？具体是哪里不好？Go本身又有什么优势，在设计最初究竟做了怎样的取舍？ 权衡 同年，开始推行敏捷开发，尝试适应
• 11.02 19:17:16
  发表了文章 2021-11-02 19:17:16

  老树发新芽：微服务

  如果我告诉你有这样一种软件架构，一个应用程序的组件通过基于网络的通讯协议为其它组件提供服务，我估计你可能会说它是 … 是的，它和你编程的年限有关。如果你从上世纪九十年代就开始了你的编程生涯，那么你肯定会说它是 面向服务的架构( Service-Oriented Architecture)（SOA）。但是，如果你是个年青人，并且在云上获得初步的经验，那么，你将会说：“哦，你说的是 微服务(Microservices)。” 你们都没错。如果想真正地了解它们的差别，你需要深入地研究这两种架构。
• 11.02 19:16:12
  发表了文章 2021-11-02 19:16:12

  30个不错的微服务工具推荐

  微服务架构，或说是微服务本身，是一种用于提升软件系统可扩展性的架构风格。与微服务相关的好文章不胜枚举，而本文希望能够为那些从未尝试过、或只是刚刚开始尝试微服务的人，提供一份顶级开源工具的清单。 微服务架构可用于企业、政府、学校和慈善机构等的企业级应用程序。与传统风格的单体架构完全相反，微服务专注于单个单元应用程序。 微服务微小、独立且独特。微服务架构的构建和维护都可能非常复杂。微服务之间可以相互通信，利用同步协议、HTTP / REST或异步协议来服务于整体的业务目标。HTTP / REST或AMQP就是协作服务的示例，这些协作服务通过实现彼此相关的功能来尽可能高效地协同工作。
• 11.01 20:13:55
  发表了文章 2021-11-01 20:13:55

  关于人工智能在数据质量管理中的应用

  说实在的，人工智能这个概念有些过于高大上，从大的方面包括深度学习、机器学习、强化学习等等，而深度学习又包括图像识别、语音识别、自然语言处理、预测分析；机器学习则包括监督学习、无监督学习、半监督学习，监督学习又细分为回归、分类、决策树等等。理论上人工智能什么都能做，什么都能迎合的上。 关键数据质量管理实在太接地气了，以至于大家都理解为数据质量检查规则定义、数据质量检查规则脚本、检查规则执行引擎、数据质量检查规则执行情况监控，数据质量检查报告；而数据质量校验规则无非就是一致性、准确性、唯一性、真实性、及时性、关联性、完整性的一堆校验，再大白话一些无非就是SQL语句。 而本人面临的还不是基于数据仓库
• 11.01 20:12:32
  发表了文章 2021-11-01 20:12:32

  谈谈MongoDB适用领域

  本篇文章写于2019年底，现在一年半时间过去了，MongoDB的发展显然越来越好。不仅MongoDB公司上市了，且股价彪了不少。另外，新出的版本增加了很多好用的特性，尤其是在最新的MongoDB 4.0版本已支持Replica Set级别的事务，对于Secondary上的读也做了较大的优化。下面是原文： MongoDB是一个非常有前途的数据库，MongoDB官方对自己的定位是通用数据库，其实这个定位跟MySQL有些像。虽其流行度还远未达到MySQL的水平，但笔者有个可能不恰当的比较，MongoDB就像N年前的MySQL，随着时间的推移，会变得越来越强大，也会越来越流行。下面结合MongoDB
• 11.01 20:11:01
  发表了文章 2021-11-01 20:11:01

  MongoDB性能实践总结

  MongoDB性能优化，有很多优化的方案，因自己曾参与过一段IoM 1.3的性能优化工作，这里只总结了一下我们实践过的性能要点，作为回顾。 一. MongoDB服务端性能优化点 1. 限制连接数 Mongod 的服务模型是每个网络连接由一个单独的线程来处理，每个线程配置了1MB 的栈空间，当网络连接数太多时，过多的线程会导致上下文切换开销变大，同时内存开销也会上涨。另外，每个连接都要打开一个文件句柄，当然从成本上讲，这个消耗相对内存是小了很多。但换个角度，文件句柄也被其他模块消耗着，比如WT存储引擎，就需要消耗大量的文件句柄。 分布式shard集群部署环境的最大连接数通过route进程的
• 11.01 20:09:08
  发表了文章 2021-11-01 20:09:08

  NoSQL，浅谈redis与mongoDB的区别

  MongoDB和Redis都是NoSQL数据库，采用结构型数据存储，而MySQL、oracle等则属于传统的关系型数据库。 NoSQL数据库与关系型数据库的优缺点 关系型数据库 优点：以完善的关系代数理论为基础,有严格的标准,支持事务ACID四性,借助索引机制可以实现高效的查询。 缺点：可扩展性差，无法较好地支持海量数据存储，数据模型过于死板，事务机制影响了系统的整体性能，全文搜索功能较弱。 NoSQL数据库 优点：数据之间无关系，易扩展。有非常高的读写性能，支持大量数据，性能高。有灵活的数据模型，无须事先为要存储的数据建立字段，随时可以存储自定义的数据格式。
• 11.01 20:08:35
  发表了文章 2021-11-01 20:08:35

  MongoDB 分析查询性能

  cursor.explain("executionStats")和 db.collection.explain("executionStats") 方法提供关于查询性能的相关信息。这些信息可用于衡量查询是否使用了索引以及如何使用索引。 db.collection.explain() 还提供有关其他操作的执行信息。例如 db.collection.update()。 有关详情信息，请参见 db.collection.explain() 。 评价查询性能 考虑采用以下的 inventory 集合文档： db.inventory.insert([ { "_id" : 1, "item"
• 11.01 20:07:40
  发表了文章 2021-11-01 20:07:40

  MongoDB 自动删除集合中过期的数据——TTL索引

  简介 ​ TTL (Time To Live, 有生命周期的) 索引是特殊单字段索引，MongoDB可以用来在一定时间后自动从集合中删除文档的特殊索引。 这对于某些类型的数据非常好，例如机器生成的事件数据，日志和会话信息，这些信息只需要在数据库中保留一段时间。 ​ 创建 TTL 索引，只需要在使用 db.collection.createIndex() 方法，对字段值为日期或者包含日期的数组设置 expireAfterSeconds 选项即可。 1、如果字段是一个数组,并有多个日期值时,MongoDB使用最低(即最早)日期值来计算失效阈值。 2、如果字段不是日期类型也不是一个包含日期的数组