dasein58_个人页
dasein58
文章
970
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2021-11-03
TiDB 的正确使用姿势
最近这几个月，特别是 TiDB RC1 发布后，越来越多的用户已经开始测试起来，也有很多朋友已经在生产环境中使用，我们这边也陆续的收到了很多用户的测试和使用反馈。非常感谢各位小伙伴和早期用户的厚爱，而且看了这么多场景后，也总结出了一些 TiDB 的使用实践 (其实 Spanner 的最佳实践大部分在 TiDB 中也是适用的，MySQL 最佳实践也是），也是借着 Google Cloud Spanner 发布的东风，看了一下 Spanner 官方的一些最佳实践文档，写篇文章讲讲 TiDB 以及分布式关系型数据库的一些正确的使用姿势，当然，时代也在一直发展，TiDB 也在不停的进化，这篇文章基本上
-
发表了文章 2021-11-03
回到过去，找回遗失的珍宝 - TiDB 的历史读功能
数据作为业务的核心，关系着整个业务的生死，所以对于数据库来说，数据的安全性是放在首位的，从宏观角度来看，安全性不仅仅在于的数据库本身足够稳定不会主动的丢失数据，有的时候更是对业务本身甚至人为失误造成损失是否有足够且便捷的应对方案，例如在游戏行业中经常遇到的反作弊(作弊玩家回档)问题，对于金融业务的审计需求等等，如果在数据库层面上提供相关机制，会让业务开发的工作量和复杂度减少很多。 传统的方案会定期备份数据，几天一次，甚至一天一次，把数据全量备份。当意外发生的时候，可以用来还原。但是用备份数据还原，代价还是非常大的，所有备份时间点后的数据都会丢失，你绝对不希望走到这一步。另外全量备份带来的存储
-
发表了文章 2021-11-03
使用 TypeScript 快速开发 Serverless REST API
这是一个对于 AWS Lambda Functions 的简单 REST API 项目，使用 TypeScript 语言编写，数据存储采用 MongoDB Atlas 云数据库，从编码到 AWS Lambda 下的单元测试，再到部署、日志调试完整的介绍了如何快速编写一个 FaaS 函数。 本文你将学习到 REST API with typescript MongoDB Atlas data storage Multi-environment management under Serverless Mocha unit tests and lambda-tester interface tes
-
发表了文章 2021-11-03
从 pingcap tidb 学习使用静态检查工具提升代码质量
今天想跟大家简单介绍一下如何使用一些 golang 的静态代码检查工具来提升代码质量！ 此博客在 GitHub 上公开发布. 如果您有任何问题或疑问，请在此处打开一个 issue。 简介 从去年接触到 TiDB 就开始尝试在社区帮忙修复一些简单的 Bug。最近，我在阅读代码的过程中发现 TiDB 的代码库中有大量的没有必要的类型转换，我就用 GoLand 分析检查出大部分的无效的类型转化， 然后提了一个 PR （CEO 半夜 review 代码，哈哈哈）修复。在这个 PR 中 zz-jason 大神 评论希望能够通过静态检查工具来检测无效的类型转换。 我经过一些研究，决定使用 uncon
-
发表了文章 2021-11-03
性能测试工具的 Coordinated Omission 问题
很早之前就看过 Gil 大神的一篇文章《Your Load Generator Is Probably Lying To You - Take The Red Pill And Find Out Why》，里面提到了性能测试工具 coordinated omission 的问题，但当时并没有怎么在意。这几天有人在我们自己的性能测试工具 go-ycsb 上面问了这个问题，我才陡然发现，原来我们也有。 什么是 coordinated omission 首先来说说什么是 coordinated omission。对于绝大多数 benchmark 工具来说，通常都是这样的模型——启动多个线程，每个线
-
发表了文章 2021-11-03
让拆库拆表见鬼去吧! MySQL 扩展新玩法
随着数据量的激增，单机数据库存不下了，怎么办?这几乎是所有互联网公司都会遇到的问题。在过去，一直没有一个优雅的解决方案从根本上解决传统关系型数据库扩展性问题，而通常的做法是业务层要把代码改个遍，如果业务上已经用了 MySQL ，没有办法，只能去拆库拆表，动中间件，而这个过程对 DBA 是痛苦的，就算不死也要脱层皮。 最近，一款国人主导开发的开源数据库项目在国内外混的风生水起，不仅在 GitHub 上被推到了 Go Trending 的头条，并且累积 Star 数已近 10000。而在国内，它在被技术爱好者模仿 DB-Engine 制作出的国产数据库排行榜中，位居第二，它就是开源分布式关系型数据
-
发表了文章 2021-11-03
TiDB 源码学习：关于 Projection Pruning 的细节问题
查询优化器发现节点之间是 Proj/Aggr --> Proj 模式的时候（也就是某个 Proj 节点的祖先是 Proj或 Aggr 节点的时候），会考虑对子节点做 Projection Pruning 优化。 是否可以消除 Proj 节点的判断依据是：当前的 Proj 节点输出的列是否和其子节点的输出列一样。如果一样，则可以消除。 让我产生疑问的地方是判断输出列是否和子节点一样的代码逻辑，代码如下： func canProjectionBeEliminatedLoose(p *LogicalProjection) bool { for _, expr := range p.Ex
-
发表了文章 2021-11-03
加快 java 项目 Docker 镜像构建速度的野路子
最近接手了一个 java 项目，无论是测试环境还是正式环境，都是 CI/CD 系统自动构建和部署的，用的 Docker，被 java 项目的构建速度虐到了。 无论是 Python、Node.js、Go，从零打包镜像的话，在有 Docker cache 的情况下，连续构建镜像的速度是可以很快的。一般的优化方式是先安装依赖模块，然后再编译打包代码库。这样安装依赖的 image layer 可以被 Docker 缓存，下次再构建就不用安装依赖。 Java 项目也可以进行类似的优化，比如在 Dockerfile 当中先执行 mvn dependency:resolve 。可但是... 在 mvn
-
发表了文章 2021-11-03
TiDB 源代码学习: ranger 模块代码分析
对数据库技术有一定了解的同行们,应该对 索引前缀匹配 的概念不陌生. 在 TiDB 中 ranger 模块在前缀匹配机制中发挥了一定的作用,所以我想好好了解一下这个模块的代码. ranger 模块介绍 ranger 模块重要的入口是 DetachCondAndBuildRangeForIndex 以及 DetachCondAndBuildRangeForTable 两个函数. 本文以 DetachCondAndBuildRangeForIndex 函数为主要的分析对象,下面简称这个函数位 DCBR DCBR 的入参是: 某个索引信息,主要是用里面的列信息(包含哪些列,以及它们在索引当中
-
发表了文章 2021-11-03
Elasticsearch系列---数据建模实战
<p style="font-weight: 400; margin: 10px 0px; padding: 0px; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); max-width: 100%; line-height: 1.5; color: rgb(51, 51, 51); font-family: "Helvetica Neue", Helvetica, "PingFang SC", Tahoma, Arial, sans-serif; white-space: normal; backgroun
-
发表了文章 2021-11-02
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。 此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务，来读取这张表，再写入另外一个测试表: test2, 没有选择更大的表是因为毕竟整个拷贝是需要时间，通常20分钟-30分钟，太大的表，不太利于跟踪。 拷贝过程，HBASE会针对此表有相关的活动日志，依据日志，我们来看看HBASE到底在干什么。 测试开始,
-
发表了文章 2021-11-02
Linux内核配置文档！！！(make menuconfig)
一、引言： 本文档的内容大部份内容都是从网上收集而来，然后配合一些新的截图（内核版本：V2.4.19）。在每一配置项后会有一个选择指南的部份，用来指导大家怎么样根据自己的情况来做相应的选择；还有在每一个大项和文档的最后会有一个经验谈，它是一些高手们在应对问题和处理特有硬件时的一些经验（这个还得靠各位）。文档最后会发到网上，到时会根据网友们的回复随时进行更新。 我们的目的是让我们有一个全面的、简单明了内核编译帮手。 [注：] 请大家能够发表自己的经验和想法，使本文能够不断充实！但是最好不要发一些从网cp过来的没有经过自己实践的文章！ 1.Code maturity
-
发表了文章 2021-11-02
HBase的默认配置介绍
hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。 默认: file:///tmp/hbase-${user.name}/hbase hbase.master.port HBase的Maste
-
发表了文章 2021-11-02
关于oracle的100个常见函数(进阶必备)
1. ASCII 返回与指定的字符对应的十进制数; SQL> select ascii(A) A,ascii(a) a,ascii(0) zero,ascii( ) space from dual; A A ZERO SPACE --------- --------- --------- --------- 65 97 48 32 2. CHR 给出整数,返回对应的字符; SQL> select chr(54740) zhao,chr(65) chr65 from dual; ZH C -- - 赵 A
-
发表了文章 2021-11-02
HBase使用例子（中文翻译）
通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。 1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。 2、 插入数据 创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来提交操作，子猴在这里提请注意的是：在创建Put对象的时候，你必须指定一个行(Row)值，在构造Put对象的时候作为参数传入。 3、 获取数据 要获取数据，使用Get对象，Get对象同Put对象一样有好
-
发表了文章 2021-11-02
Hbase插入参数测试与对比
HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插入的影响。 HTable htable1 = new HTable(hbaseconf, "test2"); Scan scan1 = new Scan(); ResultScanner scaner = htable.getScanner(scan1); List
-
发表了文章 2021-11-02
HBASE启动脚本/Shell解析
常用到的HBase启动脚本有： 1.$HBASE_HOME/bin/start-hbase.sh 启动整个集群 2.$HBASE_HOME/bin/stop-hbase.sh 停止整个集群 3.$HBASE_HOME/bin/hbase-daemons.sh 启动或停止，所有的regionserver或zookeeper或backup-master 4.$HBASE_HOME/bin/hbase-daemon.sh 启动或停止，单个master或regionserver或zookeeper 以start-hbase.sh为起点，可以看看脚本间的一些调用关系
-
发表了文章 2021-11-02
NoSQL性能测试工具(YCSB)
写在前面 目前，在系统设计中引入了越来越多的NoSQL产品，例如Redis/ MongoDB/ HBase等，其中性能指标往往会成为权衡不同NoSQL产品的关键因素。对这些产品在性能表现和产品选择上的争论，Ivan碰到不止一次。虽然通过对系统架构原理方面的分析可以大致判断出其在不同读写场景下的表现，但一是对受众有较高的要求，再者也来的不那么直接。这时候，没有什么比一次性能测试更有说服力。有什么好的性能测试工具呢？这就是今天的主角YCSB。YCSB是Yahoo开源的一套分布式性能测试工具，方便易用，拓展性强。Ivan最近研究HBase二级索引时用它来做性能测试，感觉还是非常顺手的。虽然网上已经有
-
发表了文章 2021-11-02
报表与火锅的故事
上篇文章也谈到BI报表查询，但更多在讲技术人员的价值观，有标题党的嫌疑。本文回归技术分析，题目有点小写意，套用一个火锅店的小故事，重点是MPP与分布式数据库存储上的一个差异点，希望能达到通俗易懂的效果。 数据时代，信息化成熟的企业通常建设了很多BI报表系统，每天各级管理人员根据报表的数据调整企业整体的经营决策和各项具体措施、行动。系统除了保证数据准确，最受关注的就是查询的相应效率也就是延迟时间（Latency）。
-
发表了文章 2021-11-02
如何理解Hadoop-Hbase原理与应用小结
1 我们常说HBase是“数据即日志”的数据库，它是怎样修改和删除数据的？和Oracle这类传统的RDBMS有什么区别？ 答：首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识，我们只有通过行键来访问列族别无他法。 修改数据：我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本。 删除数据：插入带有删除标记的行进入，相当于把整个行键所在的行删了。
-
发表了文章 2021-11-02
好程序员大数据纪实：HBase知识点集中总结
好程序员大数据纪实： HBase知识点集中总结， HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 与 FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中
-
发表了文章 2021-11-02
HBase 在单机模式 和伪分布模式下的安装
HBase的安装 本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。 安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。 我将要安装的hbase是hbase-0.90.4版本，需要的hadoop是hadoop-0.20.2版本。 1.单机安装 将下载的hbase-0.90.4解压到相应的目录，如/home/zhangxin/hbase-0.90.4 修改hbase-0.90.4下的conf目录下的配置文件hbase-env.sh 首先，修改hbase-env.sh中的如下属性： export JAVA_HOME=/home/zhang
-
发表了文章 2021-11-02
实验Hbase的test中的TestTableMapReduce类--修改成简单易懂点的
不积跬步，无以至千里！ 这几天狂看mapreduce对hbase进行操作的例子，消化吸收，熟能生巧，掌握mapreduce和hbase交互的各个细节，以及整体流程等，整体流程等年前写一篇总结下，这几天先狂看吧 看，复制，修改，运行，遇到各种问题，解决，慢慢的就熟了。 这个类是干啥的呢，其实就是对hbase的某表进行简单操作，不过用的是mapreduce，即效率高，当然，看这个，主要吸收其用mapreduce操作hbase的思路及如何编程。 这个类功能是：将表中所有行 列族f1的某列q1的值倒序后放在另一列族f2的列q2，所谓倒序即 abc变成cba，456变成654，其中q1和q2是可
-
发表了文章 2021-11-02
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,Oracle与Hbase的互导最后给出命令。 一、Mysql与HDFS互导数据 环境： 宿主机器操作系统为Win7，Mysql安装在宿主机上，宿主机地址为192.168.66.96 3台虚拟机操作系统为Ubuntu-12.04.1-32位 三台虚拟机已成功安装hadoop，并实现免密钥互访，配hosts为： 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 /etc/profile已配置好必备环境变量HADOO
-
发表了文章 2021-11-02
Hbase迎接电信TB级大数据洗礼之热点网站功能实践
在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验，随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络，流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大，中国联通3G用户流量使用情况也是非常可观的。那么在3G网络功能中上网冲浪占了很大的比例，去研究用户感兴趣的热点网站成为了行为分析中很有特点的一项功能，联通就可以根据这些网站信息推出增值服务，古人云：大浪淘沙始到金啊！
-
发表了文章 2021-11-02
因为主机时间不同步导致的hbase zookeeper 节点宕机奔溃 一例
前几天 ，升级hadoop/hbase 集群， 新 添加了几十台机器， 硬件部门，安装好主机os 后就交付给我们了， 安装好软件环境，配置好，就启动接入集群了，运行了一个礼拜，系统运行正常。 昨天的时候淘汰一台旧机器，上面跑了zookeeper ， 需要准备一个新的zookeeper 节点来代替，如实就找了一台hbase 节点上启动了zookeeper 这个时候问题来了， zookeeper 启动后总是在报错， 一直在确定自己的状态。
-
发表了文章 2021-11-02
基于HBase构建千亿级文本数据相似度计算与快速去重系统
前言：随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持千亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。 一. 面临的问题 1. 如何选择文本的相似度计算或去重算法？ 常见的有余弦夹角算法、欧式距离、Jaccard 相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，但在海量数据背景下，如果每天产生的数据以千万计算，我们如何对于这些海
-
发表了文章 2021-11-02
TDSQL中修复的mysql内核bug
在TDSQL这两年多的开发工作中，我感觉很自豪的一件事是我修复了不少mysql-5.7.17和mariadb-10.1.9的内核bug，这些bug大多已经报告给了MySQL/MariaDB官方开发团队，在每个bug描述中我会贴出来bug报告的连接。本文将大略介绍这些bug的概况，我在将来会写更多文章详细介绍每个bug的具体问题分析以及解决思路。本文列出的所有bug都已经修复，经过验证可以正确工作并解决相关问题。 这里先说一下为什么我要提交代码给mysql/mariadb官方开发团队，主要有一下几个好处： 1. 官方开发者可以review我提交的patch，帮助完善patch，发现和解决之前
-
发表了文章 2021-11-02
TDSQL XA 全局死锁处理
本文是我最初于2017年发表在我的个人微信公众号里面，现发布在这里。 1．概述 TDSQL XA的全局事务(global transaction)就是用户客户端连接到TDSQL XA分布式数据库系统后发起和执行的事务，也就是TDSQL XA处理的分布式事务。一个全局事务可能会写入数据到多个后端mysql 数据库实例，每个实例上面的本地事务都是这个全局事务的事务分支(transaction branch)。客户端发起全局事务提交时，运行在TDSQL XA的网关模块中的全局事务管理器会控制该事务访问的所有后端mysql数据库实例完成两阶段提交。 全局事务执行过程中可能发生两类死锁，第一类就是
-
发表了文章 2021-11-02
TDSQL XA的事务隔离级别
本文是我最初于2017年发表在我的个人微信公众号里面，现发布在这里。 1.1. 概述 TDSQL XA全局事务(global transaction)是指用户客户端连接到TDSQL XA分布式数据库系统后发起和执行的事务，也就是TDSQL XA处理的分布式事务。一个全局事务可能会写入数据到多个后端mysql 数据库实例，每个实例上面的本地事务都是这个全局事务的事务分支(transaction branch)。客户端发起全局事务提交时，运行在TDSQL XA的网关模块中的全局事务管理器会控制该事务访问的所有后端mysql数据库实例完成两阶段提交。 TDSQL XA的全局事务的隔离级别最高可以
-
发表了文章 2021-11-02
中小型企业应该选择什么样的云服务器
中小型公司放企业网站，国内靠前的服务器商各方面差别是不大的，都是基于同样的技术，只是在服务器配置的选择上，不同的应用场景有不同的要求需要考虑。 1.仅仅是展示站 那么采用阿里云ECS 或者 腾讯云CVM 2核心4g内存5M宽带，1000以下同时访问是没有问题的。 2.需要部署其他项目，如erp，文件备份，对性能，可靠性要求较高。 对数据量大，访问高，稳定性要求较高时，建议采用在RDS上放数据库，在OSS上存放大量文件，而只将web应用部署在多台ECS上然后对外通过SLB提供服务的方式，这样具有较高的性能和稳定性以及容灾能力。 所以建议采用阿里云SLB + 多台ECS + RDS +
-
发表了文章 2021-11-02
Oracle DBA遇到频次最高的五十个问题
随着数据价值在企业地位越来越高，DBA这一职位更是受到重视和支持，如何帮助各位数据达人维护好数据，也是ITPUB社区一直秉承的理念，本期我们将社区DBA关注最多的50个问题，已经各位大师对问题的解决方式进行了汇总和整理，期待大家更多给与问题和反馈，以下是问题和解决方案。 问题1：如何收集统计信息不影响数据库？ 解决方案 大多数情况下，表的统计信息不准导致了优化器对于执行计划的错误计算，因此需要对表的统计信息进行更正， 以便让优化器重新选择准确的 执行计划。 但是在生产情况下，随意的收集统计信息，则会给数据库带来隐患： 1、对重新收集统计信息的表，对应的一些SQL可能需要重新硬解
-
发表了文章 2021-11-02
线程的基础
安全是多线程编程的核心主题，但并不是只要使用多线程就一定会引发安全问题。要了解哪些操作是安全的，哪些是不安全的，就必须先掌握如何使用多线程。不过在操作多线程之前，我们先了解一下多线程的几种状态。 线程的状态 在Thread的实现中，包含一个名为State的enum类，用来标识线程运行中的各种状态，其中定义了以下几个类型： public enum State { /** * Thread state for a thread which has not yet started. */ NEW, /** * Thread state fo
-
发表了文章 2021-11-02
大数据和人工智能工程上的一些点
大数据 大数据这个词最早出现在上世纪90年代的美国，直到2012年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的mapreduce论文和hadoop开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能 人工智能在1956年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。大数据与人工智能之间可以说是相辅相成，人工智能的基础是数据，而数据的利用又离不开人工智能。各
-
发表了文章 2021-11-02
在PostgreSQL中构建基础类型
最近在做一些功能兼容的工作，做了一些数据类型的工作。其中一部分是添加新的基础类型，很多细节值得记录一下，在此进行步骤介绍以及代码介绍。 此次要添加一种新的数据类型，这种类型使用的算法和PostgreSQL使用相同的input和output函数。那么接下来就将所有步骤进行演示。 类型信息 类型名，newtype； 类型长度，pg中显示-1，定长，和bigint相同，实际占用8个字节； 使用bigint（int8或int64）的input、output、send、receive函数； 能够进行显示、排序、简单比较、建立索引； 实现方法
-
发表了文章 2021-11-02
搭好数据架构，这7个技术是关键
数字化转型的核心是数据，它已成为商业中最有价值的事务。由于格式不兼容，传统数据库的局限性，以及无法灵活地合并来自多个来源的数据，组织长期以来一直受到其使用数据的困扰。新兴技术的出现有望改变这一切。 企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。 数字化转型的核心是数据，它已成为商业中最有价值的事务。由于格式不兼容，传统数据库的局限性，以及无法灵活地合并来自多个来源的数据，组织长期以来一直受到其使用数据的困扰。新兴技术的出现有望改变这一
-
发表了文章 2021-11-02
大数据时代技术架构
1. 概述 当前大数据已经渗透到每个行业和领域，成为了重要的生产因素。在大数据环境下，数据是海量的，且呈爆发式增长，数据类型复杂多样，除结构化数据外，还有大量半结构化和非结构化数据。大数据应用需求也很复杂，包括复杂多表关联查询，即席查询，离线数据批量处理等。这种形势给构建大数据处理的通用平台带来了挑战。 2. 传统数据库构建大数据平台的不足 传统事务型数据库是针对事务型处理设计的，采用行存储和Shared Disk架构，硬件方面采用小型机+磁盘阵列的配置。而面对大数据的分析处理型应用，传统的数据库在处理海量数据方面表现出明显的不足，主要表现在如下方面： 传统的Shared Disk架
-
发表了文章 2021-11-02
做了三年数据分析，给你的几点建议
还有一个多月，我工作就满3年了。在职场上，3年是个坎，意味着从初级转到中高级，但前提是能力跟得上工作年限。 我第一份和第二份工作，是做的数据运营，现在这份工作，title是商业分析师。因为专业不是数学、计算机类的，所以相当于转行，但也是理工科，有编程基础，所以相对文科生来说会稍微轻松点，但转行之路并不轻松。 之前看到很多想转行的朋友，会问比如，女生适不适合做数据分析、文科生能不能做好数据分析、数据分析做什么的，这样的问题。 今天想写的，是三年来的一个总结，也写一下我是如何从一个连Excel都不会的菜鸟慢慢成长的经历。想必像BAT这样的大牛不会是我的读者，那我就自作主张的把读我这篇文章的朋
-
发表了文章 2021-11-02
十问 TiDB ：关于架构设计的一些思考
“我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家，相信大家理解了背后原因后，就能够把 TiDB 用的更好。” 做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？ 从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。 作为一个开源项目，TiDB 是我们基础架构工程师和社区一起努力的结果，TiDB 已经发版到 2.0，有了一个比较稳定的形态，大量在生产环境使用的伙伴们。可以负责任的说，我们做的任何决定都经过了非常慎重的思考和实践，是经过内部和社区一起论证产生的结果。它未必是最好的，
-
发表了文章 2021-11-02
集中式架构和分布式架构哪种更好？
集中式架构的优势主要是设备数量少，架构设计简单、通用与应用耦合度低，资源可以灵活调度，部署容易。数据集中存储和处理，无需多个节点之间分布式协作，所以具有系统响应快，数据可靠性和一致性好的优点。由于架构简单，设备少，所以在系统运维，容灾设计，空间用电等方面都具有较大优势。稳健、可靠、易维护管理是集中式架构的特点，所以集中式架构多用于传统的银行、电信、交通、医疗等行业。数据显示，2019年，仍有92%的银行选择购买集中式架构的服务器，以确保关键业务稳定运行。 而分布式架构的优势主要是灵活、性价比高，同时也安全自主，其弹性伸缩能力优势明显。所以随着时下数据量的剧增，分布式架构在这方面的能力展露锋芒
-
发表了文章 2021-11-02
数据结构为什么那么难？每个面试官都会问的问题！
01 招聘趣事 如果你关注计算机专业招聘试题，会发现越是大型公司，问的问题越基础，有的甚至问你什么是栈和队列，反而一些小公司会关心你做过什么系统。从关注点的不同可以看出，大公司更注重基础扎实和发展潜力，而小公司希望你立刻能够为其干活。可以这样比喻：小公司喜欢细而长的竹子，大公司更喜欢碗口粗的竹笋。 我曾经推荐一个学生到某知名公司，没多久，学生向我说了应聘的事情：“我介绍我开发了企业管理系统、在线商城系统等，没想到他问我使用了什么数据结构和算法，我懂很多技术，那么多功能我都实现了，他不问，却问我使用了什么数据结构和算法，你说搞笑不？数据结构和算法我早就忘了，我会开发软件还不行吗？”人力资源
-
发表了文章 2021-11-02
py2neo基本用法
neo4j目前是图数据库的主流，neo4j的Cypher语法简单直观，但是不便于流程化。如果习惯在python环境下处理数据，那么还是要用到python的neo4j库，即py2neo. py2neo本身并不复杂，但要先适应它的思考模式。另一个问题是py2neo文档的示例较少，而且不同版本的py2neo挺不相同，容易弄混。这里要讲的是目前的v4版本。 连接数据库和图 from py2neo import * # *中常用的是Node,Relationship,Graph graph = Graph(url,username='name',password='pw') 2.
-
发表了文章 2021-11-02
5个技巧助你编写更好的React代码
在本文中，我想分享几个技巧，这些技巧将改善你的React代码。 1. 解构 props 在 JS 中解构对象（尤其是 props）可以大大减少代码中的重复。看下面的例子： //Parent Component import React from 'react'; import CoffeeCard from './CoffeeCard'; const CafeMenu = () => { const coffeeList = [ { id: '0', name: 'Espresso', pr
-
发表了文章 2021-11-02
为什么说for...of循环是JS中的宝石？
是什么使得一个编程语言的新特性很棒？当这个特性可以结合多个其它特性的时候。 ES2015 版本中引入的 for...of 语句就是这种情况。 for...of 可以迭代数组、类数组以及任何可以迭代的对象(maps、sets、DOM集合)，并且，for...of 的语句还很短。 在这篇文章中，我将会演示 for...of 的能力。 1. 数组迭代 for...of 最常见的应用是对数组项进行迭代。该循环可以高效得完成迭代，而无需其他变量来保持索引。 例如:
-
发表了文章 2021-11-02
Linux 用户态与内核态的交互——netlink 篇
理论篇 在 Linux 2.4 版以后版本的内核中，几乎全部的中断过程与用户态进程的通信都是使用 netlink 套接字实现的，例如iprote2网络管理工具，它与内核的交互就全部使用了netlink，著名的内核包过滤框架Netfilter在与用户空间的通读，也在最新版本中改变为netlink，无疑，它将是Linux用户态与内核态交流的主要方法之一。它的通信依据是一个对应于进程的标识，一般定为该进程的 ID。当通信的一端处于中断过程时，该标识为 0。当使用 netlink 套接字进行通信，通信的双方都是用户态进程，则使用方法类似于消息队列。但通信双方有一端是中断过程，使用方法则
-
发表了文章 2021-11-02
基于NETLINK的内核与用户空间共享内存的实现
一、前言 前些日子，开发中用到了netlink来实现内核与用户空间共享内存，写点笔记与大家分享。因为我对这块也不了解，写出来的东西一定存在很多错误，请大家批评指正~ 内核与用户空间共享内存的关键是，用户空间必须得知共享内存的起始地址，这就要求内核空间应该有一种通信机制来通知用户空间。已经有Godbach版主等人用proc文件系统实现了（可以google '共享内存 内核 用户空间'）,很显然任何内核空间与用户空间的通信方法都可资利用。本文主要讲基于NETLINK机制的实现。 二、NETLINK简介 netlink在linux的内核与用户空间通信中用得很多（但具体例子我举不出，因为我不清楚~~
-
发表了文章 2021-11-02
内核源码kfifo分析（原创）
从2.6.10开始,Linux内核提供了一个通用的环形缓存（我喜欢称为环形队列）;它的头文件是<linux/kfifo.h>，kfifo.c是实现代码。 在设备驱动中环形缓存出现相当多. 网络适配器, 特别地, 常常使用环形缓存来与处理器交换数据(报文)[LDD3]。 见下面的图“LDD3中描述的队列”。 我们来看下kfifo的数据结构： struct kfifo { unsigned char *buffer; /* the buffer holding the data */ unsigned int size; /* the size of the al
-
发表了文章 2021-11-02
知识图谱 | Neo4j算法概述
在neo4j中，Neo4j Graph Algorithms ，通过call algo.list() 可查看neo4j中的算法列表。 在neo4j官方文档中，主要记录如下各种方法： 一. 中心性算法（Centrality algorithms） 中心度算法主要用来判断一个图中不同节点的重要性： PageRank（页面排名算法，algo.pageRank），pagerank值越高的实体在网络中起到的作用越大； ArticleRank（文档排名算法，algo.articleRank），pagerank的一种变体，平衡了出度高低对重要性的影响；
-
发表了文章 2021-11-02
图数据库neo4j数据导入、备份和恢复
在之前的文章中，介绍了如何搭建neo4j集群，集群的故障切换和节点恢复，还介绍了如何配置驱动实现自动failover。本文聚焦在neo4j的数据上。聊聊如何从外部数据源将数据导入neo4j，如何对neo4j数据库进行备份和恢复。 数据导入 可以有多种方式将数据导入neo4j。大致分为cypher语句导入、apoc.load函数过程导入和离线import导入。 cypher语句导入 这个最简单，就是直接使用cypher语句的create或merge命令来创建neo4j的节点、边和属性。对比来说，create性能较好，但其不会进行存在与否的检查，可能会导致数据库中出现2个相同的节点等情况，造成
-
发表了文章 2021-11-02
Linux2.6内核进程创建过程分析
Fork的系统调用代码在linux/arch/i386/kernel/process.c中： asmlinkage int sys_fork(struct pt_regs regs) { return do_fork(SIGCHLD, regs.esp, ®s, 0, NULL, NULL); } Sys_fork系统调用通过 do_fork()函数实现，通过对do_fork()函数传递不同的clone_flags来实现fork,clone,vfork。 Syn_clone和syn_vfork的系统调用代码如下： asmlinkage int sys_clone(struct pt_regs
暂无更多信息
-
发表了文章
2025-05-24
深入浅出React中的refs
-
发表了文章
2025-05-24
日志与追踪的完美融合：OpenTelemetry MDC 实践指南
-
发表了文章
2025-05-23
使用 Uber automaxprocs 正确设置 Go 程序线程数
-
发表了文章
2025-05-22
【微前端】singleSpa&importHTMLEntry（流程图）源码解析
-
发表了文章
2025-05-22
一行代码搞定禁用 web 开发者工具
-
发表了文章
2025-05-20
TP6操作pgSQL13报错解决方案
-
发表了文章
2025-05-20
Go 1.24 相比 Go 1.23 有哪些值得注意的改动？
-
发表了文章
2025-05-20
一文搞懂 GPU 共享方案： NVIDIA Time Slicing
-
发表了文章
2025-05-20
借助大模型提升甲方安全黑白灰运营效率实践
-
发表了文章
2025-05-20
封装 uniapp 请求库的最佳实践
-
发表了文章
2025-05-18
Vue 2 与 Vue 3 的区别：深度对比与迁移指南
-
发表了文章
2025-05-18
three.js简单实现一个3D三角函数学习理解
-
发表了文章
2025-05-18
如何提高爬虫的抓取效率
-
发表了文章
2025-05-18
CentOS系统安装phpStudy的详细步骤和注意事项
-
发表了文章
2025-05-18
mysql数据引擎有哪些
-
发表了文章
2025-05-17
C语言与操作系统交互探秘
-
发表了文章
2025-05-17
Nuxt 3环境变量读取问题解决方案
-
发表了文章
2025-05-17
从多维度解构 Lead Time：定义、应用与优化策略
-
发表了文章
2025-05-17
mysql数据备份方式，如何恢复？你们的备份策略是什么？
-
发表了文章
2025-05-17
Vue与TypeScript：如何实现更强大的前端开发
滑动查看更多
暂无更多信息
暂无更多信息