开发者社区> 问答> 正文

数据计算的存储架构自研的特点有哪些?

已解决

数据计算的存储架构自研的特点有哪些?

展开
收起
游客mu7d6bfi3o7yq 2022-03-31 21:04:05 528 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    第一,基于Java语言开发,支持横向的弹性扩展,而Java也是目前使用最广的服务端语言。 第二,数据的另一特点是数据索引分离。数据的存储和索引部分是分开存放的。索引你可以选择使用Redis或MongoDB,而底层的存储,我们借助RocksDB的字节流来满足业务数据非固定大小的弹性扩展。 第三部分是高效的读写,是指对外提供批量查询和添加修改一体化的批量数据异步更新接口,对外只提供基础的添加接口,内部依靠异步更新任务来将最新的数据和已有的数据融合,不需要用上游业务端关心如何更新。 第四个特点就是相对于MongoDB单条数据不超过16M,在一些比较复杂的业务场景下使用往往受限,这也是我们自研对象数据库的一个原因。 第五,高效存储,主要是指在数据存储前,把这个比较复杂的对象序列化。序列化主要基于Hadoop底层的标准序列化框架Avro。其存储和MongoDB相比较,同等数据规模,自研对象DB存储比在MongoDB里面存储能节省1/3的空间。 第六,高效通讯,是指底层传输依赖于高效率的RPC通讯,像Avro、Thrift。 上述是我们自研对象DB的6个核心点,也是满足我们业务需要而独立研发的一个行业技术创新点。 以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237

    2022-04-01 10:33:52
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载