Tapdata创始人唐建法:以秒级响应速度,为企业提供实时数据服务

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 摘要:将孤岛式的数据平台以某种方式连接起来,并且给他们安上一个个“水龙头”,当企业需要的时候,一打开水龙头,数据就像水一样源源不断地流出来。让用户使用属于他们的数据,像喝新鲜扎啤那么简单。这正是钛铂数据(Tapdata)在做的事情。

摘要:将孤岛式的数据平台以某种方式连接起来,并且给他们安上一个个“水龙头”,当企业需要的时候,一打开水龙头,数据就像水一样源源不断地流出来。让用户使用属于他们的数据,像喝新鲜扎啤那么简单。这正是钛铂数据(Tapdata)在做的事情。

数字化转型正当时,各行各业都在乘风破浪,加速数字化进程。随着信息化、数字化的不断渗透,企业在经营和业务过程中产生的数据爆发式增长。数据驱动增长的现实条件之下,对数据的获取、处理和应用的需求愈发迫切。

060c1317888a489ca414d1645136bfe0

然而,多年烟囱式的信息化建设,造成许多孤岛式系统和数据,海量而零散的数据,成为企业数字化征程上最大“拦路虎”。随着数字化进程加快,数据的时效性也关乎到企业的生存发展。

如果能够将这些孤岛式的数据平台以某种方式连接起来,并且给他们安上一个个“水龙头”,当企业需要的时候,一打开水龙头,数据就像水一样源源不断地流出来。让用户使用属于他们的数据,像喝新鲜扎啤那么简单。这正是钛铂数据(Tapdata)在做的事情。

3629cbf78bdb416cba613c9b824db396

让企业使用数据像拧开水龙那样简单

过去数十年间,企业在信息化进程中搭建了非常多的业务系统。如今数字化浪潮奔涌而至,各行各业迸发出各种定制化业务系统的需求。随着数据架构日益低代码化和平台化,各类新的业务和数据系统数量仍在不断扩张。

企业在信息化和数字化建设过程中,通常涉及到两类数据的处理:OLTP和OLAP。其中,OLTP(Online Transaction Processing )指事务型系统,如浏览电商网页、下单、打车、内部流程等;OLAP(Online Analytical Processing)即分析型系统,指对已产生的业务数据,通过聚合、分组统计、AI等方式进行分析,得出一些洞察,以改进业务流程或提升客户体验。

当企业开始使用ERP、BI报表、数据大屏、标签画像等各类系统时,由此产生的海量数据也散落在不同系统。当有新业务时,往往需要从不同数据库里提取不同结构的数据。然而,这些数据源可能有成千上万甚至百万个,不同源库之间数据并不相通,处于一种数据孤岛的状态,导致数据应用的价值低效且难以释放。

随着IT架构的迭代升级和业务端的全渠道营销,新一代的运营型分析以及交互型业务场景逐渐成为主流数据应用。企业需要获取最新的实时数据,为客户做及时的业务响应。尽管目前数据库和存储库已经很强大,很多企业也拥有各类SaaS系统,但针对交互式App或运营分析的场景,对实时数据支持力度有限。

在数字化转型过程中,企业面临着两大难题,一是多年信息化过程中造成的数据孤岛,一是对数据实时性要求越来越高。在NoSQL数据库公司MongoDB担任首席架构师的时候,唐建法就观察到了这个刚性需求。

唐建法曾在北美留学、工作十余年。2014年,加入MongoDB,通过大会、博客、文档翻译、免费社区技术支持等方式,一手打造了MongoDB非盈利的技术交流中文社区。

在MongoDB工作期间,唐建法接触到很多行业的客户,他从客户侧也强烈地感受到了,企业在数字化转型过程中遇到的上述的数据难题。

事实上,数据仓、大数据平台、数据中台等几代数据工具和架构都在解决“数据孤岛”问题,只是支持的核心业务偏OLAP场景,重在对历史数据做洞察和分析,能为企业提供即时数据,用于OLTP业务支撑的实时数据平台十分匮乏。

另外,企业在OLTP上的预算投入占到90%以上,虽然这个比例随着数据分析价值的凸显正在逐渐缩小,但仍有巨大市场潜力。

正是基于这些考量,一个能够快速打通数据孤岛,为OLTP业务提供实时数据的新型平台就呼之欲出。

2019年9月,唐建法从MongoDB辞职,创办了Tapdata,推出面向事务型业务(OLTP)的DaaS平台,提供了一套易集成、易维护、完整且实时的数据平台解决方案,助力企业数字化转型。

经过3年发展,唐建法当初的构想已经实现,Tapdata已经搭建了像自来水管一样的数据架构,当需要数据时,企业直接拧水龙头,就能获得新鲜数据。

478ea1cf9627408892911450ee29d3ad

打造一款好用的新一代实时数据产品

作为国内实时DaaS赛道的开创者和领跑者,Tapdata一直聚焦数据即服务,成为一家针对企业运营中的TP业务,以毫秒级响应速度,提供实时数据平台服务。

国内实时数据处理集成,包括Daas服务、主数据服务,Tapdata是领先的。目前Tapdata已经有7000多家用户,同步的数据已达到几百亿行的级别”唐建法谈到。

今年6月,Tapdata官宣自带ETL的实时数据平台Tapdata Live Data Platform上线。这款产品的核心突破点在于,实现了完整的基于CDC的异构数据实时集成和计算建模的能力,可以源源不断对数十种源数据库实时采集并输送到DaaS存储,确保数据在DaaS里始终得到实时更新。

唐建法谈到,Tapdata产品最明确的定位有两个方向,其中之一,是做云上数据集成,也就SaaS服务。另一个是在云上搭建数据服务平台,帮助企业把数据集中到这个托管平台,提供无代码的实时数据服务,满足企业一站式获取数据的需求。

据了解,Tapdata Live Data Platform具备实时数据集成(ETL)和实时数据服务(DaaS)两大核心技术能力。可以做到对企业所有数据系统进行无缝无代码实时打通,从多套系统中进行数据实时采集,然后同步到中央化的数据平台,并通过API或反向同步方式,为下游业务的交互式应用、微服务或交互式分析提供新鲜实时的数据。

通俗来讲,就是当有新业务时,企业不需要再去各个地方做数据同步、复制、开发,操作人员只须用一个标准的操作方式就能获取最新最实时的数据。

唐建法称,相较于传统方案,Tapdata的核心竞争力体现在“全链路实时”。从数据产生开始,第一时间对数据进行实时采集、加工和服务。从采集到交付,整个过程最快时不到一秒钟。而以前的方案都是基于小时或者最快15钟才能做一些数据的抽取同步。

Tapdata在消费端上呈现出的数据,也都是一些最新的数据或业务状态,这也是全链路实时能力的体现,即提供更加实时、快速的产品体验。

总体而言,Tapdata的核心能力在于多源异构数据库的实时打通,拖拉拽模式的数据开发,以及低代码数据发布及推送能力,提供毫秒级查询响应及数以万计的并发,和源系统的数据延迟保持在亚秒级。

为方便用户使用,Tapdata的实时数据平台设置三种发布形式。其中,线上版本针对新一代企业,或已在云上的云原生公司、互联网公司等。线下版则是针对很多尚未在云上的传统企业。

因为实时DaaS难度大、概念新,许多企业并没有那么容易接受,Tapdata在市场推广上采取“曲线救国”的方式。比如,开放了开源版本,即通过一种源代码可用的方式,使不能上云的用户也能使用到Tapdata的先进技术。

唐建法解释称,商业化和开源并不矛盾的,通过开源方式能让产品更广泛地触达目标用户,让大家体会到实时数据的价值,能进一步了解并采用Tapdata的数据架构及产品,对商业版有一定促进作用。另外,打磨产品最关键的是接收到用户的反馈,开源是一个非常好的共创产品的渠道。

成立三年来,Tapdata发展迅速,早期就有很不错的资本投入,先后获得变量资本和蓝海资本以及五源资本、XVC及德联资本数千万美元投资。而且获得诸多行业标杆客户认可,包括中国移动、中国一汽、周生生、TCL、南方电网、富邦银行等。

早在2020年,Tapdata营收超过千万元,实现收支均衡。Tapdata将海外市场作为未来增长的重要方向。在尚未开源和推广的情况下,Tapdata已经获得若干海外付费客户。

作为一家技术驱动产品的公司,唐建法认为,产品是公司的灵魂,创业成功的关键在于打造一款好产品。只有好产品,才能让团队长久地保持热情。另外,还要跑在好的赛道上。

在唐建法看来,实时DaaS赛道非常清晰,每个企业都有对数据进行集成加工处理的需求,而且上云是未来发展趋势。只要抓住机会,把产品做好,市场是非常广阔的。

f6b2c74b9c7d4cb08f2cb3cbc17cba6f

成长在阿里云:云原生助力企业打破传统数据库瓶颈

随着越来越多企业迁移上云,具有高性能、高可用性和高安全性等特点的云上托管数据库及云原生数据库,正成为企业实现高效创新,打破传统数据库瓶颈的首选。

在唐建法看来,云原生是以云作为起点,所有计算存储处理,信息化或者数字化都是基于云,作基础架构的方式。Tapdata本身是一个连接数据的产品,其开发测试、环境部署、产品交付都很依赖云来发展。

相比于互联网等云原生企业,传统企业在数字化转型时面临的数据挑战更为艰巨,他们也将目光投放到能大大降低成本的云原生数据库的建设中。

唐建法判断,按照趋势,即使是传统企业,未来也都会需要作规划和迁移,最终把主要的基础架构都搬到云上。

而一些互联网公司一开始所有数据库、应用或服务,全部构建在云上,在不同的云上可能有不同的数据或业务的系统。对于这些云原生企业,Tapdata也可以帮他们把数据打通连接,为其新业务提供很好的数据支撑。

基于云原生架构,Tapdata在国内率先推出“异构数据实时同步 SaaS 平台”——Tapdata Cloud。

今年8月底,Tapdata Cloud入选阿里云首期云原生加速器。本次通过产品生态集成认证,是云原生自加速器项目启动后,Tapdata与阿里云正式在产品层面展开合作。

阿里云拥有丰富的云原生产品家族,有超过300款的产品,近千个技术解决方案。阿里云产品生态集成认证,是面向阿里云合作伙伴自有产品、解决方案与阿里云相关产品的兼容性、可用性的技术能力认证。

此番认证,表明Tapdata的技术能力、产品应用水平已满足阿里云相关产品的适配性要求,有利于双方一起丰富云原生产业生态圈,加速云原生落地。

唐建法认为,阿里云的云生态可圈可点,产品能力最为完整。通过云原生加速器项目,Tapdata接触到阿里云很多产品线,也与阿里云的一些产品做了实质性的对接。阿里云提供的一些资源、产品和技术,帮助Tapdata的产品更好地扩展出去,促进增长。

唐建法表示,与阿里云的合作,基于阿里云Serverless产品能力,使tapdata研发效率大幅提升,节省部署时间和上云成本,且能提供更好的客户体验。

Tapdata一直以生态伙伴的身份与阿里云保持着深度合作。未来,借助阿里云的生态战略与生态集成技术的全面开放,双方的紧密合作将进入新的阶段,共同为中国数千万家企业提供数字化转型服务。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
分布式计算 安全 大数据
企查查支撑8000万+企业数据的大数据平台技术选型与实现
企查查终端所有企业工商信息均实时同步更新,汇集了目前国内市场中的80个产业链,8000个行业,6000个市场以及8000多万家企业数据。
7859 0
|
3月前
|
机器学习/深度学习 数据采集 分布式计算
【颠覆传统!】揭秘Databricks如何助力零售业需求预测——从数据到洞察,一秒钟变销售预言家!
【8月更文挑战第9天】随着大数据技术的发展,数据驱动决策日益关键,尤其在零售业中,通过分析历史销售数据预测未来趋势变得至关重要。本文探讨如何运用Databricks平台优化零售业需求预测。Databricks是一个基于Apache Spark的统一数据分析平台,能高效处理大规模数据任务。通过示例代码展示数据读取、预处理及建模过程,相较于传统方法,Databricks在数据处理能力、可扩展性、内置机器学习库以及协作版本控制方面展现出显著优势,帮助零售商优化库存管理、提升客户体验并增加销售额。
87 8
|
6月前
|
存储 SQL 数据可视化
不惜血本、重金打造的数据平台为何效果平平?
较大规模的企业一般会选择自建数据平台,但从现状来看也并不是非常理想,很多互联网大厂不惜血本、投入重金打造数据化体系,成效却不显著,虽然看似功能强大,但流于表面,关键时候并不抗打。我们总能看到一些大厂朋友吐槽公司的数据基建平台接入成本太高,使用不太方便,有很多数据需求阻塞而难以快速实现,依然普遍存在一再被拖延的情况,究其原因在于企业对于数据需求的并行承载能力太差。而从企业层面来看研发数据基建的资源投入可谓非常巨大,而且后期维护成本也极为可观,如此庞大的投入,收益却并不显著,或者说与预期存在明显的差距,这甚至在一定程度上动摇了大厂对于基建价值的认同感和产生对数据化运营理念的怀疑态度。
|
存储 运维 监控
客户说|阿里云AnalyticDB助力诺亚财富,开启金融业数据分析新范式
云原生数据库仓库AnalyticDB助力诺亚财富数字化能力和分析能力新突破
348 1
客户说|阿里云AnalyticDB助力诺亚财富,开启金融业数据分析新范式
|
数据采集 运维 数据可视化
招商银行数据分析平台的前生今世
招商银行数据分析平台的前生今世
632 0
|
存储 人工智能 Cloud Native
Tapdata 创始人唐建法:以秒级响应速度,为企业提供实时数据服务 | 阿里云云原生加速器特别报道
Tapdata 一直以生态伙伴的身份与阿里云保持着深度合作。未来,借助阿里云的生态战略与生态集成技术的全面开放,双方的紧密合作将进入新的阶段,共同为中国数千万家企业提供数字化转型服务。
Tapdata 创始人唐建法:以秒级响应速度,为企业提供实时数据服务 | 阿里云云原生加速器特别报道
|
存储 SQL Cloud Native
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
阿里云数据库已连续多年稳定支撑天猫双11,历经极端流量场景淬炼。除了保障稳定顺滑的基本盘,今年大促期间数据库通过全面云原生化,大幅提升用户体验,让技术帮助业务产生更有价值的消费者体验,持续通过技术创新赋能用户,引领技术发展路径。 双11已圆满落幕,但技术的探索,仍未止步。 “阿里云数据库” 公众号特此推出《好科技的新起点——2021双11阿里云数据库技术揭秘》系列干货文章,为你讲述年度“技术大考”背后的故事,敬请关注!
551 1
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
|
架构师 前端开发 Cloud Native
国内首个开源架构治理平台 ArchGuard,专治分布式场景下各种不服
过去的 10 年间,软件的架构发生了巨大的变化,从早先流行的单体 MVC 架构,变成了所谓的 5:5 开,即分布式 vs 单体。只是呢,有大量的软件开发人员,无法看到系统的全貌,又或者是从单体的思维转变过来。于是,哪怕是在使用了微服务的情况下,但是实现的却又是一个一个的单体,只是它们变成了“分布式的单体”。
595 0
国内首个开源架构治理平台 ArchGuard,专治分布式场景下各种不服
|
存储 Cloud Native 数据挖掘
阿里云与Alluxio达成技术合作,携手提供离在线一体化数据分析服务
有效解决存储计算分离场景下从异构数据源读取数据带来的性能损耗
603 0
阿里云与Alluxio达成技术合作,携手提供离在线一体化数据分析服务