评论

RestCloud ETL 社区版背后的故事

一、背景

数据价值的挖掘应用为当今社会的数字化进程开辟出了一个新的发展方向,未来更多的企业将逐渐进行数字化转型,以便于参与到数据产业体系当中,从而获得更强的创新能力和可持续发展能力。数据集成作为数据产业体系中其中一个基础环节,也是最底层的环节。因此、数据集成效果的优劣很大程度造成数据产业链的影响。

从贝哲斯信息咨询发布的2022-2028年中国数据集成工具市场数据分析与行业洞察报告中所列举的数据集成工具主要市场参与者有Informatica、FiveTran、Talend、Oracle、Denodo、IBM、Microsoft、SAP、Tibco、Matillion、SAS、Kettle等,国内企业无一上榜。

Restcloud作为一家数据集成自动化创新企业,致力于成为世界级的数据集成平台研发型企业,我们聚集了一批致力于用代码改变数据集成行业的研发工程师、为了实现这一目标,Restcloud 结合多年的数据集成项目建设经验及对数据集成应用的探索和研究,从零开始研发了这款真正完全国产化的数据集成工具、我们致力于打破国外企业在数据集成领域的垄断地位,同时为了进一步推进数据集成工具快速国产化,我们决定推出数据集成工具社区版,以满足国内众多数据集成工程师的广泛需求,让国内数据集成工程师摆脱数据集成的痛苦,同时我们通过快速的产品迭代不断为用户带来更好的使用体验,我们相信山再高,往上攀,总能登顶。

二、产品亮点

1、易用性

工具采用全Web可视化配置开箱即用,拖拽式“零”代码配置操作,大幅度降低数据采集任务构建的工作量及复杂性,相比于同类数据集成工具效率提升60%以上。

2、适用性

我们除提供SaaS版本外,充分考虑到国内众多企业数据还没有上云的情况下,特别提供了私有化单机部署、集群部署,容器部署等模式,企业可根据自身需求选择不同的部署架构,全方位助力企业数字化转型。

3、扩展性

在数据处理层面,工具不仅提供近100+数据处理组件(不断迭代推出更多组件中),同时创新的提供了数据规则处理插件,通过规则插件每个企业和用户都可以自定义数据处理规则,从而实现各行各业的数据集成场景。同时我们提供了通用的公共插件,插件化是RestCloud数据集成平台的最大特色。所有开发人员都可以轻松的自定义数据集成处理插件,而且是全Web化开发插件热加载,相对于AirByte、DataX、Kettle等的数据处理插件开发RestCloud的数据集成插件开发更高效、更容易、更灵活,可以说是树立了数据集成领域的新标杆。

4、协同开发

提供多人在线协同开发能力:提供多租户的数据集成开发作业,统一管理模式,使企业大规模数据集成更加轻松数据开发更安全。

数据同步与应用的协同作业:数据管道不但能根据调度策略进行自动执行,也能发布成为API给第3方应用进行调用执行,实现数据采集与应用的协同作业。

视频:将流程发布为API,并展示API的调用,显示调用的过程及结果。

5、单步调试

工具在可视化开发基础上,在调试日志基础上创新性研发出可视化的单步调试功能,全面随意掌控流程运行中的任何环节的数据状态,进一步提升数据管道的可靠性,同时可以大幅提升数据集成任务的开发效率。

6、实时监控预警

采用数据可视化模式实时输出工具、任务、数据等运行情况,同时采用智能算法对实时运行日志、历史运行日志计算分析工具运行、任务、数据等进行监测。

7、分布式调度

平台提供分布式调度能力,通过集群服务器的增加可以即可快速提升并发任务数的并发能力。

8、微服务架构

平台采用SpringBoot、SpringCloud微服务架构体系开发,支持DockerK8S容器化部署,可以进行大规模的动态集群来提升任务并发数以及数据处理量。

9、数据库支持

平台目前已经支持主流的NOSQL和SQL数据库40+,后继我们将继续集成更多的数据库和链接组件。

三、部分客户案例

Restcloud ETL 致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定数据传输处理能力,以及繁杂业务下的数据同步解决方案。目前已经支持零售、制造、金融行业客户构建超过30000条数据管道,每日同步数据超过10亿条。在经过大规模的运行验证后推出社区版本,以下为部分应用客户:

返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
大家都在看
推荐阅读