打印

如何使用ETLCloud调用WebService接口实时拉取数据到本地数库中

[复制链接]
186|1
手机看帖
扫描二维码
随时随地手机跟帖
跳转到指定楼层
楼主
本帖最后由 cooldog123pp 于 2023-9-30 10:48 编辑

企业里面有很多业务系统只能提供WebService接口如SAP等,还有一些SaaS系统也只提供WebService的接口如Workday等,对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中,使用ETLCloud工具只需简单两步即可完成上述数据的同步而且无需编码,现在来看下实现过程。
马上申请体验ETLCloud社区版https://www.etlcloud.cn
首先登录ETLCloud平台
使用ETL调用WebService接口实时拉取数据到本地数库中
打开一个应用或者新建一个应用均可,然后进入到流程列表中
使用ETL调用WebService接口实时拉取数据到本地数库中
创建一个WebService同步任务
使用ETL调用WebService接口实时拉取数据到本地数库中
从左则分别拉取一个WebSerivce节点和库表输出节点,目标节点我们选择mysql数据源
使用ETL调用WebService接口实时拉取数据到本地数库中
输入WebService的WSDL地址并在XML节点中指定读取返回的XML中的数据字段,这里我们将获取公网上的一个WebService接口,该流程示例在系统示例应用中有。
注意这个WebService有好几个方法,我们需要在节点的Header中的SoapAction中指定具体调用其中的那一个方法。
使用ETL调用WebService接口实时拉取数据到本地数库中
以上是这个WebSerivce的服务说明文档,我们调用他其中的一个方法获取区域以及编码数据然后传到mysql中进行存储。

使用ETL调用WebService接口实时拉取数据到本地数库中
输入参数的XML可以使用SoapUI工具进行解析然后复制进来即可,这样我们的WebService节点就配置完成了。
后面的MySql节点就比较容易了,可以提前先建好表,也可以由ETL任务自动创建表,我们这里选择由ETL工具自动建表并输出数据到mysql。
使用ETL调用WebService接口实时拉取数据到本地数库中
这里输入的表名,表不存在的话,系统会根据输入字段自动创建这张表
使用ETL调用WebService接口实时拉取数据到本地数库中
然后配置这张表要接收数据的字段,系统将根据此配置字段进行数据库表的创建。
使用ETL调用WebService接口实时拉取数据到本地数库中
输出选项中我们选择第一次执行时清空目标表,自动建表,逐条更新即可,配置完成后保存流程,即可以开始调试运行,现在我们来运行一下看看效果。
使用ETL调用WebService接口实时拉取数据到本地数库中
点击运行,选择单步调试,可以看到拉取的区域数据,并会存入到mysql中
使用ETL调用WebService接口实时拉取数据到本地数库中
在调试界面中我们可以看到拉取到了79条数据,再点下一步即可存入到mysql中
使用ETL调用WebService接口实时拉取数据到本地数库中
任务运行结果显示成功79条数据到mysql中,我们可以去mysql表中预览一下是不是把区域数据拉到mysql中了。
使用ETL调用WebService接口实时拉取数据到本地数库中
打开mysql客户端可以看到WebSerivce中的数据已经成功拉取到本地mysql中了,如果调试没有问题我们就可以给他安排一个定时任务,定时同步webservice中的数据到本地即可。
使用ETL调用WebService接口实时拉取数据到本地数库中
可以选择每天晚上同步一次或其他同步时间可以自定义同步频率
上面我们就通过ETLCloud简单两步配置即实现了WebService接口的数据拉取同步任务,可以说是非常简单
ETLCloud介绍
ETLCloud是一款零代码ETL工具,可以快速对接上百种数据源和应用系统,无需编码即可快速完成数据同步和传输,企业IT人员只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析。
ETLCloud可视化流程同步界面)

使用特权

评论回复

相关帖子

沙发
cooldog123pp| | 2023-9-30 10:36 | 只看该作者
感谢楼主的分享,讲的很详细,mark一下,**在以后的工作中能用到。

使用特权

评论回复
发新帖 我要提问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

105

主题

105

帖子

0

粉丝