自助式可视化开发,ETLCloud的集成之路

[复制链接]
 楼主| ETLCloud 发表于 2023-12-13 15:29 | 显示全部楼层 |阅读模式
本帖最后由 cooldog123pp 于 2024-1-28 11:18 编辑

自助式可视化开发自助式可视化开发是指利用可视化工具和平台,使非技术人员能够自主创建、定制和部署数据分析和应用程序的过程。
传统上,数据分析和应用程序开发需要专业的编程和开发技能。但是,自助式可视化开发工具的出现,使非技术人员也能够通过简单的拖拽、配置和设置来创建表、报告、可视化分析等应用程序。这些工具提供了可视化的界面和预配置的组件,使用户能够直观地理解和操作数据。用户只需通过拖拽和选择来定义数据源、数据处理和可视化呈现方式,而无需编写复杂的代码。
自助式可视化开发工具还提供了数据连接、数据清洗、数据转换和汇总、图表和图形模板、自动化和协作等功能,帮助用户快速构建定制化的数据分析和应用程序,减少了对开发人员的依赖,并提高了业务人员的自主性和效率。其主要核心是降低学习成本,让非技术人员也能够快速上手。

如何实现?
用ETLCloud来演示一个简单的数据抽取、转换、和数据加载的流程。
总体流程如下图所示,我们先从数据库中读取出数据,然后将数据过滤之后再发给指定的API接口。其实也可以输出给其他数据库等待,功能比较多,这里就先拿这个例子做演示了。
4c4c0016fc5bb5a41b1e96febf7d4df5
1.先配置数据源,后面库表输入组件需要使用到,如果已经配置就可以跳过这一步了
daee183a12268b0460d9b6e56a28732b
724338454df82d5e5114f8bbaed43453
86c2fe12ebd0ccbe50b7b9bf2cf993b3
a60876c4496f7ec567eafc5cbebf81aa
2.选择库表输入组件(返回首页-->进入离线数据集成-->进入自己的应用,没有的话要自己建一个应用-->选择数据集成流程-->新建一个流程,就可以看到下面的画面了)
将组件拉出,然后进行配置
a0bc8976a267f48c2a15fb0705f6c182
基本配置(数据源要先配置,在首页的数据源管理里面,可自行选择数据源配置内容)
af57afc178c6ec12d5ac0f2655526347
b2c5e2e94a1cfc1234f5af21a88e196c
3114e17bd481f795df652ea3e179191b
3.SQL语句
平台自动生成,或根据需求填写
73a5e9baae9ce8a3aaa889bef403e4f4
4.输入字段
c21e524d9edd7cef7983d8978649b8c8
其中的规则绑定有几种平台默认的,规则也可以自己去配置
2836c475a5df315cbe59bdc3c43d5deb
5.其他配置,在这边的配置项里可以对组件进行进一步配置
938530301542814ebfe85e618200a4c9
51e3cf69ffb7c6294ddfec5ca98c913a
d88925096b1e34983d541771347abaf4
6.数据过滤器组件配置
f47866f31a2ed02c9b5efaa8ed52b996
9a87feb10da547fcfda1e96da35ba3b9
然后是API输出组件
fbc9dfb9e4483728808c50b065ba2720
7.输出数据设置,这个我会在后面展示这几种不一样的地方
4df72543f13701780614771e47cc3bd3
8.Hearder头设置,设置一些字符编码啊、token什么的可以在这里设置
fe98e49fcf13b1a48be1eff02e6b477a
9.API的其他配置,这里主要来说一下这个测试,其他的跟之前展示的差不多
85bb9d0635a2e3d11509a60ea96af6f2
800bd5a7b9a4f3a4f373fb3ddde5076f
这是在idea控制台打印出来的
75a45c0605d104f67cca94731a1f8adc
10.运行流程看看结果
4b0342f25fd1f9638dee92186bb0aa0c
这边过滤了一条数据,符合我们的预期
45ae0671f3d9c2534da4bfa64f624792
有的人在想API怎么只输出一条数据呢?我们可以看看上方的日志,就知道原因了。
6f03d9f75acaa311de3f9cda1e839f8f
其实就是把数据放在一个data里面然后返回来了。
后端的输出。
253344da084b01d333b1ce3302cc70aa
我们来看看之前说的那几种输出有什么不一样的
8a54a6b97cda70f293943575b985face
我们先说说最后面那个自定义JSON字符串
cd72fd6fadb9e981ef11d073bc5645f3
我是使用了JSON数组,所以点击下发的JSON数组实例,平台就会给一段实例代码给我们。其中的JSON对象根据需求改就好了。它的数据全部放在data里,所以一个循环就读取到了所有数据。下面是我的idea的输出
57b4e4722665b183afa975aa4a631ca9
我们再添加俩平常经常用的俩JSON对象,看看有啥不一样
271f5c6ae76fc6ee599f2e134860c88c
输出
13a24a38688767255cff26282a7140f0
其他两种,我就直接展示结果了。结果比较明显,第二张就是将平台的一些参数也传给了后端
f0886d6181aae375f9c3e805cf72ef50

总结
ETLCloud能实现自助式可视化的组件有很多,本篇简单库表输入组件、数据过滤组件、调用API组件,如果想实现更多不同的数据处理方式,大家可以多去尝试,利用好ETLCloud能够简化数据处理流程,提高工作效率,使非技术人员也能轻松进行数据处理和分析!
86fcdf50ff80a4cfa72dbd7d5a3c0289

您需要登录后才可以回帖 登录 | 注册

本版积分规则

216

主题

216

帖子

0

粉丝
快速回复 在线客服 返回列表 返回顶部