介绍视频
轻易云数据集成平台是一个全异步、支持多种异构系统集成的平台,能够实现不同系统间数据的无缝对接。数据集成过程包含两个主要阶段:数据请求与清洗、以及数据转换和写入。
数据请求与清洗
- 请求调度者负责定时拉取数据,通过配置定时任务自动生成请求,这些请求会被存储在MongoDB的
AsynSourceJobStorage
,等待处理。
- 当任务在请求队列池中激活时,系统将调用适配器执行任务,拉取数据。
- 拉取的数据会根据预设的元数据配置进行加工和清洗。
- 清洗后的数据保存在MongoDB的
DataStorage
,标记为待处理状态。
- 此外,外部系统可以通过轻易云开放的API直接向集成方案写入数据,实现被动数据接收。
数据转换与写入
- 写入调度者通过定时任务检查MongoDB中标记为【等待中】的数据,准备进行转换。
- 数据会根据配置逐笔或批量转换,以适配目标系统格式。
- 转换后的数据进入
AsynTargetJobStorage
的写入队列池,等待写入目标系统。
- 写入过程中,目标平台的响应状态和内容会被记录回
AsynTargetJobStorage
和DataStorage
。
- 若写入过程遇到异常,系统将重新排队尝试写入。
总的来说,轻易云数据集成平台通过异步调度和多阶段处理,高效地实现了不同系统间的数据集成,同时提供了灵活的配置和错误处理机制,保证了数据传输的稳定性和可靠性。