轻易云数据集成平台是一款企业级集成中间件,其主要运行原理如下:
一、请求调度
- 定时计划自动激活调度者,根据元数据配置生成API请求任务,通过AsynSourceJobStorage类将任务存入MongoDB任务表并排队执行。
- 进程守护执行源平台请求任务,发送API请求并获取原始数据。
- 获取原始数据后,根据元数据配置进行基础加工,加工后的数据逐行通过DataStorage写入MongoDB数据表,此时数据处于待处理状态。
- 特殊情况下,可能需要先后调用两个接口获取数据,例如先通过fetch_list获取列表数据的ID主键,再通过get_detail获取对象的数据明细。
- 可使用$this->adapter->getLogStorage()->insertOne记录日志。
二、写入调度
- 定时的写入调度者从MongoDB data表获取待处理数据,根据元数据配置加工为目标系统接口接收的数据格式,创建写入API任务,通过AsynTargetJobStorage类将任务写入MongoDB任务表并排队执行,同时将数据标记为队列中。
- 进程守护执行目标平台写入任务,发送API请求向目标系统写入。
- 写入完成后,根据返回结果标记数据为’完成/错误’。
数据加工厂是用户可以自定义脚本代码,嵌入到某个环节的功能。源平台加工厂包括队列生成后、队列调用前、队列调用后、数据写入后、响应错误后等环节;目标平台加工厂包括队列调度前、接管拉取数据方法、拉取数据后、队列生成后、队列执行前、队列执行后、队列执行成功后、队列执行失败后等环节。