重复数据概述未拍扁数据：源平台的相同单据编号或ID数据视为重复。已拍扁数据：明细行ID相同的数据视为重复。产生原因主键设置错误时间参数重叠：请求调度者未正确设置时间参数，导致重复请求覆盖前一次请求的数据。主键字段缺失：源数据返回无主键字段时，使用随机数替代，引发数据重复。基于时间变量的主键：将时间变量作为主键，易造成数据重复。主键包含随机数：主键拼接随机数，增加数据重复风险。解决方案清理重复数据：首先清除数据管理中的重复数据。优化主键设置：修改请求调度者的主键参数设置，确保主键的唯一性和准确性。调整参数范围：重新设定参数范围，避免时间参数重叠，重新生成请求队列以准确抓取数据。

重复数据的定义没有拍扁明细时，重复数据是指源平台获取的相同单据编号或ID的数据。在拍扁明细后，重复数据则指明细行ID相同的数据。产生重复数据的主要原因：错误的主键设置以下情况下容易产生重复数据：时间参数未过滤：请求调度者重复请求源平台的数据，通常是因为时间轮询条件覆盖了上一个请求队列的部分范围，或没有对时间参数进行过滤。主键设置不准确：请求源平台后返回的数据中不存在主键指定的字段，这时会用随机数代替主键字段，导致数据重复。主键设置为源平台数据中的变量（如时间变量），导致数据重复。主键设置拼接了随机数，导致数据重复。

数据管理里出现了大量的重复数据

丁仪_Qesay

重复数据的定义

没有拍扁明细时，重复数据是指源平台获取的相同单据编号或ID的数据。
在拍扁明细后，重复数据则指明细行ID相同的数据。

产生重复数据的主要原因：错误的主键设置

以下情况下容易产生重复数据：

时间参数未过滤：请求调度者重复请求源平台的数据，通常是因为时间轮询条件覆盖了上一个请求队列的部分范围，或没有对时间参数进行过滤。
主键设置不准确：
- 请求源平台后返回的数据中不存在主键指定的字段，这时会用随机数代替主键字段，导致数据重复。
- 主键设置为源平台数据中的变量（如时间变量），导致数据重复。
- 主键设置拼接了随机数，导致数据重复。