与其他采集器

配置方法

选择连接其他采集器

选择需要连接的采集器，比如选择 RabbitMQ，可以将采集到的数据发送到 RabbitMQ 消息队列中去。

配置采集器。一是配置触发时机，二是配置连接的采集器的基本信息。

运行方式

如果采集器或者任务（称为父任务）配置了与其他采集器（称为子任务）的集成，当采集器或者任务运行结束（或者达到触发时机）时，会发起所集成的采集器的运行。

子任务的采集器能够通过 /payload目录共享到父任务的数据，并通过 PAYLOAD环境变量获取父任务的运行 ID、datasets id 等信息。

运行集成的标识：

开发自己的采集器集成

用户可以根据自身的需求来开发采集器集成。采集器集成的输入与输出与普通采集器一样，区别在于运行时的采集器集成可以获取到父任务的信息。

1、获取父任务的运行信息

通过环境变量PAYLOAD获取父任务的运行信息，PAYLOAD 是一个 json，格式如下：

通过解析此 json ，能够获取到父任务的 runId、datasetId、kvStoreId、requestQueueId 信息。

2、获取父任务的数据集

通过环境变量PAYLOAD_PATH获取父任务的数据集路径，一般情况下，父任务的数据集路径为 /payload。

3、读取父任务的数据

数据集

父任务的数据集（datasets）路径为：

通过读取 /payload/datasets/{datasetId}/__metadata__.json 获取数据集数据条数：

数据集的文件名是从 000000001 开始编号,位数固定：

键值对

父任务的键值对（kvStore）路径为：

采集队列

父任务的采集队列（requestQueueId）路径为：