数据
什么是数据
数据存储了采集器与定时任务执行后采集到的具体数据内容,包括从图像、键值对到结构化输出的所有数据格式。
数据存储默认保留7天,过期的数据会自动清除。
数据存储类型
平台支持3种类型的数据结构存储,,可通过数据快速访问
数据集
: 存储网络抓取和数据处理的结果,每个采集器运行都会获得一个唯一的数据集。功能包括表格式数据可视化和多种导出格式(例如 JSON 和 CSV)。
键值对
: 存储各种数据类型,如JSON、图像、视频、字符串等。可通过平台访问,满足各种数据存储需求。
采集队列
: 管理采集器和任务爬取的URL列表,可查看具体采集与解析到的URL地址,明确采集爬取结果。