数据
什么是数据
数据存储了采集器与定时任务执行后采集到的具体数据内容,包括从图像、键值对到结构化输出的所有数据格式。
数据存储类型
平台支持3种类型的数据结构存储,,可通过数据快速访问
- 数据集
存储网络抓取和数据处理的结果,每个采集器运行都会获得一个唯一的数据集。功能包括表格式数据可视化和多种导出格式(例如 JSON 和 CSV)。
- 键值对
存储各种数据类型,如JSON、图像、视频、字符串等。可通过平台访问,满足各种数据存储需求。
- 采集队列
管理采集器和任务爬取的URL列表,可查看具体采集与解析到的URL地址,明确采集爬取结果。
Last modified: 16 十月 2024