电脑软件
名称:章鱼收集器
大小:20MB版本:1.0类别:实用语言:中文
应用程序:windows
一般来说,从网页中收集数据有几种常见的方式,比如手工复制:适合于少量数据的收集;软件开发:适合有技术R&D实力和资源的大公司,采集器:适合需要采集大量数据的中小客户。先搞清楚自己需要什么样的数据,再看自己适合用什么方式去做。如果确定collector合适,就要花点时间研究怎么用。长话短说,让我们来看看如何使用octopus collector来收集web数据。
创建一个新的采集任务,如果你要采集某个网站的某类数据,其实就是配置一个任务,当你执行这个任务的时候,你会根据设置采集相应的数据。
设置任务的基本信息。基本信息主要是一个任务分组,用来管理多个任务,使用方便。另外,任务的名字,然后还有备注记录任务的一些描述。当有许多任务时,此信息非常有用。
最关键的一步是设定收款流程,这是最重要的一步。根据需要的收集顺序,将收集分为几个步骤,然后每个步骤对应一个收集动作。收集步骤通过将它们结合起来而形成。如果显示的话,就是收集一个页面的过程。首先打开此页面,然后提取此页面上的数据。
配置执行计划,有的数据一天收集一次,有的一天收集几次,所以针对不同的任务设置不同的计划。该任务不需要定期执行,因此选择手动,并保存执行计划。
至此,基本配置就算完成了,接下来就是测试流程是否正确。如果是,您可以启动任务并收集数据。如果不是,就回去修改每一步的配置问题,然后继续测试。最终测试完成后,您就可以收集数据了。