八爪鱼采集入门到熟练——01写规则前的准备工作

本文将开始采集的一些必要知识做讲解,有些太偏基础的或者网上有很现成的教学的,我会提供链接。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

一、什么是网页数据采集?能采集什么?能解决什么问题? 本文来自小莫扎特博客www.plusminustsuchi.com 提供

1,网页数据采集的概念 本文来自小莫扎特博客www.plusminustsuchi.com 提供

顾名思义,就是通过从网页中采集数据。你在浏览器中看到的都是网页,也叫页面,上面的每一个文字,每一个数字,都可以称之为数据。网页数据采集就是系统化提取网页上面的字符,从而得到有用的数据。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

有些小白中的小白问八爪鱼能采集什么东西,这是个忧伤的问题,任何一个网页中你能看到的字符都可以尽量想办法采集到。看不到的,只要出现在源代码中的,也可以尽量想办法采集到。八爪鱼只是采集工具,数据源头需要自己找,不要把八爪鱼想成自动贩卖机,想要什么点一下就行,没那么容易的事情。先找到数据源页面才是重点,所以不要问以下的白痴问题: 本文来自小莫扎特博客www.plusminustsuchi.com 提供

问:八爪鱼能采集所有北京饭馆信息么? 本文来自小莫扎特博客www.plusminustsuchi.com 提供

答:

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

应该是这样考虑问题:所有北京饭馆信息哪里可以找到?大众点评-选择北京-选择餐饮应该有很多这种信息,全部的信息是很难的,但是大众点评的信息数量很多,基本可以涵盖我的需求。所以问题直接变更为:八爪鱼能否采集大众点评上的北京地区,美食商家信息? 答案当然是可以的。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

2,网页数据采集结果是什么样子

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

八爪鱼能采集的数据非常好理解,就把它当做是个简化的excel表格便可。八爪鱼作为采集器只是提取网页中的字符串信息,通过循环采集,最终得到的就是一张表,和excel不同的是,这个表里只有文字,没有图片和其他东西。所有的数据都会存到一张表格里。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

3,网页数据采集主要作用,解决什么问题

本文来自小莫扎特博客www.plusminustsuchi.com 提供

就像刚才说的需求那样,可能你需要所有北京地区饭馆的商家信息。做什么用?可能你想给这些商家打电话推销你的产品信息,也可能你只是需要统计你周边的竞争对手,或者只是你老板的突发奇想非让你搜集这些数据,又或者是这是你的大学毕业论文课题所需要的数据。数据的需求是多种多样的,但是都是一个流程:输入(数据来源)-采集(八爪鱼)-加工(数据清洗)-输出(最终用途)。数据不是万能的,但是数据的最终用途是由你来决定的。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

二、八爪鱼采集器是什么?采集原理是什么?

本文来自小莫扎特博客www.plusminustsuchi.com 提供

1,八爪鱼采集工具介绍

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

八爪鱼官网:http://www.bazhuayu.com/

本文来自小莫扎特博客www.plusminustsuchi.com 提供

八爪鱼是一个工具、程序、软件,它把数据采集的繁琐性工作简化为自动化执行,从而解决大批量数据采集的问题。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

它的下载和安装都是比较简单的,八爪鱼本身可以免费使用,免费版本基本操作都是ok的,但是只允许单机采集,并且导出数据的时候需要用积分。如果不想花太多钱,完全可以使用单机采集,积分导出的形式。云采集作为旗舰版配置,主要是解决采集速度慢的问题,这个之后再细讲。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

建议先好好看看八爪鱼入门手册:http://www.bazhuayu.com/doc-wf

本文来自小莫扎特博客www.plusminustsuchi.com 提供

八爪鱼的基本操作在本文中不做过多讲解,也许你会批斗我:这不是入门教学么?为什么不讲? 对此我只能说,八爪鱼官网的教学视频很直白,软件操作入门上手难度也很低,预期我费劲讲这些基本操作,不如通过举例子来讲解来得快。而且你又没给我钱,八爪鱼也没给我钱,我干嘛讲那么细呢?是不是。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

2,八爪鱼的采集原理 本文来自小莫扎特博客www.plusminustsuchi.com 提供

八爪鱼采集原理可以简单地理解为,模拟用户访问某个页面,从页面源代码中提取想要的信息。一切的一切都基于模拟用户访问和用户操作,这就是八爪鱼的核心——“模拟”。这个核心决定了很多问题,详细的可以看我写的其他文章《市面主流采集工具对比和个人感受》。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

注:是的,你找不到这篇文章文章,为什么?因为我还没写,哈哈哈……(抱歉这只是临时的,因为没写完所以没更新链接)但是我在知乎的回答中有一些说明,可以点击这里查看本文来自小莫扎特博客www.plusminustsuchi.com 提供

三、采集之前你需要知道的事情 本文来自小莫扎特博客www.plusminustsuchi.com 提供

1,什么是网页、HTML、源代码 本文来自小莫扎特博客www.plusminustsuchi.com 提供

网页本身并不是直接显示在那里的,你看到的页面是经过渲染才显示出来的。举个傻点的例子,就像是你看到一个面包,但是你看不到这面包里面的面粉、鸡蛋、添加剂,你只看到了一个通过将原材料加工之后的成品。这就是它们之间的关系,源代码是原材料,通常的网页都是基于HTML语言编写的源代码,通过你的浏览器,也就是IE、chrome、火狐之类的,进行解析、渲染之后得到的可视化页面。这部分不理解的朋友自行百度,这里不过多阐述。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

2,看源代码为什么很重要?

本文来自小莫扎特博客www.plusminustsuchi.com 提供

由于你在浏览器中看到的页面是经过“处理”的,所以最真实的数据你并不一定能看到。源代码展现了这些数据,可能你以为无法提取的数据,实际上从源代码中可以看到并提取出来。而且八爪鱼的工作机制就是从源代码中提取数据。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

3,Xpath是什么,为什么很重要

本文来自小莫扎特博客www.plusminustsuchi.com 提供

XPath 是一门在XML 文档中查找信息的语言。XPath 可用来在XML 文档中对元素和属性进行遍历。这里大家别管xml是什么,html也是一种文档,xpath支持在里面定位元素和查找属性信息。定位元素的元素指的是什么呢?大家先看看HTML的代码例子:

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

最开始接触的人肯定看着觉得头晕脑胀的,没办法,没接触过编程的人肯定觉得干嘛什么都代码化。但是现实就是如此,代码化的东西再可视化才能实现机器和人类的交互。HTML是树形结构,一个元素下面嵌套很多别的元素,理论上是无限制的嵌套。比如: 本文来自小莫扎特博客www.plusminustsuchi.com 提供

1

本文来自小莫扎特博客www.plusminustsuchi.com 提供

1.1 本文来自小莫扎特博客www.plusminustsuchi.com 提供

1.1.1

本文来自小莫扎特博客www.plusminustsuchi.com 提供

2 本文来自小莫扎特博客www.plusminustsuchi.com 提供

2.1 本文来自小莫扎特博客www.plusminustsuchi.com 提供

2.1.1 本文来自小莫扎特博客www.plusminustsuchi.com 提供

等等等等……每一个都是一个元素,元素有自己的属性(进入新页面、触发操作、提交表单等),定位到了元素,就可以提取属性或者文本,从而精准提取我们需要的数据。别把它理解烦琐了,就想象成目录一样,通过xpath代码可以定位到具体某一章节的某一子节里一样。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

Xpath之所以非常重要,就是因为八爪鱼的一切定位和规则细节,全部依赖于xpath,所以xpath不掌握,是不可能用好八爪鱼的。具体的xpath教程,还是建议参考W3SCHOOL网站的,别怕枯燥,迎难而上才能突破自我:点击这里

本文来自小莫扎特博客www.plusminustsuchi.com 提供

当然,也别太担心,之后有很多套路会教给大家,用xpath套路解决问题也会容易许多。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

4,需要准备的软件

本文来自小莫扎特博客www.plusminustsuchi.com 提供

首先,你需要一个浏览器,大家肯定会很激动的说,这玩意我有一大堆!我们不需要其他的,八爪鱼的内核是火狐浏览器,所以最保险的流程,就是安装一个火狐浏览器。接下来就是套路时间,请自行在网上寻找或者在火狐浏览器内下载和安装两个插件:

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

分别是Firebug和Firepath,它们的作用就是提供方便的xpath定位和检查功能。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

顺利安装完以后,我们进入随便一个网上的网页,点击F12快捷键就可以进入开发者操作区。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

注意看我的截图,要先点击下方的firepath选项卡之后才能进入firepath操作界面,在这个界面里,先点击左侧的小按钮,然后再点击页面上你想提取的数据位置,就可以查看源代码信息并且自动生成该元素的xpath代码。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

 
 

有了这个工具辅助,八爪鱼可以更精准的实现循环、定位元素,解决很多人莫名其妙的数据漏采、丢失、采集中断等问题。 本文来自小莫扎特博客www.plusminustsuchi.com 提供

有人会问,为什么不用IE、谷歌、QQ浏览器、傲游浏览器、搜狗浏览器? 本文来自小莫扎特博客www.plusminustsuchi.com 提供

很简单,一句话,八爪鱼里面的浏览器是火狐内核……所以只有火狐看到的是最一致的。而且firepath还挺好用的,谷歌上我还没找到和它完全一样的插件,有个比较好用的谷歌插件叫xpath helper,大家也可以试试看。

本文来自小莫扎特博客www.plusminustsuchi.com 提供

四、来开始采集吧! 本文来自小莫扎特博客www.plusminustsuchi.com 提供

如果你以为在本文我就会开始采集,那你就大错特错了!这就是套路,我怎么会在一篇文章中写那么多呢?你又不给我稿费……以上都是准备工作,下一篇文章中,我会以一些网站做一些案例来讲采集的流程。我的原则是,不以繁琐的基础教程来入门,直接以入门实战的方法去讲,其中一些细节和经验可以通过举一反三的形式扩展到更多的案例中,从而避免脑袋大,建立信心! 本文来自小莫扎特博客www.plusminustsuchi.com 提供

内容版权声明:以上内容均为转载,如有侵犯原作者请联系删除!