如何提高爬虫爬取的速度
1.尽可能减少网站访问次数
单次爬虫的主要把时间消耗在 *** 请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。 之一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。
随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。
2.分布式爬虫
即便把各种法子都用尽了，单机单位时间内能爬的网页数仍是有限的，面对大量的网页页面队列，可计算的时间仍是很长，这种情况下就必须要用机器换时间了，这就是分布式爬虫。
之一步，分布式并不是爬虫的本质，也并不是必须的，对于互相独立、不存在通信的任务就可手动对任务分割，随后在多个机器上各自执行，减少每台机器的工作量，费时就会成倍减少。
例如有200W个网页页面待爬，可以用5台机器各自爬互不重复的40W个网页页面，相对来说单机费时就缩短了5倍。
可是如果存在着需要通信的状况，例如一个变动的待爬队列，每爬一次这个队列就会发生变化，即便分割任务也就有交叉重复，因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式，一个Master存储队列，其他多个Slave各自来取，这样共享一个队列，取的情况下互斥也不会重复爬取。IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。含有240＋国家地区的ip，支持API批量使用，支持多线程高并发使用。
爬虫究竟是合法还是违法的
我们可以这幺理解：爬虫是用来批量获得网页上的 *** 息的，也就是前端显示的数据信息。因此，既然本身就是 *** 息，其实就像浏览器一样，浏览器解析并显示了页面内容，爬虫也是一样，只不过爬虫会批量下载而已，所以是合法的。不合法的情况就是配合爬虫，利用黑客技术攻击网站后台，窃取后台数据（比如用户数据等）。
爬虫可以做什么
问题一：python *** 爬虫可以干啥 爬虫可以抓取 *** 上的数据啊。爬虫可以用很多种编程语言实现，python只是一种。所以你想知道的是 *** 爬虫可以干什么。
他比如证券交易数据，天气数据，网站用户数据，图片。
拿到这些数据之后你就可以做下一步工作了。
你去看看这里就明白了。baike.baidu/view/284853
问题二： *** 爬虫都能做什么？ *** 爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.
当人们在 *** 上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的. *** 爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比百度好,就是因为它的 *** 爬虫程序高效,编程结构好.
问题三：能利用爬虫技术做到哪些很酷很有趣很有用的事情 譬如种子搜索，网盘搜索，铁路订票搜索
问题四：能利用爬虫技术做到哪些很酷很有趣很有用的事情 最常见就是模拟登录。。最近在研究的。延伸下去可以攻击，并发攻击，不过一般大型的网站都有防爬虫，难就难在要做反防爬虫
问题五： *** 爬虫程序可以做些什么 对网站进行爬行，爬行后根据合理的情况抓取和收录网站
问题六：利用爬虫技术能做到哪些很酷很有趣很有用的事情 对于一些学生来说，如果想要找数据分析和数据挖掘方面的岗位，可以通过集搜客将这些信息爬下来，比如说拉勾网，顺手分析下各个城市的岗位需求和薪资待遇什么的，既能够练练分析能力，又可以找到心仪的岗位。
知乎社区的用户信息分析。
喜欢电影的人，将豆瓣电影的评分爬下来，然后就不愁没电影看了。
问题七：利用爬虫技术能做到哪些很酷很有趣很有用的事情 这种问题典型的某乎的问题啊！但是爪机不方便公式发图了，只好简单说了。
爬虫就是你在浏览器上所见的都可以用程序给你搜集下来，而且运用远大于人脑的速度筛选出重要的信息，以便进行进一步的分析。
说到酷和有趣，你觉得一个指尖飞舞的键盘侠酷不酷。而你绝对没经历过，比跟防爬虫的工程师对弈更有趣的事。
要说到有用，想开点吧，学第二类曲线积分有用吗？
问题八：爬虫可以做哪些有趣的事情，欢迎讨论 用爬虫可以采集很多数据，做一些统计，比如我之前用前嗅的ForeSpider采集软件采了豆瓣的影评，然后经过这个软件对应的数据分析系统，就给我将数据全都进行分析处理，得出了一份报告，我就能知道这一年那些电影评分高，等等。
问题九：喜欢爬虫类能做什么工作 最多把它当成业余爱好吧 在国内限制很多的 爬虫店自己想弄的话 有些东西很难的
建议养点非保护的 蛇类 或其他爬虫 或者去林业办理一个 野生动物驯养许可 就可以肆无忌惮的养了 只要你不作死
问题十：python爬虫可以用来做什么 所说所有的变量都是对象。 对象在python里，其实是一个指针，指向一个数据结构，数据结构里有属性，有 *** 。
对象通常就是指变量。从面向对象OO的概念来讲，对象是类的一个实例。在python里很简单，对象就是变量。
class A:
myname=class a
上面就是一个类。不是对象
a=A()
这里变量a就是一个对象。
它有一个属性（类属性），myname，你可以显示出来
print a.myname
所以，你看到一个变量后面跟点一个小数点。那么小数点后面
0条大神的评论