自学Python:网络爬虫引发的三个问题

1、爬个别特定网站，不一定得用python写爬虫，多数情况wget一条命令多数网站就能爬的不错，真的玩到自己写爬虫了，最终遇到的无非是如何做大做壮，怎么做分布式爬虫。

2、Connection： 表示是否需要持久连接。

3、其中的原因只有一个，就是编码的思路没有转变。转变Python编码思路的唯一一个方法就是实战。

4、不过我怀疑还是bing自己网站的特殊问题。你换个网站，比如baidu试一下。另外requests的用法，我建议用Request对象。这样可以在发出之前修改头，也可以拿到response后直接用BeautifulSoup进行解析。