网络爬虫是一个比较复杂的话题，因为这当中牵涉到不少东西，爬虫的构成也不是那么简单能够解决的。

　　网络爬虫会受到很多因素的影响，其中ip是比较关键的一环。因为不少网站都会有对ip访问次数有一个阈值，如果你的ip超出了极限，那么这个ip就无法继续正常访问网站信息。

　　要想继续正常访问，那么就需要用一个新ip来访问，代理ip软件能够帮你快速更改ip。除了换ip，网站反爬策略也需要注意。

　　反爬策略不可能杀死所有的用户，所以爬虫也需要模仿真实用户访问行为，避免被杀。比如降低访问频率，访问一个网页后休眠几秒钟，随机休眠等等。反爬策略问题是老生常谈的问题，也是让用户头疼的问题，因为反爬策略会不断的升级，这就需要爬虫策略也要跟着不断的升级，才能可持续的工作。

　　换ip加上反爬策略的了解，这样我们才可以更好的来解决网站数据抓取工作。