爬虫初学者，具备Python基础和前端相关知识
win10操作系统
Python解释器3.8
集成开发环境PyCharm
PyCharm 是一款功能强大的 Python 编辑器。
professional 表示专业版，community 是社区版，推荐安装社区版，因为是免费使用的。
具体安装步骤，在此不做赘述：若有需要安装包激活码的可以点下方
👉CSDN大礼包🎁：全网最全《Pycharm安装包激活码》免费赠送🆓！（安全链接，放心点击）
学习爬虫思想和方式
①用户生产数据
譬如，百度指数
index.baidu.com/v2/main/ind…
②政府统计的数据
譬如，中国政府网
www.gov.cn/shuju/chaxu…
③数据管理公司
譬如：聚合数据
www.juhe.cn
④自己爬取的数据
爬取数据，自己做数据分析
①数据分析
数据分析，提供有力的证据。
②智能产品练习数据
譬如，机器学习，图片识别。需要很多图片练习，才能像人一样去识别。
使用编程语言，所编写的一个用于爬取web或app数据的应用程序。
详情请见，百度百科：
baike.baidu.com/item/%E7%BD…
譬如：百度快照，后台程序从Internet上爬取数据，保存在自己的服务器上。百度后台在不断抓取这样的数据。
还有，抢票软件的后台应用。
①找到要爬取的目标网站，发起请求
②分析URL是如何变化的和提取有用的URL
③提取有用的数据
爬虫是否违法，取决于爬取什么样的数据。爬取公共数据是可以的，不要去触碰私人的数据。
爬取数据的时候，需要遵守Robots协议。
譬如，百度的Robots协议
www.baidu.com/robots.txt
网站内容的所有者是网站管理员，搜索引擎应该尊重所有者的意愿，为了满足以上等等，就需要提供一种网站和爬虫进行沟通的途径，给网站管理员表达自己意愿的机会。有需求就有供应，robots协议 就此诞生。
①通用网络爬虫
下载整个互联网上的资源，譬如各大搜索引擎。
百度，Google等搜索引擎，从一些初识的URL扩展到整个网站。
主要为门户站点搜索引擎和大型网站服务采集数据
②聚焦网络爬虫（主题网络爬虫）
又称主题网络爬虫，选择性地爬行，根据需求的主题相关页面的网络爬虫
③增量式网络爬虫
对已下载网页采取增量式更新知识和只爬行新产生或者已经发生变化的网页爬虫
④深层网络爬虫
大部分内容不能通过静态的URL获取，隐藏在搜索表单后的，只有用户提交一些关键词才能获取的网络页面。
①通用网络爬虫的原理
②聚焦网络爬虫的原理
PHP是世界上最好的语言，但他天生不是做这爬虫的材料，因为它对多线程，异步支持的不是很好，
并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
运行效率是无敌的。但是学习和开发成本高。写个小爬虫查询可能要大半天时间。
语法优美，代码简洁，开发效率高，支持的模块多。Python胶水语言的特性。
相关的HTTP请求模块和HTML解析模块非常丰富。
还有scrapy和scrapy-redis框架让我们开发爬虫变量异常简单。
感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。
👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了，安装就可直接上手！
三、最新Python学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、面试宝典
👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）