在《论语》中,孔子提倡“学而不思则罔,思而不学则殆”的学习方法。我们再往深层面挖掘,“思”究竟是在思考什么?个人理解是思考并总结出一些共性的东西,即“套路”。有套路了,我们学习或工作会更加有效率。
当我们爬取不同的网站是,每个网站页面的实现方式各不相同,我们需要对每个网站都进行分析。那是否有一些通用的分析方法?我分享下自己爬取分析的“套路”。在某个网站上,分……继续阅读 »
猴哥
4年前 (2018-11-25) 373浏览 0评论
1个赞
智能手机的普及,这使得移动互联网成为另一个流量巨头。越来越多的公司也会转而直接提供 App 来展示内容。例如微信以及其生态(微信公众号、小程序)、抖音等。这也说明人们对于手机的依赖心更强。那抓取 App 的数据显得更加有意义。本文的主要内容是讲述如何搭建手机抓包环境。
1.工具准备
1)一台电脑
最好是笔记本电脑,因为笔记本电脑内置了无限网卡。如果你使用的台……继续阅读 »
猴哥
4年前 (2018-07-29) 255浏览 0评论
2个赞
有时候,我们很想爬取一个网站的数据。如果 PC 端的网页的反爬机制太强,我们可以换个思路。现在很多网站为了满足手机浏览器能正常访问的需求,都会推出手机版的网页。PC 端抓取数据有难度,我们可以从手机端入手。
你也许听说过,抓取手机 App 端数据就需要搭建手机抓包环境。那么我们就要屁颠屁颠去抓包搭建?哈哈,显然不用。我给大家分享一个小技巧,可以节省搭建环境的……继续阅读 »
猴哥
4年前 (2018-07-17) 259浏览 0评论
0个赞
如今的时代是互联网时代,互联网已经在我们的生活如影随形。可以说我们无时无刻在跟互联网打交道。而在工作,我们可能会因开发调试、测试、排查网络故障等原因,需要对网路数据包进行抓取、拦截以解析。因此,本文主要内容是推荐几款不错的抓包工具。
1.Fiddler
Fiddler 是一个使用 C# 编写的 http 抓包工具。它使用灵活,功能强大,支持众多的 http ……继续阅读 »
猴哥
4年前 (2018-07-02) 260浏览 0评论
0个赞