在《论语》中，孔子提倡“学而不思则罔，思而不学则殆”的学习方法。我们再往深层面挖掘，“思”究竟是在思考什么？个人理解是思考并总结出一些共性的东西，即“套路”。有套路了，我们学习或工作会更加有效率。当我们爬取不同的网站是，每个网站页面的实现方式各不相同，我们需要对每个网站都进行分析。那是否有一些通用的分析方法？我分享下自己爬取分析的“套路”。在某个网站上，分……继续阅读 » 猴哥 3年前 (2018-11-25) 167浏览 0评论0个赞
智能手机的普及，这使得移动互联网成为另一个流量巨头。越来越多的公司也会转而直接提供 App 来展示内容。例如微信以及其生态（微信公众号、小程序）、抖音等。这也说明人们对于手机的依赖心更强。那抓取 App 的数据显得更加有意义。本文的主要内容是讲述如何搭建手机抓包环境。1.工具准备1）一台电脑最好是笔记本电脑，因为笔记本电脑内置了无限网卡。如果你使用的台……继续阅读 » 猴哥 3年前 (2018-07-29) 118浏览 0评论0个赞
有时候，我们很想爬取一个网站的数据。如果 PC 端的网页的反爬机制太强，我们可以换个思路。现在很多网站为了满足手机浏览器能正常访问的需求，都会推出手机版的网页。PC 端抓取数据有难度，我们可以从手机端入手。你也许听说过，抓取手机 App 端数据就需要搭建手机抓包环境。那么我们就要屁颠屁颠去抓包搭建？哈哈，显然不用。我给大家分享一个小技巧，可以节省搭建环境的……继续阅读 » 猴哥 3年前 (2018-07-17) 119浏览 0评论0个赞
如今的时代是互联网时代，互联网已经在我们的生活如影随形。可以说我们无时无刻在跟互联网打交道。而在工作，我们可能会因开发调试、测试、排查网络故障等原因，需要对网路数据包进行抓取、拦截以解析。因此，本文主要内容是推荐几款不错的抓包工具。1.FiddlerFiddler 是一个使用 C# 编写的 http 抓包工具。它使用灵活，功能强大，支持众多的 http ……继续阅读 » 猴哥 3年前 (2018-07-02) 120浏览 0评论0个赞
