有时候,我们很想爬取一个网站的数据。如果 PC 端的网页的反爬机制太强,我们可以换个思路。现在很多网站为了满足手机浏览器能正常访问的需求,都会推出手机版的网页。PC 端抓取数据有难度,我们可以从手机端入手。

你也许听说过,抓取手机 App 端数据就需要搭建手机抓包环境。那么我们就要屁颠屁颠去抓包搭建?哈哈,显然不用。我给大家分享一个小技巧,可以节省搭建环境的时间。

我们的抓取目标是 Web 手机端页面数据,而不是 App 端内的数据。因此,我们只要使用 PC 浏览器访问手机 Web 页面,就能继续使用 PC 浏览器进行抓包分析。

举个栗子,假如我要抓取淘宝首页的数据。我先用手机浏览器访问淘宝网站。

然后获取到手机端淘宝首页的 url 地址。

从图中,我们可知淘宝 web 手机端首页地址是:https://h5.m.taobao.com/。接着我们再用 PC 浏览器访问。

PC 端浏览器能正常访问,说明我们能使用浏览器自带的开发者工具来进行抓包分析。

评论