躲避雪糕刺客?通过爬虫爬取雪糕价格

需求分析

夏天天气实在是太热了,热的让人不想动,只有一直呆在空调房里,才能带来一点点安慰。当然,也少不了吃雪糕

不过,现在的雪糕的价格也不便宜,比如说某爱多巧克力雪糕零售已经卖到5块钱了,我怎么记得以前才3块呢,总之呢,这个价格有点小贵。然而没想到的是,今天有一个小伙伴突然和我说,“仙草哥哥,今天我上当了,我在便利店拿了一支中雪糕,没想到,居然要收我16块钱!我被雪糕刺客袭击了!”

中雪糕?16块钱?哦天啊,我问他,“那这个这么贵,你怎么不放回去呢?这都可以吃3个多的某爱多了啊?“

小伙伴很无奈,”拿都拿了,已经要结账了,我不好意思放回去啊……”

唉,这恐怕就是死要面死活受罪吧,怎么办呢?有没有办法帮帮小伙伴,避免下次再拿到高价雪糕了呢?当然,已经有很多大佬做了秘籍,比如说进口的雪糕比较贵,带有某种巧克力的雪糕比较贵等等,不过这些规则太复杂了,不够直接,我们应该采取一个更快的办法,直接把雪糕的价格爬取下来,这样就能看出哪种雪糕的价格比较贵了

实现分析

这个需求不是很困难,就是爬取雪糕价格嘛,只要找到一家商店,然后将雪糕的名字和价格保存下来就可以了。我也是很容易就找到了一个目标,并且通过requests发送了请求

不出意外的话是又出意外了,那就是,怎么在请求里没有看到数据呢?就像这样

 可以看出,这个金钱符号的后边,应该就是价格了,可是这里却看不到价格,这可真是奇了怪了,价格哪里去了呢?明明在页面上有价格,怎么到了我们的requests里就没有价格了呢?这到底是怎么一回事呢?

好吧,那就只能找一找了,其实呢也不困难,如果我没猜错的话,我想我已经找到价格了

可以看出,价格就在这个请求里,上边有一个p就是价格,应该是price之类的吧,那这是什么呢?这是一个jquery文件,也就是说,雪糕的价格在页面里是通过jquery写进去的。在requests发送的基本请求中是看不到的

好吧,那就基本上确定了,不用想,今天又是得用selenium了。可能会有小伙伴非常不理解,不就是一个jquery文件吗,我们把这个文件爬取下来,然后解析不就行了吗,为什么非得用selenium呢?

这样想是没错,不过想根据页面确定对应的jquery文件,期间可能还需要经过一次加密参数的检验,想想也知道在这上面和它耗太费时间。如果没有什么特殊的需求的话,肯定是直接用selenium了,使用方法也很简单,打开一个浏览器,然后获取页面,通过driver.page_source获取页面的代码,就可以当作正常的requests请求获取到的响应使用了

完整代码演示

from selenium import webdriver
from lxml import etree
from base64 import b64decode

url = b64decode("aHR0cHM6Ly93d3cuamQuY29tL3BoYi8xMjIxODU1MTY0MzIxMmY1MDE5NTkuaHRtbA==").decode()

driver = webdriver.Chrome()

driver.get(url)

html = etree.HTML(driver.page_source)

driver.quit()

i_name = html.xpath("//div[@class='detail']/a/text()")
i_price = html.xpath("//span[@class='price-rmb']/text()")
i_comment = html.xpath("//div[@class='evaluate-detail']/a/text()")

text = ""

for i in range(len(i_name)):
	text += "名称:" + i_name[i] + "\n"
	text += "价格:" + i_price[i] + "元\n"
	text += "热评:" + i_comment[i] + "\n\n"

print(text)

 程序的运行结果如下所示


总的来说,如果你遇到了一个需要动态渲染的页面,或者说是需要执行js的页面,如果没有特殊的需求的话,比如说需要执行速度快,或者你愿意付出很高的成本去升级程序,否则的话,建议还是直接使用动态渲染的应用会比较好,例如selenium的使用

另外,还可以看出这个程序由于选择的页面一般,所以并不能够直接算出雪糕的单价,因为很难提取出雪糕的数量,如果要解决这一问题,最好换一个更好一些的商品页面

来源:仙草哥哥

物联沃分享整理
物联沃-IOTWORD物联网 » 躲避雪糕刺客?通过爬虫爬取雪糕价格

发表评论