layout: post

title: sae部署bilibili爬虫

categories: python

tags: spider sae

前端效果

sae准备工作

从本地上传的爬虫到sae一直被提示没有requests模块，在requirements.txt里声明了也不行。起初我以为是这个第三方包被屏蔽了，直到看到才直到原因：requirements.txt 只在容器云app里面才会生效，同理 runtime.txt 也是。因此需要在共享服务器上面使用第三方包的话，只能自己上传。我通过 ubantu python 2.7.6 使用pip install -t vendor requests安装上 requests 包，再将这个文件夹上传到 sae 根目录就可以使用了。因为涉及到我自己账号的 cookie，这里我使用的是码云私有仓库保存我的代码，不再贴出。

bilibili-Getcoin

B站只要登录一下就可以获得当日的一硬币，在爬虫界这算是非常简单的了。我之前尝试用国外的某ae来爬B站，得到503错误（403？），国外访问B站是要梯子的。

code:

# -*- coding: utf-8 -*-"""requests学习实战"""import requestsurl = 'https://account.bilibili.com/site/getCoin'headers = {}cookies = {}with requests.Session() as s:r = s.get(url,headers=headers,cookies=cookies)print r.status_codebjson = r.json()#print bjson.keys()print bjson[u'data'] print 'over!'

以上。

2018/9/3 更新

cookies 需要每月更新。本月更新后无法获取硬币了，对比之前的cookies，发现本次更新后多出一个_jct键。现在删除后等待观察明天的结果。

结果仍然是不能获取。