由于微博的网页端有反爬虫,需要登录,所以我们换个思路,曲线救国。
我们找到微博在浏览器上面用于手机端的调试的APL,如何找到呢?
我这边直接附上微博的手机端的地址:https://m.weibo.cn/
1.模拟搜索用户
搜索一个用户获取到的api:
https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall
1.1 对api内参数进行处理
containerid=100103type=1&q=半半子 ——> containerid=100103type%3D1%26q%3D%E5%8D%8A%E5%8D%8A%E5%AD%90_
这个参数需要提前转码,否则无法获取数据
1.2 对用户名进行判断,通过后提取uid
2.获取more参数
GET
api : https://m.weibo.cn/profile/info?uid=2830125342
2.1 提取并处理more参数
3.循环提取图片id
GET
api : https://m.weibo.cn/api/container/getIndex?containerid=2304132830125342_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1
3.1 提取图片id——>pic_id
3.2 获取发送图片用户
3.3 根据动态创建时间生成用户唯一识别码
4.下载图片
我们从浏览器抓包中就会获取到后台服务器发给浏览器的图片链接
https://wx2.sinaimg.cn/large/pic_id.jpg
浏览器打开这个链接就可以直接下载图片
爬取完整代码:
import os import sys import time from urllib.parse import quote import requests headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36" } def time_to_str(c_at): ti = time.strptime(c_at, "%a %b %d %H:%M:%S +0800 %Y") time_str = time.strftime("%Y%m%d%H%M%S", ti) return time_str # 1. 搜索用户,获取uid # 2. 通过uid获取空间动态关键参数 # 3. 获取动态内容 # 4. 提取图片参数 # 5. 下载图片 # 1. 搜索用户,获取uid # ========= 用户名 ========= # 输入不同的用户名可切换下载的用户图片 # 用户名需要完全匹配 name = "半半子_" # ========================= con_id = f"100103type=1&q={name}" # 这个条件需要转码 con_id = quote(con_id, "utf-8") user_url = f"https://m.weibo.cn/api/container/getIndex?containerid={con_id}&page_type=searchall" user_json = requests.get(url=user_url, headers=headers).json() user_cards = user_json["data"]["cards"] for card_num in range(len(user_cards)): if "mblog" in user_cards[card_num]: if user_cards[card_num]["mblog"]["user"]["screen_name"] == name: print(f"正在获取{name}的空间") # 2. 通过uid获取空间动态关键参数 user_id = user_cards[card_num]["mblog"]["user"]["id"] info_url = f"https://m.weibo.cn/profile/info?uid={user_id}" info_json = requests.get(url=info_url, headers=headers).json() more_card = info_json["data"]["more"].split("/")[-1] break file_name = "weibo" if not os.path.exists(file_name): os.mkdir(file_name) if len(more_card) == 0: sys.exit() page_type = "03" page = 0 while True: # 3. 获取动态内容 page += 1 url = f"https://m.weibo.cn/api/container/getIndex?containerid={more_card}&page_type={page_type}&page={page}" param = requests.get(url=url, headers=headers).json() cards = param["data"]["cards"] print(f"第 {page} 页") for i in range(len(cards)): card = cards[i] if card["card_type"] != 9: continue mb_log = card["mblog"] # 4. 提取图片参数 # 获取本人的图片 pic_ids = mb_log["pic_ids"] user_name = mb_log["user"]["screen_name"] created_at = mb_log["created_at"] if len(pic_ids) == 0: # 获取转发的图片 if "retweeted_status" not in mb_log: continue if "pic_ids" not in mb_log["retweeted_status"]: continue pic_ids = mb_log["retweeted_status"]["pic_ids"] user_name = mb_log["retweeted_status"]["user"]["screen_name"] created_at = mb_log["retweeted_status"]["created_at"] time_name = time_to_str(created_at) pic_num = 1 print(f"======== {user_name} ========") # 5. 下载图片 for pic_id in pic_ids: pic_url = f"https://wx2.sinaimg.cn/large/{pic_id}.jpg" pic_data = requests.get(pic_url, headers) # 文件名 用户名_日期(年月日时分秒)_编号.jpg # 例:半半子__20220212120146_1.jpg with open(f"{file_name}/{user_name}_{time_name}_{pic_num}.jpg", mode="wb") as f: f.write(pic_data.content) print(f" 正在下载:{pic_id}.jpg") pic_num += 1 time.sleep(2)
到此这篇关于Python实现微博动态图片爬取详解的文章就介绍到这了,更多相关Python微博图片爬取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
下一篇:Python数据结构之栈详解
X 关闭
X 关闭
- 15G资费不大降!三大运营商谁提供的5G网速最快?中国信通院给出答案
- 2联想拯救者Y70发布最新预告:售价2970元起 迄今最便宜的骁龙8+旗舰
- 3亚马逊开始大规模推广掌纹支付技术 顾客可使用“挥手付”结账
- 4现代和起亚上半年出口20万辆新能源汽车同比增长30.6%
- 5如何让居民5分钟使用到各种设施?沙特“线性城市”来了
- 6AMD实现连续8个季度的增长 季度营收首次突破60亿美元利润更是翻倍
- 7转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 8充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 9好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 10名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?