pyppeteer执行js绕过webdriver监测方法下
目录
官方文档启动pyppteer切图获取响应头,响应头状态,cookies获取当前页面标题获取页面html第一种:获取整个页面html第二种:只获取文本注入JS,控制上下滚动选择器获取元素内部的文本、属性get_html模拟输入,鼠标点击taobao登录taobao修改检测浏览器鼠标事件键盘事件使用ip代理ua官方文档
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
启动pyppteer
import asyncio from pyppeteer import launch async def main(): # headless参数设为False,则变成有头模式 browser = await launch( {"headless": False} ) # 打开一个页面 page = await browser.newPage() # 超时间见 10000 毫秒 res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码 resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
切图
# 设置页面视图大小 await page.setViewport(viewport={"width": 1280, "height": 800}) # 是否启用JS,enabled设为False,则无渲染效果 await page.setJavaScriptEnabled(enabled=True) # 超时间见 10000 毫秒 res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) # 截图 保存图片 await page.screenshot({"path": "cnblog.png"})
获取响应头,响应头状态,cookies
async def main(): # headless参数设为False,则变成有头模式 browser = await launch( {"headless": False} ) # 打开一个页面 page = await browser.newPage() # 超时间见 10000 毫秒 res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 cookies = page.cookies() print(resp_headers) print(resp_status) print(page.cookies()) # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
获取当前页面标题
print(await page.title())
获取页面html
import asyncio from pyppeteer import launch async def main(): # headless参数设为False,则变成有头模式 browser = await launch( {"headless": False} ) # 打开一个页面 page = await browser.newPage() # 是否启用JS,enabled设为False,则无渲染效果 await page.setJavaScriptEnabled(enabled=True) # 超时间见 10000 毫秒 res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码
第一种:获取整个页面html
res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码
第二种:只获取文本
res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) content = await page.evaluate(pageFunction="document.body.textContent", force_expr=True) print(content)
注入JS,控制上下滚动
res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) # 滑到底部 await page.evaluate("window.scrollBy(0, document.body.scrollHeight)") # js window.scrollTo(0,100) # 向下滑动100 window.scrollTo(0,500) # 向下滑动500 window.scrollTo(0,document.body.scrollHeight) # 滑到底部 window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500
选择器
Page.querySelector() # CSS选择器 Page.querySelectorAll() # CSS选择器选所有 Page.xpath() # xpath选择器 # 简写方式为: Page.J(), Page.JJ(), and Page.Jx()
获取元素内部的文本、属性
res = await page.goto("https://www.cnblogs.com/guyouyin123/p/12690418.html", options={"timeout": 10000}) # 等待 await asyncio.sleep(2) await page.evaluate("window.scrollBy(0, document.body.scrollHeight)") # 方式一:获取h2标签内容--执行JS方式 element = await page.querySelector("h2") title = await page.evaluate("(element) => element.textContent", element) # 方式二:获取文本 element = await page.querySelector("h2") title = await (await item.getProperty("textContent")).jsonValue() # 方式三:获取属性src,href element = await page.querySelector("h2") title_link = await (await item.getProperty("href")).jsonValue()
get_html
async def get_html(url): browser = await pyppeteer.launch(headless=True, args=["--no-sandbox"]) page = await browser.newPage() res = await page.goto(url, options={"timeout": 3000}) data = await page.content() title = await page.title() resp_cookies = await page.cookies() # cookie resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 print(data) print(title) print(resp_headers) print(resp_status) return xxx
模拟输入,鼠标点击
# 模拟输入 账号密码 {"delay": rand_int()} 为输入时间 await page.type("#fm-login-id", "用户名") await page.type("#fm-login-password", "密码", ) await page.waitFor(1000) # 等待时间 await page.click("#J_SubmitStatic") # 点击
taobao登录
import asyncio from pyppeteer import launch async def main(): # headless参数设为False,则变成有头模式 browser = await launch( {"headless": False} ) # 打开一个页面 page = await browser.newPage() await page.setViewport(viewport={"width": 1280, "height": 800}) res = await page.goto("https://login.taobao.com/", options={"timeout": 10000}) await page.type("#fm-login-id", "123456") await page.type("#fm-login-password", "aaa", ) await page.waitFor(1000) # 等待时间 slider = await page.querySelector("#nc_1_n1z") # 是否有滑块 if slider: try: print("有滑块") await page.hover("#nc_1_n1z") # 不同场景的验证码模块能名字不同。 await page.mouse.down() # X,Y坐标,steps 是指分成几步来完成,steps越大,滑动速度越慢。(在源码中,steps是指移动到指定x,y 分段滑动的次数,但是每次启动滑动都会花费一定时间,可以认为steps是滑动的速度) # 如果是每次移动的距离,可以用for循环尝试正负移动 await page.mouse.move(2000, 0, {"delay": random.randint(1000, 2000)}) await page.mouse.up() except Exception as e: print(e) input("验证失败,人工登录:") else: print("没有滑块") input() await page.click("#login-form > div.fm-btn > button") # 点击登录 # 程序启动入口 asyncio.get_event_loop().run_until_complete(main())
taobao修改检测浏览器
await page.evaluate( """() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }""") # 以下为插入中间js,将淘宝会为了检测浏览器而调用的js修改其结果。 await page.evaluate("""() =>{ window.navigator.chrome = { runtime: {}, }; }""") await page.evaluate("""() =>{ Object.defineProperty(navigator, "languages", { get: () => ["en-US", "en"] }); }""") await page.evaluate("""() =>{ Object.defineProperty(navigator, "plugins", { get: () => [1, 2, 3, 4, 5,6], }); }""") # 使用type选定页面元素,并修改其数值,用于输入账号密码,修改的速度仿人类操作,因为有个输入速度的检测机制 # 因为 pyppeteer 框架需要转换为js操作,而js和python的类型定义不同,所以写法与参数要用字典,类型导入 await page.type(".J_UserName", username, {"delay": input_time_random() - 50}) await page.type("#J_StandardPwd input", pwd, {"delay": input_time_random()}) # await page.screenshot({"path": "./headless-test-result.png"}) # 截图测试 def input_time_random(): return random.randint(100, 151)
鼠标事件
.click() # 点击按钮 .down() # 按下按钮 .up() # 释放按钮 .move() # 移动光标
键盘事件
您可以使用down(),up()和 sendCharacter()手动触发事件,就好像事件是由真实键盘生成的一样。 await page.keyboard.press("ArrowLeft") await page.keyboard.down("Shift") for i in " World": await page.keyboard.press("ArrowLeft") await page.keyboard.up("Shift") await page.keyboard.press("Backspace") # Result text will end up saying "Hello!".
按下键盘A:
await page.keyboard.down("Shift") await page.keyboard.press("KeyA") await page.keyboard.press("Enter") await page.keyboard.up("Shift")
注意
修饰键确实会影响down()。按住shift 将以大写形式键入文本。
参数:
key(str)–要按键的名称,例如ArrowLeft。
options(dict)–选项可以具有text字段,如果指定了此选项,则使用此文本生成输入事件。
使用ip代理ua
import asyncio from pyppeteer import launch async def register(): browser = await launch({ "headless": False, # 代理ip "args": ["--proxy-server=47.105.111.124:15525", ] }) page = await browser.newPage() await page.setUserAgent( "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36") asyncio.get_event_loop().run_until_complete(register()) # 更多参数 args: [ "--disable-setuid-sandbox", "--no-sandbox", "--proxy-server=10.24.51.125:8411", "--ignore-certificate-errors", "--window-size=375,812", "--remote-debugging-port=9222" ],
以上就是pyppeteer执行js并绕过webdriver监测的常见方法下篇的详细内容,更多关于pyppeteer执行js绕过webdriver监测的资料请关注脚本之家其它相关文章!
X 关闭
X 关闭
- 15G资费不大降!三大运营商谁提供的5G网速最快?中国信通院给出答案
- 2联想拯救者Y70发布最新预告:售价2970元起 迄今最便宜的骁龙8+旗舰
- 3亚马逊开始大规模推广掌纹支付技术 顾客可使用“挥手付”结账
- 4现代和起亚上半年出口20万辆新能源汽车同比增长30.6%
- 5如何让居民5分钟使用到各种设施?沙特“线性城市”来了
- 6AMD实现连续8个季度的增长 季度营收首次突破60亿美元利润更是翻倍
- 7转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 8充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 9好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 10名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?