代码收藏家 Python-playwright：强大的UI自动化工具和新兴爬虫利器
点击名片关注 阿尘blog，一起学习，一起成长
本文主要分享由微软开发的实现Web UI自动化测试工具Playwright库，相比于之前学习过selenium库，playwright对于编写自动化代码绝对是更轻松了，因为它支持脚本录制，如果只求简单点可以不用写一行代码就能够实现自动化，而且playwright有许多强大的api，很多功能比起selenium都轻松简单，好了话不多说，开启正文~
playwright简介和初步使用
1.1 playwright简介
playwright优点（这里就直接摘抄一下官网的哈，不是重点）
任意浏览器 • 全平台 • 同一套 API
跨浏览器。 Playwright 支持所有现代渲染引擎，包括：Chromium、WebKit 和 Firefox。
跨平台。 适用于 Windows、Linux、macOS、本地运行、 CI、headless 和 headed。
跨语言。 在 TypeScript, JavaScript, Python, .NET, Java 中使用 Playwright API
测试移动端 Web 。 对 Android 和 Mobile Safari 的 Google Chrome 原生移动端模拟。与你的移动端和云端应用采用相同的渲染引擎。
强适应性 • 测试不再容易失效
自动等待（auto-waits）。 Playwright 能够自动等待元素达到可操作的状态，外加一系列丰富的内置事件。不用再人工定义超时（timeouts） —— 这是测试容易失效的主要原因。
Web 优先的断言。 Playwright 断言专门为动态加载的 web 应用设计。能够在满足需要的条件前自动重试。
可追踪。 通过配置重试策略，采用捕捉执行轨迹、视频、截图来解决测试容易失效的问题。
不用再权衡取舍 • 不再有限制
浏览器在不同进程中运行属于不同来源的 Web 内容。Playwright 与现代浏览器架构保持一致，并在进程外运行测试。这使 Playwright 摆脱了典型的进程内测试运行程序限制。
一切并行。 跨越多个 tabs, 多个 origins 和多个 users 的测试场景。在一个测试中能够为不同的用户创建具有不同上下文的场景，并能在你的服务器上运行。
可信事件。 元素悬停（hover）、动态控件的交互、生产可信事件。Playwright 使用与真实用户一致的输入方式（pipeline）。
测试 frames，穿透 Shadow DOM。 Playwright 的选择器能够穿透 shadowDOM 和允许无缝输入 frame。
完全隔离 • 快速执行
浏览器上下文。 Playwright 为每个测试创建一个浏览器上下文。浏览器上下文相当于一个全新的浏览器配置文件。这提供了零开销的完整测试隔离。创建一个新的浏览器上下文只需要几毫秒。
一次登录。 保存上下文的身份验证状态并在所有测试中重用它。这绕过了每个测试中的重复登录操作，但提供了独立测试的完全隔离。
强大的工具
Codegen 。 通过记录您的操作来生成测试。将它们保存为各种语言。
Playwright inspector 。 检查页面，生成选择器，逐步执行测试，查看点击点，浏览执行日志。
Trace Viewer 。 捕获所有的信息来调查失败了的测试，Playwright 追踪包含测试运行截屏视频、实时 DOM 快照、动作浏览器、测试源等信息。
1.2 playwright安装与使用
playwright的安装(python3.7+)
pip install playwrightPlaywright 安装驱动，相比起selenium就简单多了
python -m playwright installPlaywright 录制脚本
python -m playwright codegen通过–help 查看可以用哪些参数
python -m playwright codegen --help
Usage: playwright codegen [options] [url]
open page and generate code for user actions
Options:
-o, --output <file name> saves the generated script to a file
--target <language> language to generate, one of javascript, playwright-test, python, python-async,
python-pytest, csharp, csharp-mstest, csharp-nunit, java (default: "python")
--save-trace <filename> record a trace for the session and save it to a file
--test-id-attribute <attributeName> use the specified attribute to generate data test ID selectors
-b, --browser <browserType> browser to use, one of cr, chromium, ff, firefox, wk, webkit (default:
"chromium")
--block-service-workers block service workers
--channel <channel> Chromium distribution channel, "chrome", "chrome-beta", "msedge-dev", etc
--color-scheme <scheme> emulate preferred color scheme, "light" or "dark"
--device <deviceName> emulate device, for example "iPhone 11"
--geolocation <coordinates> specify geolocation coordinates, for example "37.819722,-122.478611"
--ignore-https-errors ignore https errors
--load-storage <filename> load context storage state from the file, previously saved with --save-storage
--lang <language> specify language / locale, for example "en-GB"
--proxy-server <proxy> specify proxy server, for example "http://myproxy:3128" or
"socks5://myproxy:8080"
--proxy-bypass <bypass> comma-separated domains to bypass proxy, for example
".com,chromium.org,.domain.com"
--save-har <filename> save HAR file with all network activity at the end
--save-har-glob <glob pattern> filter entries in the HAR by matching url against this glob pattern
--save-storage <filename> save context storage state at the end, for later use with --load-storage
--timezone <time zone> time zone to emulate, for example "Europe/Rome"
--timeout <timeout> timeout for Playwright actions in milliseconds, no timeout by default
--user-agent <ua string> specify user agent string
--viewport-size <size> specify browser viewport size in pixels, for example "1280, 720"
-h, --help display help for command
Examples:
$ codegen
$ codegen --target=python
$ codegen -b webkit https://example.com有很多，这里只挑几个简单的常用的来说
-o:指定脚本录制输出位置；
–target：指定脚本语言，告诉他用什么语言写，后面一大堆，还有个python-pytest!，默认用python
-b：指定浏览器驱动，默认用的谷歌
那我们来小试牛刀：
python -m playwright codegen -o "D:\PythonProject\playwright_project\playwright_code.py"运行之后我们用它自动打开的谷歌浏览器，打开百度，输入漂亮小姐姐并查找，结束录制，看看录制脚本
from playwright.sync_api import Playwright, sync_playwright, expect
def run(playwright: Playwright) -> None:
browser = playwright.chromium.launch(headless=False)
context = browser.new_context()
page = context.new_page()
page.goto("https://www.baidu.com/")
page.locator("#kw").click()
page.locator("#kw").fill("漂亮小姐姐")
page.get_by_role("button", name="百度一下").click()
# ---------------------
context.close()
browser.close()
with sync_playwright() as playwright:
run(playwright)查看是否成功运行
OK，完全可以，但是我们对它的脚本，有哪些功能怎么使用还完全不了解，下面来系统学习一下
1.3 playwright的脚本编写
playwright代码的编写，有两种模式：同步模式和异步模式
同步模式就如同selenium，上面录制脚本的示例就采用的同步模式，同步模式的语法如下
# 同步模式
# 导入Playwright类和sync_palywright 同步类
from playwright.sync_api import Playwright,sync_playwright
def main(playwright):
browser = playwright.chromium.launch(headless=False)
context = browser.new_context()
page = context.new_page()
page.goto("https://www.baidu.com/")
print(page.title())
context.close()
browser.close()
with sync_playwright() as p:
main(p)同步模式主要用的sync_playwright的api
异步模式语法：
# 异步模式
import asyncio
from playwright.async_api import Playwright,async_playwright
async def main():
async with async_playwright() as p:
browser = await p.chromium.launch(headless=False)
context = await browser.new_context()
page = await context.new_page()
await page.goto("https://www.baidu.com/")
print(await page.title())
await context.close()
await browser.close()
asyncio.run(main())它俩很相似，异步模式主要用了async_playwright的api，主要采用async/await 关键字
接下来详细解释下里面的方法、类：
1、Playwright类
主要用于定义设备的信息，为page服务或者context服务
2、生成浏览器驱动：
browser = playwright.chromium.launch(headless=False)可支持的浏览器有'chromium', 'webkit' or 'firefox'
launch函数的使用
def launch(
self,
*,
executable_path: typing.Optional[typing.Union[str, pathlib.Path]] = None,
# 传入一个浏览器可执行的文件必须绑定支持的浏览器
channel: typing.Optional[str] = None,
#传入浏览器的版本，有"chrome", "chrome-beta", "chrome-dev", "chrome-canary",
# "msedge", "msedge-beta", "msedge-dev", "msedge-canary"，msedge是Microsoft edge，还有其他版本可以查看官网
args: typing.Optional[typing.List[str]] = None,
#传递给浏览器的其他参数，以列表形式传入
ignore_default_args: typing.Optional[
typing.Union[bool, typing.List[str]]
] = None,
# 如果为'true'，Playwright不会传递自己的配置参数，而只使用来自'args'的配置参数。如果数组是
# 给定，然后过滤掉给定的默认参数。危险选项；小心使用。默认为“False”。
handle_sigint: typing.Optional[bool] = None,
# 通过Ctrl+c关闭浏览器的进程，默认开启
handle_sigterm: typing.Optional[bool] = None,
# 收到SIGTERM信号正常关闭浏览器进程，默认开启
handle_sighup: typing.Optional[bool] = None,
# 收到SIGHUP信号终止浏览器进程，默认开启
timeout: typing.Optional[float] = None,
# 等待浏览器实例启动的最长时间（以毫秒为单位）。默认为“30000”（30秒）。传递“0”以禁用超时。
env: typing.Optional[typing.Dict[str, typing.Union[str, float, bool]]] = None,
# 指定浏览器可见的环境变量。默认为process. env
headless: typing.Optional[bool] = None,
# 是否在没有窗口下运行浏览器，默认开启，开启后你就看不到程序打开浏览器，一般传入False
devtools: typing.Optional[bool] = None,
# **仅Chromium**是否为每个选项卡自动打开开发人员工具面板。如果此选项为“真”，则“无头”选项将设置为“false”。
proxy: typing.Optional[ProxySettings] = None,
# 网络代理设置
downloads_path: typing.Optional[typing.Union[str, pathlib.Path]] = None,
# 如果指定，接受的下载将下载到此目录中。否则，将创建临时目录并当浏览器关闭时被删除。在任何一种情况下，下载都会在它们所在的浏览器上下文关闭时被删除。
slow_mo: typing.Optional[float] = None,
# 将Playwright操作减慢指定的毫秒数。这个很有用，以便您可以看到正在发生的事情。
traces_dir: typing.Optional[typing.Union[str, pathlib.Path]] = None,
# 如果指定，跟踪将保存到此目录中。
chromium_sandbox: typing.Optional[bool] = None,
# 启用Chromium沙盒。默认为False
firefox_user_prefs: typing.Optional[
typing.Dict[str, typing.Union[str, float, bool]]
] = None
# 一些火狐偏好设置
) -> "Browser":3、生成浏览器上下文（context）对象
浏览器上下文对象是浏览器实例中一个独立隐身会话，资源、cookie缓存这些不与其他上下文共享，对于自动化多用户、多场景测试非常有意义，相当于打开两个浏览器，两个进程，可以每个测试用例单独开一个上下文，需要注意的是，浏览器上下文最好显式的关闭，也就是
context.close()上下文的方法，这里就简单说一下两个参数，其余不详细说了，如果有需要可以查看api
viewport : Union[{width: int, height: int}, None]
# 为每个页面设置一致的视口。默认为1280x720视口
screen : Union[{width: int, height: int}, None]
# 通过“window.screen”模拟网页内可用的一致窗口屏幕大小 ,只能在viewport设置之后使用context常用操作
context.pages :获取context所有page对象
context.new_page():生成一个新的page对象
context.close()：关闭context
context.add_cookies()：将cookie添加到此浏览器上下文中。此上下文中的所有页面都将安装这些cookie。
只能传入列表
List[{name: str, value: str, url: Union[str, None], domain: Union[str, None], path: Union[str, None], expires: Union[float, None]
context.clear_cookies()：清除context的cookie
context.grant_permissions()：授予浏览器上下文的指定权限，具体见api
context.clear_permissions()：清除授权
4、生成浏览器页面page
page = context.new_page()page就相当于浏览器的选项卡，一般在浏览器context上创建，后续打开网页 ，业绩元素定位，页面操作都是基于page
首先来了解一下page的常用参数
async def new_page(
self,
viewport: ViewportSize = None,#为每个页面设置一致的视口。默认为1280x720视口
screen: ViewportSize = None, # 通过“window.screen”模拟网页内可用的一致窗口屏幕大小 ,只能在viewport设置之后使用
noViewport: bool = None,# 不强制固定视口，允许在标题模式下调整窗口大小
ignoreHTTPSErrors: bool = None,
javaScriptEnabled: bool = None,
bypassCSP: bool = None,
userAgent: str = None, # 设置代理用于上下文
locale: str = None, #指定用户区域，设置将影响Accept-Language'请求标头值以及数字和日期格式规则
timezoneId: str = None,
geolocation: Geolocation = None,
permissions: List[str] = None,
extraHTTPHeaders: Dict[str, str] = None,
offline: bool = None,
httpCredentials: HttpCredentials = None,
deviceScaleFactor: float = None,
isMobile: bool = None, #设备相关，不用管
hasTouch: bool = None,
colorScheme: ColorScheme = None, #Union["dark", "light", "no-preference", "null", None]
#设置颜色主题
forcedColors: ForcedColors = None, #Union["active", "none", "null", None]
reducedMotion: ReducedMotion = None,
acceptDownloads: bool = None,
defaultBrowserType: str = None,
proxy: ProxySettings = None,
recordHarPath: Union[Path, str] = None,
recordHarOmitContent: bool = None,
recordVideoDir: Union[Path, str] = None,
recordVideoSize: ViewportSize = None,
storageState: Union[StorageState, str, Path] = None,
baseURL: str = None,
strictSelectors: bool = None,
serviceWorkers: ServiceWorkersPolicy = None,
recordHarUrlFilter: Union[Pattern[str], str] = None,
recordHarMode: HarMode = None,
recordHarContent: HarContentPolicy = None,
) -> Page:page常用操作
page.goto(url,timeout,waitUntil,referer):打开一个新的网页
url传入一个字符串，导航到该地址
timeout 最大等待时间，传入毫秒，默认30s，为0则禁用，不等待
waitUntil:定义触发事件，当定义事件触发将被认为操作成功
可选["commit", "domcontentloaded", "load", "networkidle", None]
domcontentloaded：出现【文件加载中】就被认为操作成功
load：出现【加载】事件就被认为操作成功
networkidle：当发生【没有网络（网络空闲）】被认为操作成功，超过500ms没有网络就触发了【不建议使用】
commit：当网络响应被接受，文件开始加载，就认为操作成功了
referer：可以传入str或者none，引用头部，如果设置就有限用这个作为header
page.locator():playwright的核心功能之一，元素定位器，常用的元素定位方法在后面单独拎出来讲
元素定位的常用操作
page.locator().click()：点击元素
page.locator().dblclick()：双击元素，double click
page.locator().fill()：输入str
click和fill操作只可以直接在页面操作
比如
page.fill('css=[name="username"]',"017575863")
page.fill('css=[name="password"]',"06523244")page.locator().count():返回匹配元素的个数
page.locator().clear()：清空input的内容
page.locator().drag_to()：把一个元素拖到另一个元素位置然后释放
page.locator().frame_locator()：使用iframe时，您可以创建一个帧定位器，该定位器将进入iframe并允许选择iframe中元素。
示例：
locator = page.frame_locator(\"#my-iframe\").get_by_text(\"Submit\")
await locator.click()
locator = page.frame_locator(\"#my-iframe\").get_by_text(\"Submit\")
locator.click()page.locator().all_text_contents():返回对应元素所有文本内容，基于代码不会格式化，返回的是列表
page.locator().all_inner_texts()：返回对应元素所有文本内容，基于页面，格式化，返回列表
page.locator().get_attribute()：返回匹配元素的属性值
page.locator().wait_for()：等待元素加载，没必要，playwright会自动等待直到触发load事件。
page.locator().filter()：此方法根据选项缩小现有定位器，例如按文本过滤。它可以多次过滤。
示例：
await row_locator.filter(has_text=\"text in column 1\").filter(
has=page.get_by_role(\"button\", name=\"column 2 button\")
).screenshot()page.frame()：返回指定的frame，必须传入name 或者urlpage.frame_locator()：定位一个frame，并可以切换进去定位元素
locator = page.frame_locator(\"#my-iframe\").get_by_text(\"Submit\")
await locator.click()page.content()：返回页面内容
page.set_default_navigation_timeout()：设置超时默认时间
page.keyboard.press()：键盘操作（直接在page页面），可以输入的键有以下
F1 – F12, Digit0– Digit9, KeyA– KeyZ, Backquote, Minus, Equal, Backslash, Backspace, Tab,Delete, Escape, ArrowDown, End, Enter, Home, Insert, PageDown, PageUp, ArrowRight, ArrowUp,etc.
page.screenshot()：截屏
page.press(selector,key)：找到元素，然后调用键盘的按下、放开某个键的操作
page.keyboard.press(\"Shift+O\")
page.press(\"body\", \"Shift+O\")page.close():关闭页面
page.wait_for_load_state(state)：当达到所需的加载状态时返回。state有["domcontentloaded", "load", "networkidle"]
当页面达到所需的加载状态时，默认为“加载”。调用此方法时导航必须是已经发送请求了。如果当前文档已经达到所需状态，则立即解析。
page.route()：网络劫持，路由提供了修改页面发出的网络请求的能力。一个强大api
page = await browser.new_page()
await page.route(re.compile(r\"(\\.png$)|(\\.jpg$)\"), lambda route: route.abort())
await page.goto(\"https://example.com\")
await browser.close()劫持响应结果
我们要让百度详情结果为我们的定义的页面：custom_response.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>hack test</title>
</head>
<body>
<h1>hack test</h1>
</body>
</html>
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.route('**/*',lambda route: route.fulfill(path='./custom_response.html'))
page.goto("https://www.baidu.com")
browser.close()page.expect_download()：下载文件
示例
# 开始下载
with page.expect_download() as download_info:
# 点击下载的按钮
page.locator("button#delayed-download").click()
download = download_info.value
# 等待下载
print(download.path())
# 保存文件
download.save_as("/path/to/save/download/at.txt")5、定位方法
playwright定位主要通过slector选择器定位支持文本定位、css定位、xpath定位、组合定位
文本选择器
page.click('text=登录') # 没有加引号(单引号或者双引号)，模糊匹配，对大小写不敏感
page.click('text="登录"')# 有引号，精确匹配，对大小写敏感has_text()查找子代或后代所有包含对应文本的,相反的也有has_not_text（）
text（）查找第一个文本等于…的元素
比如：<article><div >Playwright</div></article>.
page.locator(':has_text("Playwright")').click()
# 也可以这样写，指定标签
page.locator('article:has_text("Playwright")').click()
# 也可以这样
page.locator(":text('Playwright')").click()
# 还可以这样
page.locator('article:has'text=Playwright').click()css选择器
page.locator('button').click() # 根据标签
page.locator('#nav-bar .contact-us-item').click() # 通过id +class
page.locator('[data-test=login-button]').click() # 属性定位
page.locator("[aria-label='Sign in']").click()
#css定位前面可以加个css=，但是不加也可以程序也会自动匹配Xpath 定位
page.locator("xpath=//button").click()组合定位：text、css、xpath三者可以两组合定位
css+text组合定位
page.locator("article:has-text('Playwright')").click()
page.locator("#nav-bar :text('Contact us')").click()css+css组合定位
page.locator(".item-description:has(.item-promo-banner)").click()Xpath + css 组合定位page.fill('//div[@class="SignFlow-account"] >>css=[name="username"]',"0863")xpath+xpath组合定位page.fill('//div[@class="SignFlowInput"] >> //input[@name="password"]',"ma160065")playwright推荐的内置定位
page.get_by_text()通过文本内容定位。
page.get_by_label()通过关联标签的文本定位表单控件。page.get_by_placeholder()按占位符定位输入。
page.get_by_title()通过标题属性定位元素。
page.get_by_role()通过显式和隐式可访问性属性进行定位。page.get_by_alt_text()通过替代文本定位元素，通常是图像。page.get_by_test_id()根据data-testid属性定位元素(可以配置其他属性)。
6、事件监听
Page 对象提供了一个 on 方法，它可以用来监听页面中发生的各个事件，比如 close、console、load、request、response 等等
示例：
from playwright.sync_api import sync_playwright
def run(playwright):
chromium = playwright.chromium
browser = chromium.launch()
page = browser.new_page()
# 监听请求和响应事件
page.on("request", lambda request: print(">>", request.method, request.url))
page.on("response", lambda response: print("<<", response.status, response.url))
page.goto("https://example.com")
browser.close()
with sync_playwright() as playwright:
run(playwright)7、移动端浏览器支持
移动端支持Safari 浏览器、谷歌、不支持火狐，可以传入的设备有iPhone和Pixel 2 （Pixel 2 是谷歌的一款安卓手机）
示例：模拟打开 iPhone 12 Pro Max 上的 Safari 浏览器，然后手动设置定位，并打开百度地图并截图
故宫的经纬度是 39.913904, 116.39014，我们可以通过 geolocation 参数传递给 Webkit 浏览器并初始化
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
iphone_12_pro_max = p.devices['iPhone 12 Pro Max']
browser = p.webkit.launch(headless=False)
context = browser.new_context(
**iphone_12_pro_max,
locale='zh-CN',
geolocation={'longitude': 116.39014, 'latitude': 39.913904},
permissions=['geolocation']
)
page = context.new_page()
page.goto('https://amap.com')
page.wait_for_load_state(state='networkidle')
page.screenshot(path='location-iphone.png')
browser.close()8、处理新的窗口、弹窗，iframe
selenium处理iframe比较麻烦，但是playwright就比较简单，有不同方法
第一种，直接定位一个frame，在frame基础上操作
示例
# ********同步*********
# Get frame using the frame's name attribute
frame = page.frame('frame-login')
# Get frame using frame's URL
frame = page.frame(url=r'.*domain.*')
# Interact with the frame
frame.fill('#username-input', 'John')
# *********异步***********
# Get frame using the frame's name attribute
frame = page.frame('frame-login')
# Get frame using frame's URL
frame = page.frame(url=r'.*domain.*')
# Interact with the frame
await frame.fill('#username-input', 'John')第二种，直接定位到frame再定位到上面的元素，在元素基础上操作
示例：
username = page.frame_locator('.frame-class').locator('#username-input')
username.fill('jonas')处理弹窗，一般注册、或者点击一些按钮容易出现弹窗，我们可以利用page.expect_popup()来获取新窗口的iframe
示例：
with page.expect_popup() as popup_info:
# iframe中的id如果是动态的，所以我们只匹配关键字
page.frame_locator("iframe[id^=x-URS-iframe]").locator("text=注册新帐号").click()
register_page = popup_info.value
# 点击邮箱地址输入框
register_page.locator("input[id=\"username\"]").click()
# 输入邮箱
register_page.locator("input[id=\"username\"]").fill("TesterRoad")
# 点击密码输入框
register_page.locator("input[id=\"password\"]").click()
# 输入密码
register_page.locator("input[id=\"password\"]").fill("TesterRoad@126")本次分享结束，更多功能和操作大家可以参考官方文档，下期将主要分享脚本录制
参考文章：
https://blog.csdn.net/m0_51156601/article/details/126886040
https://blog.csdn.net/m0_58026506/article/details/127263263
https://cuiqingcai.com/36045.html
https://www.playwright.pro/docs/api/class-playwright
扫描二维码关注阿尘blog，一起交流学习
