Puppeteer vs Playwright: Nên chọn công cụ nào cho web scraping và automation?
Mục lục bài viết
- •Puppeteer là gì?
- •Playwright là gì?
- •Bảng so sánh Puppeteer và Playwright
- •Những khác biệt ảnh hưởng đến dự án
- •Puppeteer hay Playwright tốt hơn cho web scraping?
- •Ví dụ: Lấy tiêu đề trang bằng hai công cụ
- •Tích hợp proxy với Puppeteer và Playwright
- •Công cụ nào chạy nhanh và tiết kiệm RAM hơn?
- •Nên chọn công cụ nào cho từng nhu cầu?
- •Câu hỏi thường gặp
Puppeteer phù hợp với dự án JavaScript hoặc TypeScript cần điều khiển Chrome, Firefox và đã có hệ thống script ổn định. Playwright đáng cân nhắc khi bạn cần thêm WebKit, dùng Python, Java hoặc .NET, hoặc muốn xây bộ kiểm thử trình duyệt với công cụ hỗ trợ sẵn.
Với web scraping, cả hai đều có thể mở trang, chạy JavaScript, nhấp nút và trích xuất dữ liệu. Chất lượng kết quả còn phụ thuộc cách chờ nội dung, quản lý phiên và xử lý lỗi mạng.
Bài viết so sánh các khả năng trong tài liệu chính thức và đưa ra ví dụ minh họa. Các nhận định về hiệu năng là tiêu chí để bạn kiểm tra trên dự án của mình, không phải kết quả benchmark do Proxify thực hiện.
Puppeteer là gì?
Puppeteer là thư viện JavaScript cung cấp API để điều khiển Chrome hoặc Firefox thông qua Chrome DevTools Protocol hoặc WebDriver BiDi. Bạn viết mã để trình duyệt thực hiện thao tác thay cho việc nhấp chuột thủ công.
Các tác vụ phổ biến gồm mở website, điền biểu mẫu, chụp màn hình, tạo PDF và lấy nội dung sau khi JavaScript chạy. Puppeteer chạy ở chế độ headless theo mặc định, nghĩa là không hiển thị cửa sổ trình duyệt. Bạn có thể bật giao diện khi cần quan sát và tìm lỗi. Tài liệu Puppeteer.
Nếu hệ thống hiện tại đã dùng Node.js để tạo báo cáo PDF hoặc thu thập dữ liệu bằng Chrome, Puppeteer là lựa chọn dễ tiếp tục phát triển.
Playwright là gì?
Playwright là công cụ tự động hóa trình duyệt hỗ trợ Chromium, Firefox và WebKit. Bạn có thể dùng nó để viết script hoặc xây kiểm thử các luồng sử dụng website, chẳng hạn đăng nhập, tìm kiếm và đặt hàng. Giới thiệu Playwright.
Playwright có thư viện chính thức cho JavaScript/TypeScript, Python, Java và .NET. Tuy nhiên, cách tổ chức kiểm thử khác nhau giữa các ngôn ngữ: Playwright Test dành cho Node.js, trong khi Python thường kết hợp với pytest. Các ngôn ngữ được Playwright hỗ trợ.
Điểm này ảnh hưởng trực tiếp đến lựa chọn công cụ. Một đội đang vận hành pipeline Python có thể dùng Playwright ngay trong hệ thống đó, thay vì thêm một dịch vụ Node.js chỉ để điều khiển trình duyệt.
Bảng so sánh Puppeteer và Playwright
| Tiêu chí | Puppeteer | Playwright |
|---|---|---|
| Ngôn ngữ chính thức | JavaScript, TypeScript | JavaScript/TypeScript, Python, Java, .NET |
| Trình duyệt | Chrome, Firefox | Chromium, Firefox, WebKit |
| Chế độ chạy | Headless hoặc có giao diện | Headless hoặc có giao diện |
| Tự chờ khi tương tác | Có qua Locator API | Có qua Locator và kiểm tra điều kiện thao tác |
| Phiên trình duyệt độc lập | Có BrowserContext | Có BrowserContext |
| Tổ chức kiểm thử | Thường kết hợp công cụ kiểm thử khác | Có Playwright Test cho Node.js |
| Proxy | Có thể cấu hình theo khả năng của trình duyệt và API | Có tùy chọn ở cấp browser hoặc context |
| Lựa chọn thực tế | Script Node.js, quy trình đã dùng Puppeteer | Kiểm thử đa trình duyệt, dự án đa ngôn ngữ |
Hai hiểu lầm cần tránh là Puppeteer chỉ chạy Chrome và Puppeteer hoàn toàn không có tự chờ. Tài liệu hiện tại của Puppeteer xác nhận hỗ trợ Firefox và khuyến nghị sử dụng Locator API cho tương tác trên trang. Puppeteer, hướng dẫn tương tác với trang.
Những khác biệt ảnh hưởng đến dự án
1. Phạm vi trình duyệt cần kiểm tra
Nếu tác vụ chỉ chạy trên Chrome, cả hai đều đáp ứng được. Khi cần kiểm tra thêm Firefox, Puppeteer vẫn là một lựa chọn.
Playwright có lợi thế khi dự án cần WebKit. Ví dụ, một đội phát triển website muốn phát hiện lỗi hiển thị hoặc thao tác giữa các engine có thể chạy cùng luồng kiểm thử trên Chromium, Firefox và WebKit.
Dù vậy, kiểm thử WebKit trong Playwright không thay thế mọi kiểm tra trên Safari và thiết bị Apple thực tế. Nếu khách hàng sử dụng iPhone là nhóm quan trọng, bạn vẫn nên kiểm tra những luồng chính trên thiết bị mục tiêu.
2. Cách chờ phần tử và dữ liệu
Giả sử một nút xuất hiện sau khi trang gọi API. Nếu script nhấp quá sớm, thao tác sẽ thất bại.
Playwright kiểm tra các điều kiện trước khi thực hiện thao tác như click, gồm phần tử có hiển thị, ổn định, nhận được sự kiện và có được bật hay không. Khi điều kiện chưa đạt, công cụ chờ trong giới hạn timeout. Cơ chế auto-waiting của Playwright.
Puppeteer cũng có Locator API tự kiểm tra các điều kiện như khả năng hiển thị, trạng thái enabled và vị trí ổn định. Code sử dụng API cũ có thể cần thêm bước chờ rõ ràng. Locator trong Puppeteer.
Tự chờ thao tác không có nghĩa là dữ liệu cần lấy đã hoàn chỉnh. Một bảng giá có thể hiển thị khung trước, sau đó mới cập nhật số tiền. Bạn cần chờ đúng điều kiện của dữ liệu, chẳng hạn giá đã có nội dung hoặc phản hồi API đã hoàn tất.
3. Quản lý nhiều phiên
BrowserContext giúp tạo các phiên độc lập trong cùng một browser. Puppeteer hỗ trợ tạo context để tách dữ liệu phiên, và Playwright cũng có mô hình tương tự. BrowserContext của Puppeteer, Playwright Library.
Ví dụ, khi kiểm thử website bán hàng, bạn có thể tạo một phiên cho người mua và một phiên cho quản trị viên. Hai phiên cần giữ cookie và trạng thái đăng nhập riêng.
Tạo context không tự tạo IP đầu ra riêng. Nếu muốn các phiên dùng những kết nối mạng khác nhau, bạn cần cấu hình proxy phù hợp.
4. Công cụ tổ chức và tìm lỗi kiểm thử
Cần phân biệt Playwright Library với Playwright Test.
Library cung cấp API điều khiển trình duyệt. Bạn tự tổ chức quá trình chạy script và đóng tài nguyên.
Playwright Test bổ sung test runner, fixture, assertion tự thử lại, chạy song song, báo cáo và cấu hình retry. Đây là lợi thế khi đội phát triển muốn xây bộ kiểm thử E2E, tức kiểm tra một luồng sử dụng hoàn chỉnh. So sánh Library và Test.
Trace Viewer hỗ trợ xem lại thao tác, ảnh chụp và thông tin liên quan khi tìm lỗi. Nhờ đó, bạn có thể kiểm tra trang đang ở trạng thái nào lúc script thất bại, thay vì chỉ đọc thông báo timeout. Trace Viewer.
Nếu chỉ cần một script chụp màn hình mỗi ngày, bạn không nhất thiết phải sử dụng toàn bộ test runner.
Puppeteer hay Playwright tốt hơn cho web scraping?
Cả hai phù hợp khi dữ liệu cần lấy phụ thuộc JavaScript hoặc thao tác trên trình duyệt.
Một ví dụ là website chỉ hiển thị danh sách sản phẩm sau khi người dùng chọn khu vực. Script cần mở trang, chọn khu vực, chờ dữ liệu cập nhật rồi mới trích xuất. Puppeteer và Playwright đều có thể xử lý quy trình này.
Việc chọn công cụ nên bắt đầu từ hệ thống đang có:
-
Dùng Puppeteer nếu pipeline Node.js đã ổn định và đáp ứng đủ nhu cầu.
-
Cân nhắc Playwright nếu cần Python, nhiều engine trình duyệt hoặc bộ công cụ kiểm thử tích hợp.
-
Với trang có dữ liệu sẵn trong HTML hoặc API được phép sử dụng, kiểm tra khả năng dùng HTTP client trước khi khởi chạy trình duyệt.
Trình duyệt tự động tiêu tốn tài nguyên để tải và chạy trang. Nếu chỉ cần lấy một phản hồi JSON, sử dụng browser cho mọi yêu cầu có thể làm hệ thống phức tạp hơn mức cần thiết.
Nếu quy trình phải tự tìm nguồn và quyết định bước tiếp theo bằng AI, bạn có thể đọc thêm agentic web scraping là gì. Puppeteer hoặc Playwright khi đó là công cụ thực hiện thao tác, còn agent quyết định mục tiêu và đường đi.
Ví dụ: Lấy tiêu đề trang bằng hai công cụ
Hai đoạn mã dưới đây cùng mở một trang, lấy nội dung H1 rồi đóng trình duyệt. Ví dụ dùng CommonJS trong Node.js và website example.com.
Với Puppeteer
Cài thư viện:
npm install puppeteer
Script:
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
try {
const page = await browser.newPage();
await page.goto('https://example.com', {
waitUntil: 'domcontentloaded'
});
await page.waitForSelector('h1');
const title = await page.$eval('h1', el => el.textContent.trim());
console.log(title);
} finally {
await browser.close();
}
})();
Với Playwright
Cài thư viện và Chromium:
npm install playwright
npx playwright install chromium
Script:
const { chromium } = require('playwright');
(async () => {
const browser = await chromium.launch();
try {
const context = await browser.newContext();
const page = await context.newPage();
await page.goto('https://example.com', {
waitUntil: 'domcontentloaded'
});
const title = await page.locator('h1').innerText();
console.log(title.trim());
} finally {
await browser.close();
}
})();
Các ví dụ minh họa cách dùng API, chưa phải scraper hoàn chỉnh. Với website thực tế, bạn cần thêm điều kiện chờ dữ liệu, kiểm tra phản hồi và xử lý trường hợp phần tử không tồn tại.
Tích hợp proxy với Puppeteer và Playwright
Proxy hữu ích khi cần kiểm tra nội dung theo khu vực hoặc quản lý IP đầu ra của phiên trình duyệt. Bạn vẫn phải chọn đúng giao thức, endpoint và phương thức xác thực.
Proxy trong Puppeteer
Với Chrome, cách thường dùng là truyền địa chỉ proxy qua tham số khởi chạy --proxy-server. Nếu HTTP proxy yêu cầu username/password, có thể sử dụng page.authenticate() trước khi truy cập trang. Tài liệu cho biết phương thức này dùng request interception phía sau và có thể ảnh hưởng hiệu năng. Page.authenticate().
Vì vậy, khi đo tốc độ, cần giữ cùng phương thức xác thực và cấu hình proxy giữa các lượt thử.
Proxy trong Playwright
Playwright cho phép cấu hình proxy cho browser hoặc từng BrowserContext. Với HTTP(S) proxy, tùy chọn cấu hình có thể chứa server, username và password. Hướng dẫn proxy của Playwright.
Cấu hình minh họa:
const context = await browser.newContext({
proxy: {
server: process.env.PROXY_SERVER,
username: process.env.PROXY_USERNAME,
password: process.env.PROXY_PASSWORD
}
});
Đoạn này áp dụng cho HTTP proxy có xác thực và cần được đặt trong script sau khi tạo browser. Bạn phải cung cấp các biến môi trường tương ứng.
Chọn IP theo cách vận hành phiên
Với luồng nhiều bước, nên giữ cookie và IP nhất quán trong suốt phiên. Việc đổi IP cần được tổ chức theo cơ chế của dịch vụ, không nên mặc định đổi sau mỗi thao tác.
Bài rotating proxy là gì giải thích sự khác biệt giữa đổi IP và sticky session. Nếu cần một endpoint cố định để bắt đầu cấu hình, bạn có thể tham khảo proxy IPv4 dùng riêng tại Proxify, rồi kiểm tra giao thức và điều kiện của gói trước khi tích hợp.
Proxy không bảo đảm website chấp nhận truy cập. Nếu liên tục gặp lỗi hoặc trang xác minh, hãy kiểm tra cấu hình phiên và tần suất yêu cầu. Nội dung xử lý CAPTCHA khi web scraping giúp phân biệt các nguyên nhân thường gặp.
Công cụ nào chạy nhanh và tiết kiệm RAM hơn?
Không nên chọn dựa trên một kết luận chung rằng Playwright luôn nhanh hơn hoặc Puppeteer luôn nhẹ hơn.
Kết quả thay đổi theo phiên bản trình duyệt, website, số phiên đồng thời, cách chờ, request interception và độ trễ proxy. Chỉ cần một script chờ lâu hơn điều kiện thực tế cũng có thể làm lệch phép so sánh.
Để đo trên dự án của mình, chạy hai công cụ với cùng tập URL, dữ liệu cần lấy và mức đồng thời. Theo dõi:
| Chỉ số | Câu hỏi cần trả lời |
|---|---|
| Tỷ lệ dữ liệu hợp lệ | Bao nhiêu trang trả về đủ trường cần lấy? |
| Thời gian hoàn thành | Mất bao lâu để xử lý cùng một tập URL? |
| RAM và CPU | Tài nguyên tăng thế nào khi thêm phiên? |
| Timeout và retry | Bao nhiêu tác vụ phải chạy lại? |
| Chi phí vận hành | Mất bao nhiêu tài nguyên và công sức để có một kết quả hợp lệ? |
Đừng tính trang CAPTCHA hoặc trang lỗi là một lượt scraping thành công chỉ vì browser đã tải được nội dung.
Nên chọn công cụ nào cho từng nhu cầu?
| Nhu cầu | Lựa chọn nên cân nhắc |
|---|---|
| Script Node.js đang dùng Puppeteer ổn định | Tiếp tục Puppeteer, cải thiện chỗ đang gây lỗi |
| Dự án Python cần điều khiển trình duyệt | Playwright |
| Kiểm thử trên Chromium, Firefox và WebKit | Playwright |
| Bộ E2E test Node.js cần báo cáo và retry | Playwright Test |
| Chụp màn hình hoặc lấy dữ liệu trên Chrome | Cả hai, ưu tiên công cụ đội đã quen |
| Pipeline có nhiều phiên và proxy | Thử cả hai trên cấu hình thực tế |
| Dữ liệu lấy được qua API hoặc HTML tĩnh | Kiểm tra HTTP client trước |
Chi phí chuyển đổi cũng cần được tính. Nếu hệ thống Puppeteer đã xử lý đúng dữ liệu, thay công cụ đồng nghĩa phải kiểm tra lại selector, cơ chế chờ, phiên và xử lý lỗi. Chuyển sang Playwright hợp lý khi lợi ích cụ thể bù được công việc đó.
Câu hỏi thường gặp
Puppeteer có hỗ trợ Firefox không?
Có. Tài liệu hiện tại xác nhận Puppeteer điều khiển Chrome hoặc Firefox. Không nên dùng nhận định cũ rằng Puppeteer chỉ hỗ trợ Chrome để quyết định công cụ. Tài liệu Puppeteer.
Playwright có dùng được cho scraping không?
Có. Bạn có thể sử dụng Playwright Library để mở trang, tương tác và lấy dữ liệu mà không cần viết một bộ kiểm thử.
Puppeteer có tự chờ phần tử không?
Có khi sử dụng Locator API. Tuy nhiên, chờ phần tử sẵn sàng cho thao tác khác với chờ dữ liệu nghiệp vụ hoàn chỉnh.
Playwright có tự tránh CAPTCHA không?
Không có bảo đảm đó. Công cụ điều khiển browser; việc website đánh giá phiên truy cập còn phụ thuộc nhiều tín hiệu. Bạn có thể đọc thêm bot traffic và human traffic để hiểu phần này.
Có cần đổi từ Puppeteer sang Playwright không?
Chỉ nên đổi khi có nhu cầu rõ ràng, chẳng hạn thêm WebKit, sử dụng ngôn ngữ khác hoặc xây bộ kiểm thử phù hợp hơn. Với dự án mới, chọn một luồng thực tế để thử trước: mở trang, thao tác, lấy dữ liệu và chạy qua proxy nếu cần. Kết quả của luồng đó sẽ hữu ích hơn một bảng xếp hạng công cụ.




