Hướng dẫn web scraping bằng JavaScript từ HTML đến dữ liệu có cấu trúc

Bạn cần lấy tên và giá sản phẩm từ một website. Mở trình duyệt thì dữ liệu hiển thị đầy đủ, nhưng đoạn mã vừa viết lại trả về danh sách trống.

Nguyên nhân có thể nằm ở cách trang cung cấp nội dung. Dữ liệu đã có trong HTML ban đầu khác với dữ liệu chỉ xuất hiện sau khi JavaScript chạy.

Muốn chọn đúng công cụ scraping, hãy xác định dữ liệu nằm ở đâu trước khi viết nhiều mã.

Bài viết hướng dẫn một ví dụ với Node.js và Cheerio trên website thực hành. Mã mang tính hướng dẫn, chưa phải hệ thống production và không được trình bày như benchmark đã kiểm thử.

Web scraping bằng JavaScript là gì?

Web scraping bằng JavaScript là quá trình dùng mã JavaScript để lấy nội dung từ web, trích xuất thông tin cần thiết và chuyển thành dữ liệu phục vụ công việc.

Một quy trình cơ bản gồm:

  1. Xác định nguồn và quyền thu thập.
  2. Gửi yêu cầu lấy nội dung.
  3. Chọn dữ liệu cần lấy.
  4. Chuẩn hóa và kiểm tra.
  5. Lưu kết quả cùng thông tin nguồn.

Bài tham khảo của Decodo cũng phân biệt việc lấy HTML với xử lý trang phụ thuộc JavaScript. Nguồn: hướng dẫn JavaScript web scraping.

Nếu website có API chính thức phù hợp và bạn được quyền sử dụng, hãy đánh giá phương án đó trước khi trích xuất từ giao diện.

Nên dùng fetch, Cheerio hay Playwright?

Công cụ Vai trò Giới hạn cần nhớ
fetch Gửi yêu cầu HTTP và đọc phản hồi Không tự dựng giao diện hay chạy JavaScript của trang
Cheerio Phân tích HTML, chọn và đọc phần tử Không phải trình duyệt
Playwright Điều khiển trình duyệt, chạy và tương tác với trang Cần quản lý thêm tài nguyên và trạng thái trình duyệt

HTML đã có dữ liệu: bắt đầu bằng fetch và Cheerio

Node.js cung cấp fetch để gửi yêu cầu. Cheerio nhận HTML và cho phép truy vấn phần tử bằng cú pháp gần với jQuery. Nguồn: Node.js fetch, giới thiệu Cheerio.

Cách này phù hợp khi tên, giá hoặc thông tin cần lấy đã có trong phản hồi HTML.

Dữ liệu chỉ xuất hiện sau tương tác: xem xét trình duyệt

Nếu trang cần chọn bộ lọc, bấm nút hoặc chạy JavaScript để hiển thị dữ liệu, bạn có thể cần Playwright.

Đừng bật trình duyệt tự động chỉ vì website được viết bằng một framework JavaScript. Câu hỏi cần trả lời là dữ liệu mục tiêu có nằm trong phản hồi bạn đã nhận hay không.

Chuẩn bị môi trường Node.js

Dùng một phiên bản Node.js LTS còn được hỗ trợ và tương thích với thư viện bạn cài. Kiểm tra:

node -v
npm -v

Tạo thư mục thực hành rồi chạy:

npm init -y
npm install cheerio

Trong ví dụ dưới đây, file dùng đuôi .mjs, nên có thể sử dụng cú pháp import mà không phải sửa trường type trong package.json.

Nguồn thực hành là Books to Scrape, một website sandbox dành cho việc học lấy dữ liệu. Giá và thông tin ở đó không nên được dùng như dữ liệu thị trường.

Ví dụ lấy tên sách, giá và URL bằng JavaScript

Tạo file scraper.mjs với nội dung:

import * as cheerio from "cheerio";
import { setTimeout as delay } from "node:timers/promises";

const startUrl = "https://books.toscrape.com/";
const allowedOrigin = new URL(startUrl).origin;
const records = new Map();

let nextUrl = startUrl;

for (let page = 0; page < 2 && nextUrl; page++) {
  const response = await fetch(nextUrl, {
    signal: AbortSignal.timeout(15000),
  });

  if (!response.ok) {
    throw new Error(`HTTP ${response.status}: ${nextUrl}`);
  }

  const contentType = response.headers.get("content-type") ?? "";
  if (!contentType.includes("text/html")) {
    throw new Error(`Phản hồi không phải HTML: ${nextUrl}`);
  }

  const html = await response.text();
  const $ = cheerio.load(html);
  const cards = $("article.product_pod");

  if (cards.length === 0) {
    throw new Error(`Không tìm thấy sản phẩm: ${nextUrl}`);
  }

  cards.each((_, element) => {
    const card = $(element);
    const link = card.find("h3 a");
    const href = link.attr("href");
    const title = link.attr("title")?.trim();
    const priceText = card.find(".price_color").text().trim();
    const price = Number(priceText.replace("£", ""));

    if (!href || !title || !priceText || !Number.isFinite(price)) {
      throw new Error("Bản ghi thiếu hoặc sai dữ liệu");
    }

    const url = new URL(href, response.url).href;

    records.set(url, {
      title,
      price,
      currency: "GBP",
      url,
      sourcePage: response.url,
      collectedAt: new Date().toISOString(),
    });
  });

  const href = $("li.next a").attr("href");
  nextUrl = href ? new URL(href, response.url).href : null;

  if (nextUrl && new URL(nextUrl).origin !== allowedOrigin) {
    throw new Error("Liên kết phân trang nằm ngoài phạm vi");
  }

  if (nextUrl && page < 1) {
    await delay(1000);
  }
}

console.log(JSON.stringify([...records.values()], null, 2));

Chạy bằng:

node scraper.mjs

Đoạn mã giới hạn ở hai trang để dễ quan sát. Khoảng nghỉ một giây là lựa chọn cho ví dụ, không phải mức truy cập phù hợp với mọi website.

Những phần quan trọng trong ví dụ

response.ok giúp phát hiện mã HTTP không thành công. Nếu bỏ qua bước này, bạn có thể đang phân tích một trang lỗi mà không biết.

AbortSignal.timeout đặt thời hạn cho yêu cầu, tránh chờ vô hạn.

Cheerio tìm từng thẻ sách rồi đọc tiêu đề, giá và liên kết. new URL() chuyển đường dẫn tương đối thành URL đầy đủ theo trang phản hồi.

Map dùng URL sản phẩm làm khóa để hạn chế bản ghi trùng trong phạm vi ví dụ. Cách nhận diện trùng ở dự án thật có thể cần thêm quy tắc.

Vì sao phải giữ giá gốc hoặc đơn vị tiền tệ?

Con số 19.99 chưa đủ ý nghĩa nếu không biết là GBP, USD hay một đơn vị khác.

Ví dụ này chỉ áp dụng cách đọc giá của website thực hành. Không dùng nguyên quy tắc xóa ký hiệu tiền cho mọi website vì dấu phân cách số có thể khác.

Cách xử lý phân trang và dữ liệu thiếu

Theo liên kết thay vì đoán URL

Trong ví dụ, scraper đọc liên kết “next” trên trang. Điều này dễ kiểm soát hơn việc tự nối số trang khi chưa biết quy tắc.

Với website thật, cần xác định phân trang dạng liên kết, nút tải thêm hay cuộn vô hạn. Mỗi kiểu cần cách xử lý riêng.

Luôn đặt giới hạn số trang hoặc số bản ghi. Một lỗi phân trang không nên khiến chương trình chạy mãi.

Không tự biến dữ liệu thiếu thành số 0

Nếu không tìm thấy giá, lưu null hoặc trạng thái lỗi theo quy ước của dự án. Số 0 thường mang ý nghĩa khác với “không có dữ liệu”.

Tương tự, tiêu đề trống có thể là lỗi selector hoặc phản hồi không đúng trang, không nhất thiết là sản phẩm không có tên.

Kiểm tra một mẫu thủ công

Sau lượt chạy đầu, mở một số URL và đối chiếu:

  • Tên có bị cắt ngắn không?
  • Giá thuộc đúng biến thể chưa?
  • Đơn vị tiền tệ có chính xác không?
  • URL có trỏ đúng bản ghi không?
  • Có lẫn nội dung không liên quan không?

Số lượng dòng nhiều chưa chứng minh dữ liệu dùng được.

Khi nào chuyển sang Playwright?

Cân nhắc Playwright khi HTML ban đầu không chứa dữ liệu nhưng trình duyệt hiển thị sau khi trang chạy.

Quy trình nên là: mở trang, chờ dấu hiệu cụ thể cho biết dữ liệu đã có, thực hiện tương tác cần thiết rồi trích xuất.

Không nên dùng một khoảng chờ cố định làm bằng chứng trang đã tải xong. Một phần tử xuất hiện cũng có thể vẫn chứa nội dung tạm, vì vậy cần chờ đúng điều kiện dữ liệu. Nguồn: các phương thức chờ của Playwright.

Với trang cuộn vô hạn, phải đặt điều kiện dừng: đủ bản ghi, không xuất hiện mục mới hoặc chạm giới hạn thời gian. Không cuộn vô hạn theo nghĩa đen.

Xử lý lỗi khi scraper chạy thật

HTTP thành công nhưng không có dữ liệu

Có thể selector đã thay đổi, bạn nhận nhầm trang hoặc nội dung chỉ xuất hiện sau JavaScript.

Lưu URL, trạng thái và một phần phản hồi phù hợp để chẩn đoán. Không ghi bí mật hoặc dữ liệu cá nhân vào log.

Bị giới hạn yêu cầu

Đừng retry mọi lỗi ngay lập tức. Cần phân biệt lỗi tạm thời với việc website từ chối hoặc giới hạn truy cập.

Đặt số lần thử tối đa, khoảng chờ và điều kiện dừng. Khi có hướng dẫn từ máy chủ, xử lý theo hướng dẫn đó.

Website đổi bố cục

Tách logic lấy nội dung và logic trích xuất. Giữ một mẫu HTML hợp lệ để kiểm thử parser sau khi sửa selector.

Nhờ vậy, bạn có thể kiểm tra quy tắc đọc dữ liệu mà không phải gửi lại hàng loạt yêu cầu tới nguồn.

Có cần dùng proxy khi scraping bằng JavaScript không?

Không phải mọi scraper đều cần proxy. Với website của bạn, nguồn thực hành hoặc nguồn có quyền truy cập phù hợp, kết nối trực tiếp có thể đã đủ.

Proxy cần được đánh giá khi dự án có yêu cầu quản lý IP đầu ra hoặc kiểm thử theo vị trí. Nó không sửa selector, không chạy JavaScript thay trình duyệt và không xác minh dữ liệu.

Nếu công việc cần một kết nối riêng để thử nghiệm, có thể xem proxy IPv4 tại Proxify. Nếu cần bối cảnh thị trường trong nước, đối chiếu proxy Việt Nam.

Với Node.js, hãy kiểm tra cơ chế cấu hình đúng của HTTP client. Không mặc định mọi tham số proxy trong ví dụ Axios đều áp dụng cho fetch; Node.js có cơ chế dispatcher riêng. Nguồn: custom dispatcher của Node.js.

Checklist trước khi mở rộng quy mô

  • Nguồn và loại dữ liệu có được phép thu thập không?
  • Có API chính thức phù hợp hơn không?
  • Dữ liệu nằm trong HTML hay cần JavaScript?
  • Đã giới hạn số trang, thời gian và số lần thử chưa?
  • Có phát hiện trang lỗi hoặc dữ liệu trống không?
  • Có lưu nguồn và thời điểm thu thập không?
  • Đã kiểm tra mẫu kết quả bằng tay chưa?
  • Bí mật và thông tin cá nhân có được loại khỏi log không?

Nếu kết hợp agent để lựa chọn trang, bổ sung giới hạn phạm vi và quyền gọi công cụ. Xem thêm quy trình Agentic Web Scraping.

Câu hỏi thường gặp

Cheerio có chạy JavaScript của website không?

Không. Cheerio phân tích HTML được cung cấp, không thay thế trình duyệt.

Scraper trả về mảng rỗng có phải do IP bị chặn không?

Chưa đủ cơ sở kết luận. Cần kiểm tra phản hồi, selector và cách dữ liệu được tải.

Dùng proxy có lấy được mọi website không?

Không. Kết quả phụ thuộc quyền truy cập, website, cấu hình và nhiều điều kiện khác.

Kết luận

Hãy bắt đầu bằng việc tìm đúng vị trí dữ liệu. Với HTML đã có nội dung, fetch và Cheerio là cách thực hành rõ ràng. Chỉ thêm trình duyệt khi tác vụ cần đến nó.

Một scraper hữu ích phải biết báo lỗi, dừng đúng lúc và trả dữ liệu có thể kiểm chứng, thay vì chỉ in được một bảng dài.

© 2026 Proxify.vn. All rights reserved.

Bảo mật · An toàn · Tự động