Crawling, Indexing, Ranking
Đi sâu vào crawl, render, lập chỉ mục, chọn canonical và cách hệ thống xếp hạng chọn kết quả cho từng truy vấn.
- Hiểu cách Googlebot phát hiện URL và render JavaScript.
- Biết các tín hiệu chặn index: noindex, canonical, lỗi HTTP.
- Nắm các nhóm yếu tố ảnh hưởng tới thứ hạng mà không thần thánh hóa yếu tố nào.
Crawling: phát hiện và tải trang
Googlebot bắt đầu từ các URL đã biết, đi theo liên kết để tìm URL mới, và đọc sitemap nếu bạn cung cấp. Googlebot dùng thuật toán để quyết định crawl site nào, bao lâu một lần và bao nhiêu trang; nó cũng tự giảm tốc khi máy chủ phản hồi chậm hoặc báo lỗi để tránh làm quá tải. Sau khi tải HTML, Google render trang bằng một phiên bản Chrome gần đây để thấy nội dung do JavaScript tạo ra.
- Liên kết phải là thẻ <a href="…"> thật; nút bấm chỉ chạy JavaScript (onclick) thường không được coi là liên kết để crawl.
- Tài nguyên quan trọng (CSS, JS) không nên bị chặn trong robots.txt, nếu không Google có thể render sai trang.
- Trang cần đăng nhập hoặc nằm sau tường phí thì Googlebot không xem được nội dung.
Indexing: hiểu và lưu trang
Ở giai đoạn này Google phân tích nội dung văn bản, thẻ title, thuộc tính alt, hình ảnh, video, dữ liệu có cấu trúc và xác định trang có trùng lặp với trang khác không. Các trang gần như giống nhau được gom thành một nhóm; Google chọn một trang đại diện gọi là trang chính tắc (canonical) để hiển thị. Không phải trang nào được crawl cũng được index — quyết định phụ thuộc chất lượng nội dung và metadata.
| Tín hiệu | Tác dụng tới index |
|---|---|
| meta robots noindex hoặc header X-Robots-Tag: noindex | Yêu cầu Google không đưa trang vào chỉ mục (Google phải crawl được trang mới đọc được chỉ thị này). |
| rel="canonical" trỏ sang URL khác | Gợi ý URL khác mới là bản chính; trang hiện tại có thể không được hiển thị. |
| Mã 404 / 410 | Trang không tồn tại; theo thời gian sẽ bị loại khỏi chỉ mục. |
| Mã 5xx kéo dài | Google giảm tốc crawl; nếu kéo dài, URL có thể bị loại khỏi chỉ mục. |
| Chuyển hướng 301/308 | Tín hiệu mạnh rằng URL đích là bản chính. |
Ranking: chọn kết quả cho từng truy vấn
Khi có truy vấn, hệ thống tìm trong chỉ mục những trang phù hợp và sắp xếp dựa trên rất nhiều yếu tố. Tài liệu Google nêu các nhóm chính: ý nghĩa truy vấn, mức liên quan của nội dung, chất lượng và độ tin cậy, khả năng sử dụng của trang (trong đó có trải nghiệm trang), và ngữ cảnh người dùng như vị trí, ngôn ngữ, thiết bị. Cùng một truy vấn “homestay Đà Lạt” có thể cho kết quả khác nhau giữa người ở Đà Lạt và người ở TP.HCM.
Cách hiểu đúng
- Thứ hạng do nhiều hệ thống cùng đánh giá, thay đổi theo truy vấn và người dùng.
- Nội dung hữu ích, đáng tin là nền tảng; kỹ thuật giúp Google tiếp cận nội dung đó.
- Theo dõi dữ liệu thực trong Search Console thay vì kiểm tra thứ hạng bằng tay.
Ngộ nhận thường gặp
- Có một “công thức” mật độ từ khóa chuẩn để lên top.
- Thêm structured data hay tăng tốc trang là chắc chắn tăng hạng.
- Tìm trên điện thoại mình thấy hạng 3 nghĩa là ai cũng thấy hạng 3.
Bài tập thực hành
Với một trang của bạn, kiểm tra lần lượt: mã HTTP trả về, có thẻ meta robots không, thẻ canonical trỏ tới đâu, robots.txt có chặn đường dẫn đó không. Ghi kết quả vào bảng 4 dòng.
Gợi ý: Dùng DevTools (tab Network) để xem mã HTTP; xem nguồn trang để tìm meta robots và link rel="canonical"; mở tenmien/robots.txt để xem quy tắc.
- Ghi được mã HTTP (mong đợi 200).
- Xác nhận không có noindex ngoài ý muốn.
- Canonical trỏ về chính URL đó (hoặc URL bản chính có chủ đích).
- robots.txt không chặn trang và các tệp CSS/JS quan trọng.
Kiểm tra kiến thức
- Vì noindex chỉ áp dụng cho Bing
- Vì Google không crawl được trang nên không đọc được thẻ noindex
- Vì robots.txt ưu tiên index
- Không thể xảy ra
Xem đáp án
B. Vì Google không crawl được trang nên không đọc được thẻ noindex — Muốn Google tuân theo noindex, Google phải crawl được trang. Nếu robots.txt chặn, URL vẫn có thể được index (thường không có mô tả) khi có liên kết trỏ tới.
- Phạt toàn bộ site
- Gom thành nhóm và chọn một URL chính tắc để hiển thị
- Hiển thị tất cả cạnh nhau
- Xóa site khỏi chỉ mục
Xem đáp án
B. Gom thành nhóm và chọn một URL chính tắc để hiển thị — Trùng lặp thông thường không bị phạt; Google gom nhóm và chọn canonical. Vấn đề chỉ là bạn có thể không kiểm soát được URL nào được hiển thị.
- Vị trí
- Ngôn ngữ
- Thiết bị
- Số tiền chủ site đã chi cho Google Ads
Xem đáp án
D. Số tiền chủ site đã chi cho Google Ads — Chi tiêu quảng cáo không ảnh hưởng kết quả tự nhiên. Vị trí, ngôn ngữ, thiết bị là ngữ cảnh mà Google nêu trong tài liệu.