Sitemap và robots.txt
Tạo sitemap XML và robots.txt đúng chuẩn; hiểu sitemap chỉ là gợi ý và robots.txt không dùng để chặn lập chỉ mục.
- Viết sitemap XML hợp lệ với URL chính tắc, tuyệt đối.
- Viết robots.txt quản lý crawl mà không chặn nhầm tài nguyên.
- Dùng noindex đúng chỗ khi muốn trang không xuất hiện trên Google.
Sitemap: danh sách URL bạn muốn Google biết
Sitemap là tệp liệt kê các trang, video, hình ảnh quan trọng trên site cùng thông tin liên quan, giúp Google crawl hiệu quả hơn. Site nhỏ, liên kết nội bộ tốt có thể không cần sitemap, nhưng sitemap hữu ích với site mới ít liên kết từ bên ngoài, site lớn hoặc có nhiều nội dung đa phương tiện.
- Định dạng phổ biến nhất là XML; Google cũng hỗ trợ RSS/Atom và tệp văn bản thuần.
- Mỗi tệp sitemap tối đa 50.000 URL hoặc 50 MB (chưa nén); vượt quá thì chia nhỏ và dùng sitemap index.
- Dùng URL tuyệt đối, đầy đủ (https://…), chỉ liệt kê URL chính tắc trả mã 200.
- Google bỏ qua priority và changefreq; dùng lastmod nếu giá trị này chính xác nhất quán.
- Khai báo sitemap qua Search Console hoặc dòng Sitemap: trong robots.txt.
robots.txt: quản lý lưu lượng crawl
robots.txt đặt ở thư mục gốc của host (https://tenmien.vn/robots.txt), cho crawler biết đường dẫn nào được hoặc không được truy cập. Mục đích chính là tránh làm quá tải máy chủ và không lãng phí crawl vào khu vực không quan trọng. Mỗi host và giao thức (ví dụ www và không www, http và https) có robots.txt riêng.
Muốn trang KHÔNG xuất hiện trên Google
- Gắn <meta name="robots" content="noindex"> hoặc header X-Robots-Tag: noindex.
- Để Google crawl được trang để đọc chỉ thị noindex.
- Với nội dung riêng tư: bảo vệ bằng mật khẩu/đăng nhập.
Cách làm sai
- Chặn trang trong robots.txt và nghĩ rằng trang sẽ không bị index.
- Vừa chặn robots.txt vừa gắn noindex (Google không đọc được noindex).
- Đặt Disallow: / trên site thật sau khi copy từ bản staging.
Bài tập thực hành
Viết sitemap.xml cho 3–10 trang của site và một robots.txt phù hợp. Kiểm tra mọi URL trong sitemap trả mã 200 và là URL chính tắc.
Gợi ý: Chỉ liệt kê trang muốn xuất hiện trên Google; trang cảm ơn sau khi gửi form, trang quản trị không đưa vào sitemap.
- Sitemap hợp lệ XML, dùng URL https tuyệt đối.
- Không có URL noindex, chuyển hướng hay 404 trong sitemap.
- robots.txt không chặn trang quan trọng và CSS/JS.
- robots.txt có dòng Sitemap: trỏ đúng tệp.
- Trang cần ẩn khỏi Google dùng noindex, không dùng robots.txt.
Kiểm tra kiến thức
- Chặn trong robots.txt
- Gắn meta robots noindex và để Google crawl được trang
- Xóa khỏi sitemap là đủ
- Đổi title thành “không index”
Xem đáp án
B. Gắn meta robots noindex và để Google crawl được trang — robots.txt không phải cơ chế chặn index. noindex chỉ có hiệu lực khi Google crawl được trang và đọc chỉ thị.
- priority
- changefreq
- lastmod
- Cả ba đều bắt buộc
Xem đáp án
C. lastmod — Google bỏ qua priority và changefreq; lastmod được dùng nếu nhất quán và chính xác.
- 1.000 URL
- 50.000 URL hoặc 50 MB chưa nén
- Không giới hạn
- 10 MB nén
Xem đáp án
B. 50.000 URL hoặc 50 MB chưa nén — Theo tài liệu sitemaps, mỗi tệp tối đa 50.000 URL hoặc 50 MB chưa nén; vượt quá thì chia nhỏ và dùng sitemap index.