Tạo file robots.txt cho website

Soạn quy tắc Allow hoặc Disallow cho nhóm User-agent * và thêm địa chỉ sitemap nếu có. Xem kỹ đường dẫn trước khi xuất bản: robots.txt hướng dẫn crawl, không bảo vệ dữ liệu riêng tư hoặc yêu cầu Google bỏ index URL.

Soạn quy tắc và xem file

Nhập URL đầy đủ của file sitemap đã xuất bản; công cụ không tạo sitemap tại đây.
Mẫu khởi đầu để chỉnh sửa
Chọn mẫu sẽ thay các rule đang sửa. Các đường dẫn mẫu có thể không tồn tại trên website của bạn.

Quy tắc cho User-agent: *

Bản nháp robots.txtChưa xuất bản

              

                
                
              

            

          

        


        

  
Từ rule đến file robots.txt

  
    
    
  1. Bắt đầu với Allow: / hoặc chọn mẫu WordPress, cửa hàng hay blog rồi sửa từng đường dẫn cho đúng website. Mẫu chỉ là điểm khởi đầu; chọn mẫu sẽ thay toàn bộ rule hiện có.
    2. 
    
  2. Thêm rule Allow/Disallow với đường dẫn bắt đầu bằng /. Bản nháp chỉ có nhóm User-agent: *; trong file có nhóm riêng cho một bot, bot đó có thể dùng nhóm riêng thay cho nhóm chung.
    3. 
    
  3. Nếu đã có sitemap, nhập URL đầy đủ. Rà file xem trước, tải robots.txt rồi đặt tại /robots.txt ở gốc đúng host và giao thức. Nếu website đã có file này, hãy ghép rule cần thiết thay vì ghi đè nội dung đang dùng.
    4. 
  






  
Kiểm tra các rule dễ gây nhầm lẫn

  

    

      
Trong fileÝ nghĩaViệc cần rà

      
        
Disallow: /Chặn crawl toàn bộ website với bot tuân thủ nhóm này.Chỉ dùng khi thực sự muốn chặn cả site; kiểm tra lại sau khi xuất bản.

        
Disallow: /folder/Chặn đường dẫn có tiền tố /folder/. Đường dẫn phân biệt chữ hoa/thường.Đối chiếu đường dẫn thật; tránh chặn CSS/JS cần để Google hiểu trang.

        
Allow: /folder/pageCho phép một đường dẫn cụ thể hơn khi có rule Disallow rộng hơn.Kiểm tra cặp rule thực tế; thứ tự dòng không thay thế quy tắc khớp đường dẫn.

        
Sitemap: https://…Khai báo URL tuyệt đối của sitemap, không tự tạo hay gửi sitemap.Mở URL để chắc chắn file tồn tại và chứa đúng trang cần khám phá.

      
    

  






  
Robots.txt kiểm soát điều gì?

  
Công cụ dựng file và kiểm tra định dạng đường dẫn/URL sitemap trong trình duyệt; không tải website, kiểm tra quyền truy cập hay kiểm định crawler sẽ tuân thủ rule. Robots.txt là file công khai, không phải cách giấu trang nhạy cảm. Một URL bị Disallow vẫn có thể xuất hiện trong kết quả tìm kiếm nếu Google biết URL đó từ nơi khác.

  
Nếu cần bảo vệ nội dung, dùng xác thực truy cập. Nếu muốn ngăn lập chỉ mục, dùng noindex trên trang Google được phép crawl; chặn crawl có thể khiến Google không đọc được noindex. Sau khi đăng, mở URL /robots.txt trên đúng host rồi kiểm tra một URL quan trọng bằng URL Inspection trong Search Console. Hướng dẫn robots.txt của Google.



        






          
    

      

        
        
Bình luận & góp ý

      

      

      

        
Đánh giá

                  

        
Đang tải đánh giá…

        

      

      

        
        Viết bình luậnKhông cần đăng nhập
        
      
        

          
          
Tối đa 4.000 ký tự0 / 4.000

          

          
          
Không chia sẻ mật khẩu, thông tin nhạy cảm hoặc nội dung tệp đang xử lý.

          
Duyệt trước khi đăng. Email không công khai.