robots.txt

Hướng dẫn cách tạo và sử dụng file robots.txt

Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm[.....]