(Mục đích ngăn không cho thu thập dữ liệu từ khóa & backlink, để che dấu và đánh lừa đối thủ)
Hướng dẫn này nghe có vẻ hơi lạ phải không anh em? Nhưng thật ra nó có mục đích cả, và đôi khi còn rất hữu ích và cần thiết (nếu anh em thấy phù hợp thì áp dụng).
1. CÁCH CHẶN BOT SEMRUSH & AHREFS
Bước 1:
Xác định User-agent của Ahrefs và Semrush: Trước tiên, bạn cần xác định user-agent của bot Ahrefs và bot Semrush. User-agent này có thể được tìm thấy trong các tài liệu hỗ trợ của Ahrefs và Semrush hoặc thông qua việc kiểm tra log truy cập của website của bạn để xem user-agent của bot Ahrefs và bot Semrush.
Bước 2:
Chỉnh sửa robots.txt: Sau khi bạn biết user-agent của Ahrefs và Semrush, bạn có thể chỉnh sửa tệp robots.txt trên trang web của mình để chặn bot đó. Ví dụ, nếu user-agent của Ahrefs là “AhrefsBot” và Semrus là”SemrushBot”, bạn có thể thêm 2 dòng sau vào tệp robots.txt:
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
Điều này có nghĩa: mọi URL trên trang web của bạn không nên được truy cập bởi bot của Ahrefs và Semrush.
Lưu ý: để chỉnh sửa robots.txt, bạn cần tài khoản hosting. Nếu bạn dùng WordPress thì có thể chỉnh sửa trực tiếp ở Rank Math SEO hoặc Yoast SEO, hoặc bạn có thể cài plugin riêng.
Bước 3:
Kiểm tra lại và lưu tệp robots.txt: Trước khi bạn lưu và triển khai thay đổi, hãy đảm bảo rằng bạn đã kiểm tra kỹ lại tệp robots.txt để tránh lỗi và sau đó lưu lại.
Như vậy việc chặn bot của Ahrefs và Semrush đã xong, khi cần mở chặn bạn chỉ việc vào chỉnh sửa robots.txt và xóa mấy dòng ở trên rồi lưu lại.
2. VÌ SAO PHẢI CHẶN BOT CỦA AHREFS VÀ SEMRUSH
Cái này thú vị nè. Có nhiều trường hợp áp dụng để chặn BOT của Ahrefs và Semrush (và việc chặn này không hề ảnh hưởng đến SEO, vì cả 2 công cụ trên chẳng liên quan hay tác động gì tới Google cả)
Những gạch đầu dòng về việc chặn BOT của Ahrefs và Semrush như sau:
– Ngăn không cho đối thủ soi được website của mình đang trong tình trạng xếp hạng như nào (vì hiện nay anh em SEO thường dùng 2 công cụ trên để spy đối thủ).
– Ngăn không cho đối thủ soi được mình đi những hệ thống backlink nào, và đi ra sao (dù rằng có nhiều công cụ để soi backlink 1 website, nhưng anh em SEO vẫn thói quen dùng 2 công cụ trên để check).
– Không cho những người khác biết chính xác hiện trạng SEO của website mình đang như thế nào (giống như khi đánh trận mà chẳng biết phía địch có bao nhiêu quân, mạnh hay yếu, lương thảo nhiều hay ít… Thì sẽ khó quyết định tiến công hay phòng thủ).
– Khi website đang có dấu hiệu lên TOP mạnh, vào chặn luôn BOT của Ahrefs và Semrush khiến cho các chỉ số trên 2 công cụ này cắm đầu mấy ông đối thủ mừng thầm vì nghĩ web mình bị phạt (họ ung dung tự tại thì mình thẳng tiến, kiểu như chuyện rùa và thỏ).
– Khi web bạn đang SEO lên, nếu chặn BOT Ahrefs và Semrush thì sẽ bớt bị đối thủ nhòm ngó và đưa bạn vào danh sách đáng để theo dõi, nói cách khác thì để cho mấy đơn vị khác nghĩ: thằng này lẹt đẹt không chấp
– Chặn BOT của Ahrefs và Semrush, nếu là SEO Agency thì sẽ làm cho mấy anh em cùng ngành SEO có biết dự án mình đang làm cũng sẽ tỏ ra “coi thường” và bớt soi mói, bớt ganh tị… Đại loại kiểu: “dự án bên ông A làm thấy đang cắm đầu, tụt không phanh”, “cái dự án kia bên ông B làm thấy chẳng lên cái gì cả”. Ở đời đôi khi bạn làm được nhiều dự án thành công, sẽ dẽ bị ganh tị và chơi xấu.
Và nhiều lý do khác. Còn về việc báo cáo khách hàng thì đơn giản rồi, bạn chỉ cần show chỉ số Google Analytics, Google Search Console và vị trí TOP từ khóa ra là khách hàng hiểu thôi (SEO trên Google chứ có SEO trên Ahrefs với Semrush đâu)
Cái này chia sẻ lúc đang vui, ai thấy thích và hữu ích thì áp dụng (anh em nào hay có sở thích chụp ảnh chỉ số xanh lét và biểu đồ dựng đứng trên 2 công cụ này để đăng Facebook thì đừng nên dùng)
P/s: SEO là việc giữa bên làm SEO và bên thuê SEO, còn thiên hạ nhìn nhận sao không quan trọng những chỉ số tốt đẹp bạn nhìn thấy trên Facebook về một dự án nào đó, đôi khi chỉ là người ta cố tình cho bạn nhìn thấy vì một mục đích riêng nào đó phía sau của họ, còn những gì bạn tự tìm hiểu thấy cũng có thể họ cố tình cho bạn thấy vậy nên mọi thứ chỉ nên dừng lại ở cái gọi là THAM KHẢO
Hình ảnh minh họa cho anh em dễ hình dung như bên dưới
#semrush #google #seo #ahrefs #robotstxt #nghienseo
By Trịnh Bảo
Trả lời