Google thông báo ngừng sử dụng báo lỗi 4XX để giúp Bot thu thập nhanh hơn.

Trên một bài viết về googlebot Gary Illyes giám đốc phát triển tìm kiếm đã cho biết “chúng tôi nhận thấy sự gia tăng của chủ sở hữu trang web và một số mạng phân phối nội dung (CDN) cố gắng sử dụng các mã lỗi, nó làm giảm tốc độ thu thập dữ liệu của Googlebot. từ mã 403…429

Chính vì vậy mà các bạn không nên sử dụng các mã lỗi này để giảm thời gian thu thập dữ liệu cho máy chủ cũng như các website lưu trữ trên máy chủ

Nếu bạn chưa hiểu rõ về các lỗi để thiết lập trên máy chủ mình sẽ chia sẻ một chút ít về các lỗi thông báo như sau

Lỗi 4XX dành cho lỗi máy khách

Nếu bạn truy cập vào một website nào đó thường thì máy client sẽ yêu cầu một kết nối tới máy chủ, nếu có những vấn đề nào đó, máy chủ sẽ trả về lỗi đề thông báo cho người dùng hay máy client biết rằng máy chủ đang bị lỗi, nó cũng giúp cho việc người quản trị hiểu rõ vấn đề đang gặp phải, yêu cầu của khách hàng đã sai theo một nghĩa nào đó khi gửi kết nối tới máy chủ. Hầu hết các lỗi trong danh mục này là không ảnh hưởng gì tới máy chủ, ví dụ như Lỗi “không tìm thấy”, “bị cấm”, “Tôi là ấm trà” (nó là vô nghĩa).

Những thứ mà mà người quản trị thiết lập được hiển thị lõi ra nhưng có một ngoại lệ là ,đó là thông báo “quá nhiều yêu cầu” lỗi này thường xảy ra hiện tượng quá tải của server. Lỗi này là thông báo hoạt động không tốt về máy chủ đối với các robot tìm kiếm thông tin, bao gồm cả Googlebot , với việc thông báo này Google đã phải làm việc nhiều hơn để xem vấn đề máy chủ, dẫn đến nó sẽ mất thời gian hơn rất nhiều.

Tại sao lỗi 4XX không tốt cho việc giới hạn tỷ lệ Googlebot (ngoại trừ mã 429)

Những thông báo lỗi này các máy khách sẽ nhận được, các thông báo lỗi này thường không đề xuất lỗi với máy chủ, các lõi này không phải là nó quá tải, không phải là nó gặp phải một lỗi nghiêm trọng và không thể phản hồi theo yêu cầu đối với máy chủ. Chúng chỉ đơn giản có nghĩa là yêu cầu của khách hàng là không đáp ứng theo một tiêu chuẩn nào đó mà được người quản lý thiết lập, Không có cách hợp lý để đánh đồng ví dụ như lỗi với máy chủ bị quá tải với những lỗi thiết lập từ người quản lý .

Hãy tưởng tượng nếu đúng như vậy: bạn vô tình nhận được một loạt lỗi từ bạn bè của mình liên kết đến các trang không chính xác trên trang web của bạn và đến lượt Googlebot khi đu thu thập cũng sẽ theo các thông báo lỗi đó, nó sẽ chậm lại khi thu thập dữ liệu. Đó sẽ khá tệ. Tương tự như vậy đối với , 404, 403, 410, 418. Và một lần nữa, ngoại lệ lớn là mã trạng thái, có nghĩa là “quá nhiều yêu cầu”. đó là mã 429 trong các mã lỗi mà thôi.

Googlebot thu thập dữ liệu bị chậm đi với các mã 4XX

Tất cả các mã trạng thái HTTP (ngoại trừ mã 429) sẽ gây ra tác dụng ngược dẫn đến nội dung của bạn sẽ bị xóa khỏi Google Tìm kiếm.

Điều tồi tệ hơn, nếu bạn sử dụng tệp robots.txt để điều khiển cũng như thiết lập mã trạng thái HTTP, nó sẽ được Google xử lý như thể nó không tồn tại đó là điều mới hoàn toàn trong việc google tăng tốc thu thập dữ liệu của website. Nếu bạn có một quy tắc ở đó không cho phép thu thập dữ liệu trên website của bạn, giờ thì google vẫn thu thập dữ liệu website của bạn, mà không phụ thuộc vào quy tắc của bạn thiết lập nữa, chính vì vậy hãy loại bỏ những thiết lập thông báo lỗi trên file Robots hoặc những quy định không cần thiết trên máy chủ để giúp google thu thập nhanh hơn về dữ liệu của bạn.

Cach giảm Googlebot thu thập dữ liệu chậm lại nếu bạn muốn.

Nếu bạn không muốn google bot thu thập quá nhanh bạn sẽ làm những cách sau để đảm bảo đúng cách mà google sẽ làm đó là:

• Sử dụng Search Console để tạm thời giảm tốc độ thu thập dữ liệu.
• Trả về mã trạng thái , hoặc HTTP cho Googlebot khi nó thu thập quá nhanh bằng các mã . 500, 503, 429

Với nhiều sự thay đổi liên tục từ google đối với công việc tối ưu hoá công cụ tìm kiếm thì chúng ta cũng cần phải thay đổi theo, để chúng ta kịp thời vươn lên vị trí dẫn đầu, nếu bạn đang có website với các từ khoá tăng đánh giá google maps hoặc lĩnh vực bán hàng như salads ngon chẳng hạn, thì cũng cần phải tuỳ chỉnh sao cho phù hợp, Hãy theo kịp thay đổi để không bị bỏ lại các bạn nhé, đừng quên theo dõi website của chúng tôi để chúng ta có những thông tin mới từ google.