گوگل پیش نویس پروتکل الحاقی ربات ها را به رسمیت می شناسد

بر اساس آخرین اعلانات گوگل، گوگل نظرات درخواستی کاربران را به نیروی کاری مهندسی اینترنت ارسال کرده است تا مشخصات پروتکل ردپای رباتها را پس از رسیدن به استاندارد 25 ساله غیر رسمی برای اینترنت رسمی کند.

گوگل در وبلاگ خود نوشت: همراه با نویسنده اصلی پروتکل، وب مسترها و سایر موتورهای جستجو، ما مستندسازی را بر اساس نحوه استفاده از REP در وب مدرن و ارائه آن به IETF را خواهیم داشت.

پیش نویس پیشنهادات REP که بیش از 20 سال تجربه واقعی در زمینه تکیه بر قوانین robots.txt را با استفاده از Googlebot و دیگر خزنده های بزرگ مورد استفاده قرار می گیرد، و نیز حدود نیم میلیارد وب سایت که به REP متکی هستند، بازتاب می شود.

بر اساس آخرین صحبت های انجام شده اینگونه از Gary Illyes درخواست شده بود که آیا چیزی در حال تغییر است و وی در پاسخ گفته بود که خیر، هرگز.

اما امروزه مشاهده گر تغییرات هستیم. از آنجایی که پروتکل منع ورود رباتها هرگز به صورت رسمی و استاندارد نبوده و هیچ راهنمای رسمی یا قطعی برای نگهداری آن تا به امروز وجود ندارد و لازم است که با یک دستورالعمل خاصی دنبال شود. تمام موتورهای جستجو robots.txt را به عنوان یک دستورالعمل خزنده پذیرفته است، در صورتی که حتی به صورت یک استاندارد رسمی شناخته شده نیست و می تواند قابل تغییر باشد.

گوگل منابع خود را تجزیه کننده robots.txt آن را باز می کند. با این وجود، گوگل اعلام کرده است که آنها بخشی از robots.txt خود را که فایل robots.txt را تجزیه می کند باز می کند. گوگل گفت: 'ما کتابخانه سی را عرضه می کند که سیستم های تولید ما برای تجزیه و تحلیل و تطابق قوانین در فایل های robots.txt استفاده می کنند. اگر شما تمایل به دریافت اطلاعات بیشتر هستید می توانید این کتابخانه را در Github امروز ببینید.

به یاد داشته باشید، اینترنت این استاندارد را به مدت 25 سال بدون استفاده از این استاندارد رسمی استفاده کرده است. بنابراین روشن نیست که چه چیزی در آینده ممکن است تغییر کند. اما در حال حاضر، اگر شما خزنده خود را ایجاد می کنید، می توانید از تجزیه کننده robots.txt گوگل برای کمک به خود استفاده کنید.