آموزش ویرایش فایل robots.txt در وردپرس

فایل robots.txt فایلی است که با استفاده از آن می توانید با ربات های موتور جستجو صحبت کرده و دستورالعمل های خاصی را به آنها بدهید. بنابراین مشخص است که می تواند تعیین کننده استراتژی سئو سایت وردپرس شما باشد و تنظیم درست آن در بهبود سئو مؤثر است.

Robots.txt یک فایل ساده و در عین حال مهم است که می تواند سرنوشت وب سایت وردپرس شما را در صفحات نتایج موتور جستجو (SERP) تعیین کند. خطاهای Robots.txt از جمله رایج ترین خطاهای سئو هستند. در حقیقت، حتی با تجربه ترین متخصصان سئو هم در معرض خطاهای robots.txt هستند. بیشتر وب سایت ها دارای فایل robots.txt هستند اما بسیاری از مدیران سایت ها نمی دانند این فایل چیست و چه کاربردی دارد.

فرمت فایل robots.txt

در یک سایت وردپرس می توان قوانین زیر را در فایل robots.txt اعمال کرد.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/sitemap-index.xml

فرمت این فایل بسیار ساده است. اولین خط آن معمولاً نام user agent است. user agent نام ربات جستجویی است که می خواهید با آن ارتباط برقرار کنید. به عنوان مثال Googlebot یا Bingbot. آیکون * به معنای ارتباط برقرار کردن با تمام user agent ها است.

خط بعدی شامل دستورالعمل های Allow مجاز بودن و Disallow غیر مجاز بودن برای موتورهای جستجو است. به این صورت ربات ها می فهمند شما از آنها می خواهید کدام قسمت را ایندکس کرده و کدام قسمت را ایندکس نکنند.

برای مثال، دستورالعمل بالا در فایل robots.txt به ربات های جستجو اجازه ایندکس کردن تمام فایل ها و تصاویر وردپرس را می دهد. اما اجازه خزیدن در فایل افزونه های وردپرس، بخش مدیریت وردپرس، فایل readme وردپرس و لینک های افیلیت را نمی دهد.

هشدار:

در دستورالعمل های وبمستر گوگل به وبمستران توصیه شده است که از این فایل برای پنهان کردن محتوای کم کیفیت سایت خود استفاده نکنند. استفاده از فایل robots.txt برای جلوگیری از ایندکس کردن دسته ها، برچسب ها، تاریخ و دیگر صفحات آرشیو انتخاب هوشمندانه ای به نظر نمی رسد. شما با استفاده از افزونه Yoast SEO می توانید متا تگ های noindex و nofollow را به محتوایی که نمی خواهید ایندکس شود، اضافه کنید.

همچنین استفاده از فایل robots.txt برای متوقف کردن ربات های جستجو از ایندکس محتوای دوپلیکیت توصیه نمی شود و برای این کار بهتر است از روش دیگری استفاده کنید.

آموزش ساخت فایل robots.txt در وردپرس

وردپرس به صورت پیش فرض یک فایل robots.txt مجازی را به صورت خودکار برای سایت شما می سازد. می توانید با اضافه کردن “robots.txt/” به انتهای نام دامنه خود این موضوع را بررسی کنید.

اما از آنجا که این فایل مجازی است نمی توانید آن را ویرایش کنید. اگر می خواهید خودتان این فایل را ویرایش کنید باید یک فایل در سرور ایجاد کنید.

دو روش برای ساخت آن در وردپرس وجود دارد. شما می توانید هر کدام از روش ها را که در سایت شما بهتر کار می کند، انتخاب کنید.

روش ۱: استفاده از افزونه Yoast SEO

اگر از افزونه Yoast SEO در سایت وردپرسی خود استفاده می کنید، این افزونه یک تولید کننده فایل robots.txt دارد که می توانید از آن برای تولید و ویرایش مستقیم از پیشخوان وردپرس استفاده کنید.

برای این کار کافی است در پیشخوان وردپرس به مسیر Yoast SEO » ابزارها رفته و روی لینک “ویرایشگر فایل” کلیک کنید.

در صفحه بعد فایل robots.txt موجود در سایت شما نشان داده می شود. اگر این فایل در سایت شما وجود نداشته باشد با کلیک روی دکمه “ایجاد پرونده robots.txt” افزونه Yoast یکی برای شما درست خواهد کرد.

تولید کننده فایل robots.txt افزونه Yoast به صورت پیش فرض فایل زیر را ارائه خواهد داد.

شما می توانید طبق دستورالعملی که در بخش قبلی آموزش داده شد، فایل robots.txt خود را ویرایش و بهینه سازی کنید. بعد از اینکه کار شما به پایان رسید روی دکمه “ذخیره تنظیمات به robots.txt” کلیک کنید تا تغییرات شما ذخیره شود.

روش ۲: استفاده از افزونه All In One SEO

اگر از افزونه All In One SEO استفاده می کنید می توانید فایل robots.txt را در رابط افزونه ایجاد و ویرایش کنید. تنها کاری که باید انجام دهید این است که در پیشخوان وردپرس به مسیر All In One SEO » ابزار بروید. شما به صورت پیش فرض وارد بخش ویرایشگر robots می‌شوید.

پس از آن می توانید این فایل را به راحتی ویرایش و مدیریت کنید.