سلام دوستای عزیز. موضوع امروز مدرسه وردپرس درباره بهینه سازی فایل robots.txt برای سئو هستش. اما بهتره در ابتدا بدونیم که اصن چرا فایل robots.txt براس سئو مهم و ضروری است. در این مقاله از مدرسه وردپرس یاد میگیریم که فایل robots.txt را بهینه کنیم و همچنین نکات مفیدی درباره این فایل را خواهیم گفت.

ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.

این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

robots.txt در وردپرس

آیا واقعا به فایل robots.txt نیاز داریم؟

این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید

این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )

 

نحوه استفاده از فایل robots.txt

فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

 

بهینه سازی فایل robots.txt برای سئو

بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.

البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید

همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد

 

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..

 

فایل نقشه سایت را در robots.txt قرار دهید

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :

 

یک فایل robots.txt استاندارد چگونه خواهد بود؟

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند

 

اینم یه نمونه دیگه:

 

بسیار خب مقاله امروز مدرسه وردپرس به پایان رسید. امیدوارم خوشتون اومده باشه

موفق باشید

منبع : How to Optimize Your WordPress Robots.txt for SEO

 

کلمات کلیدی: ،

20 دیدگاه برای “بهینه سازی فایل robots.txt برای سئو

دیدگاه خود را بیان کنید