سلام دوستای عزیز. موضوع امروز مدرسه وردپرس درباره بهینه سازی فایل robots.txt برای سئو هستش. اما بهتره در ابتدا بدونیم که اصن چرا فایل robots.txt براس سئو مهم و ضروری است. در این مقاله از مدرسه وردپرس یاد میگیریم که فایل robots.txt را بهینه کنیم و همچنین نکات مفیدی درباره این فایل را خواهیم گفت.
ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.
این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.
آیا واقعا به فایل robots.txt نیاز داریم؟
این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید
اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید
این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )
نحوه استفاده از فایل robots.txt
فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.
در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.
این یک نمونه کد فایل robots.txt است:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
بهینه سازی فایل robots.txt برای سئو
بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.
البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید
همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد
ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..
فایل نقشه سایت را در robots.txt قرار دهید
اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.
به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
یک فایل robots.txt استاندارد چگونه خواهد بود؟
راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
اینم یه نمونه دیگه:
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.sample.com/post-sitemap.xml Sitemap: http://www.sample.com/page-sitemap.xml Sitemap: http://www.sample.com/deals-sitemap.xml Sitemap: http://www.sample.com/hosting-sitemap.xml
بسیار خب مقاله امروز مدرسه وردپرس به پایان رسید. امیدوارم خوشتون اومده باشه
موفق باشید
منبع : How to Optimize Your WordPress Robots.txt for SEO
مطلب خوبی بود…فقط اگر امکان هست کدهای بیشتری را هم برای این فایل بگذارید..باتشکر
سلام دوست عزیز. این فایل نمونه کدهای زیادی نداره. چرا که کاملا شخصیه و شما متناسب با نیازتون بهش کد اضافه می کنید. اما کد دومی که قرار دادم مناسبه
سلام
خیلی خیلی ممنون
خیلی وقت بود دنبال چنین آموزشی بودم
خدا قوت …
سلام ..سایت خیلی خوبی دارین من هر روز ازش استفاده میکنم .. الناز جان واقعا ممنون
آموزش های خیلی جامعی دارید با تشکر
سلام ممنون خوب بود
مطلب خوبی بود مرسی از انتشار و توضیح مختصر و کاملتون
انجام دادم حالا تا تاثیرشو ببینیم
سلام خسته نباشید خیلی مطالب خوبی میزارید ممنون از سایت خوبتون
از کجا میتونم بفهمم که یک سایت فایل روبوت داره یا نه؟
سلام دوست من. فایل robots.txt در روت هاست قرار میگیره (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) اگر چنین فایلی وجود نداشت یعنی سایت robots.txt ندارد
با سلام
خسته نباشید
یه سوال داشتم
به نظرتون خط سوم از دستور اول مشکل نداره؟!!!
ممنون میشم بررسی بفرمایید
سلام دوست عزیز. نه چه مشکلی؟
سلام بسیار آموزنده و مفید بود
ممنون اموزش خوبی بود ،، کامل بود
ممنونم
همانطور که در آموزش هم گفته شده، اگر سایت در گوگل وبمستر ثبت نشده، به راحتی میشه از طریق همین robots.txt آدرس سایت مپ رو در موتور جستجو ثبت کرد.
سلام
میخواستم بپرسم چطوری متن “نوشته های تازه ” رو از قسمت سایدبار عوض کرد ؟؟
سلام دوست عزیز. از قسمت ابزارک ها نام ابزارک که نوشته های تازه هستش رو تغییر بدید
مرسی. مفید بود
عالی بود
خیلی عالی و مفید بود
مرسی از زحماتتون
کانال تلگرام
عضویت در کانال
سایر مقالات
ورود به مدرسه وردپرس
عضویت در مدرسه وردپرس