سلام دوستای عزیز. موضوع امروز مدرسه وردپرس درباره بهینه سازی فایل robots.txt برای سئو هستش. اما بهتره در ابتدا بدونیم که اصن چرا فایل robots.txt براس سئو مهم و ضروری است. در این مقاله از مدرسه وردپرس یاد میگیریم که فایل robots.txt را بهینه کنیم و همچنین نکات مفیدی درباره این فایل را خواهیم گفت.

ممکنه سوال بپرسید که اصن این فایل چرا میتونه برای سایت ما مفید باشه؟ در جواب این سوال باید بگم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما داره.

این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنینبه موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

robots.txt در وردپرس

آیا واقعا به فایل robots.txt نیاز داریم؟

این رو باید بدونید که اگر این فایل رو نداشته باشید باعث نمیشه که موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند. با این حال خیلی زیاد توصیه می کنیم که این فایل رو بسازید

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید

این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )

 

نحوه استفاده از فایل robots.txt

فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

 

بهینه سازی فایل robots.txt برای سئو

بسیار خب در اینجا نحوه بهینه سازی فایل robots.txt رو میگم.

البته این رو به یاد داشته باشید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگم که این کار اصن عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید

همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد

 

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …..

 

فایل نقشه سایت را در robots.txt قرار دهید

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر :

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

یک فایل robots.txt استاندارد چگونه خواهد بود؟

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند

 

اینم یه نمونه دیگه:

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.sample.com/post-sitemap.xml
Sitemap: http://www.sample.com/page-sitemap.xml
Sitemap: http://www.sample.com/deals-sitemap.xml
Sitemap: http://www.sample.com/hosting-sitemap.xml

 

بسیار خب مقاله امروز مدرسه وردپرس به پایان رسید. امیدوارم خوشتون اومده باشه

موفق باشید

منبع : How to Optimize Your WordPress Robots.txt for SEO

 

کلمات کلیدی: ،

20 دیدگاه برای “بهینه سازی فایل robots.txt برای سئو

  • حسن
    - ۱ خرداد , ۱۳۹۴

    مطلب خوبی بود…فقط اگر امکان هست کدهای بیشتری را هم برای این فایل بگذارید..باتشکر

    • الناز
      - ۲ خرداد , ۱۳۹۴

      سلام دوست عزیز. این فایل نمونه کدهای زیادی نداره. چرا که کاملا شخصیه و شما متناسب با نیازتون بهش کد اضافه می کنید. اما کد دومی که قرار دادم مناسبه

  • افشین
    - ۱۰ خرداد , ۱۳۹۴

    سلام
    خیلی خیلی ممنون
    خیلی وقت بود دنبال چنین آموزشی بودم
    خدا قوت …

  • nazanin
    - ۱ تیر , ۱۳۹۴

    سلام ..سایت خیلی خوبی دارین من هر روز ازش استفاده میکنم .. الناز جان واقعا ممنون

  • گالری عکس
    - ۲۲ تیر , ۱۳۹۴

    آموزش های خیلی جامعی دارید با تشکر

  • تلخاب
    - ۲۹ تیر , ۱۳۹۴

    سلام ممنون خوب بود

  • هادی قربانی
    - ۲۳ مرداد , ۱۳۹۴

    مطلب خوبی بود مرسی از انتشار و توضیح مختصر و کاملتون

  • عکاسی صنعتی
    - ۲۵ مرداد , ۱۳۹۴

    انجام دادم حالا تا تاثیرشو ببینیم

  • خريد خودرو
    - ۲۶ شهریور , ۱۳۹۴

    سلام خسته نباشید خیلی مطالب خوبی میزارید ممنون از سایت خوبتون
    از کجا میتونم بفهمم که یک سایت فایل روبوت داره یا نه؟

    • الناز
      - ۲۸ شهریور , ۱۳۹۴

      سلام دوست من. فایل robots.txt در روت هاست قرار میگیره (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) اگر چنین فایلی وجود نداشت یعنی سایت robots.txt ندارد

  • فلزیاب
    - ۱۹ مهر , ۱۳۹۴

    با سلام
    خسته نباشید
    یه سوال داشتم
    به نظرتون خط سوم از دستور اول مشکل نداره؟!!!
    ممنون میشم بررسی بفرمایید

    • الناز
      - ۲۳ مهر , ۱۳۹۴

      سلام دوست عزیز. نه چه مشکلی؟

  • جوکار
    - ۲۳ مهر , ۱۳۹۴

    سلام بسیار آموزنده و مفید بود

  • نوين
    - ۱۸ آبان , ۱۳۹۴

    ممنون اموزش خوبی بود ،، کامل بود

    ممنونم

  • وبفا
    - ۱۹ آذر , ۱۳۹۴

    همانطور که در آموزش هم گفته شده، اگر سایت در گوگل وبمستر ثبت نشده، به راحتی میشه از طریق همین robots.txt آدرس سایت مپ رو در موتور جستجو ثبت کرد.

  • فرنام
    - ۲۸ بهمن , ۱۳۹۴

    سلام
    میخواستم بپرسم چطوری متن “نوشته های تازه ” رو از قسمت سایدبار عوض کرد ؟؟

    • الناز
      - ۳ اسفند , ۱۳۹۴

      سلام دوست عزیز. از قسمت ابزارک ها نام ابزارک که نوشته های تازه هستش رو تغییر بدید

  • صنم
    - ۲۳ اسفند , ۱۳۹۴

    مرسی. مفید بود

  • madhi
    - ۲۷ اردیبهشت , ۱۳۹۵

    عالی بود

  • آیرو موزیک
    - ۲۶ خرداد , ۱۳۹۵

    خیلی عالی و مفید بود
    مرسی از زحماتتون

دیدگاه خود را بیان کنید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

-- بارگیری کد امنیتی --