60 ثانیه هفتم :: نحوه نوشتن robot.txt

آخر هر هفته و این بار نیز با یک دقیقه سکوت جدید، با موضوع" نحوه نوشتن robot.txt" شصت ثانیه هفتم را آماده شنیده شدن کرده ام.

یک دقیقه سکوت یک مجموعه شنیدنی! و خیلی کوتاه که فقط در 60 ثانیه هر هفته با معرفی یک ترفند جدید طراحی سایت به معرفی انواع تکنیک های کاربردی در پیاده سازی وب سایت ها می پردازد.

-          robot.txt  چیست؟

-          اهمیت استفاده از robot.txtدر سایت ها؟

-         قواعد نگارش دستورات روبات؟

-          و...

پیوست ضمیمه:

چگونه یکRobot.txt بسازیم؟
فایل روبات دارای یک فرمت خاص می باشد.این فایل شامل خطوطی است که در این خطوط دو فیلد وجود دارد: User-Agent وDisallow

<Field> “:” <value>

User-agent
این قسمت نام پیمایشگر را مشخص میکند:

Disallow
در این قسمت مسیر فایل ها یا پوشه های مورد نظر را تعریف می کنیم.

مثال:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /web

Disallow: /flashsite

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

Sitemap: http://www.drupalcenter.ir/sitemap. xml