متا تگ robots.txt در طراحی سایت

امروزه بسیاری از مدیران طراحی سایت از اینکه موتورهای جستجو سایت شان را ایندکس گذاری کند بسیار خوشنود و رضایت دارند ولی زمان هایی است که تمایل ندارند این موضوع رخ دهد یعنی یا اینکه کل سایت شان را ایندکس نکند یا فقط صفحه خاصی را به طور مشخص در نظر گرفته نشود. در حالت عالی تمامی خزنده های موتورهای جستجو تمایل دارند تا کل سایت شما را پیمایش کرده و به تمامی صفحات و شاخه ها نیز دسترسی دارند.

طراحی سایت

به طور مثال اگر در حال طراحی و توسعه سایت خود هستید بهتر است که موتورهای جستجو را از ایندکس گذاری سایت خود منع کنید تا اینکه کار طراحی سایت خود را به اتمام رسانیده باشید. خوشبختانه اگر از سیستم مدیریت محتوایی مثل وردپرس استفاده می کنید می توانید به آدرس yourwebsite.com/wp-admin/options-reading.php رفته و در بخش search engine visibility تیک گزینه “از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند” را فعال کنید. ولی متاسفانه نمی توانید مشخص کنید تا کدام یک از صفحات را بررسی کرده و کدامیک را بررسی نکند و کل سایت شما را ایندکس گذاری نمی کند.

جلوگیری از ایندکس گذاری بعضی از صفحات از اهمیت بسیاری برخوردار است به عنوان مثال فرض کنید که شما در سایتتان صفحه ای به نام صفحه دانلود داشته باشید که می توانید این صفحه را از ایندکس گذاری حذف کنید چرا که کاربران نتوانند با یک جستجوی ساده به فایل های دانلود شما دسترسی داشته باشند و اصلا وارد سایت شما نشوند.

شما با استفاده از متا تگ robots می توانید یک سری دستورات مهم را به انواع موتورهای جستجو فهمانده و با به کارگیری انواع دستورات هم از قابلیت های مهم دیگر هم استفاده کنید. متا تگ robots جزء سئوی داخلی سایت محسوب میشود و تمامی تنظیمات و تغییرات آن دست مدیر سایت یا مهندسین سئو می باشد.

به طور کلی می توان از ایت متاتگ در هدر و در بین تگ head  قرار داد که فرمت و شکل کلی آن به شکل زیر است:

<head>

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

</head>

در قسمت NAME در بسیاری از مواقع همان ROBOTS قرار داده میشود که تمامی موتورهای جستجو را در نظر می گیرد. در قسمت CONTENT هم می توان انواع دستورات که در نظر داریم را اضافه کنیم. برای اینکه موتورهای جستجو سایت شما را ایندکس نکند می توان به جای ROBOTS از noindex  استفاده کرد. ولی اگر خواسته شود تا فقط برخی از موتورهای جستجو محتوای سایت را بررسی نکند باید از نام اسپایدر مشخص آن موتور جستجو استفاده کرد.

  طراحي سايت آموزشي

برخی از اسپایدر های شناخته شده در دنیای امروزی عبارتست از: googlebot –– Google News googlebot-image –– Google googlebot-news –– Google Images bingbot –– Bing teoma –– Ask . از جمله اسپایدر هایی که در این لیست به آن اشاره نشد MSNBot و Slurp  می باشند. MSNBot نام اسپایدری است که برای بررسی صفحات مربوط به LIVE استفاده می شد ولی در سال 2009 و 2010 با بینگ ادغام شد و امروزه با Bingbot  کار می کند. Slurp نام اسپایدری است که برای موتور جستجوی یاهو به کار گرفته می شد ولی در سال 2009 هم استفاده از اسپایدر به پایان رسید و امروزه از Bing استفاده می کند.

انواع دستورات متاتگ robots در طراحی وب سایت

:index این دستور اجازه برای ایندکس گذاری سایت را به موتورهای جستجو می دهد.

noindex: اجازه ایندکس گذاری صفحه و لینک های داخلی آن را مسدود می کند.3

Follow: به موتورهای جستجو اعلام می کند تمامی لینک های موجود در صفحه را دنبال کند.

noFollow: با استفاده از این دستور می توان تعیین کرد تا لینک های داخل صفحه توسط موتورهای جستجو بررسی نشود.

None: این دستور معادل دو دستور nofollow  و noindex  می باشد و می توان با این دستور همزمان تعیین مشخص کرد تا هم صفحه و همه لینک هایش ایندکس و بررسی نشود. می توان از این یک دستور به راحتی استفاده کرد ولی هنگام استفاده باید با احتیاط کامل از آن استفاده کرد.

Noimageindex: خزنده های موتورهای جستجو با این دستور اجازه و دسترسی به عکس های صفحه را نخواهند داشت البته در صورتی که آن عکس در همان صفحه قرار داشته باشد و عکس در جای دیگری لینک شده باشد می تواند آن را ایندکس کند.

Noarchive: این دستور به موتورهای جستجو اعلام می کند تا نسخه ای از این صفحه را در کش موتورهای جستجو قرار ندهد

Nosnippet: این دستور برای عدم نمایش توضیحات اضافه برای نوشته است

عدم دسترسی موتورهای جستجو با استفاده افزونه ی وردپرس

اگر از سیستم مدیریت محتوای محبوبی مثل وردپرس استفاده می کنید یکی از راحت ترین افزونه ها PC Hide Pages است که به راحتی می توانید اجازه یا عدم اجازه به ایندکس گذاری صفحاتی از وب سایت را مشخص کنید. مزیت استفاده از این افزونه این است که به راحتی و با یک نگاه می توان مشاهده کرد که کدام صفحه یا صفحاتی از دید موتورهای جستجو مخفی است و کدام صفحه یا صفحاتی ایندکس می شود.

  طراحي سايت در شرق تهران

اگر هم از افزونه هایی که برای سئو استفاده می شود نظیر Yoast و All in One SEO Pack استفاده میکنید این قابلیت در این افزونه ها وجود دارد.

اعمال دستورات با استفاده از فایل robots.txt

دستوراتی که برای قسمت قبلی معرفی شد برای این قسمت هم صادق است و تنها تفاوت های جزئی موجود است به عنوان مثال برای دستور

User-agent: Googlebot

این خط کد نشان دهنده آن است تا دستورات برای اسپایدر گوگل تنظیم شود اگر به جای googlebot از اسپایدر bingbot تنظیم شده بود نمایانگر اجرا برای موتور جستجوی بینگ است. البته این دستور useagent به طور کلی به صورت زیر به کار گیری می شود.

User-agent:*

که در این صورت عنوان می کند تا برای تمامی موتورهای جستجو اعمال گردد.

اگر بخواهیم تمامی موتورهای جستجو را از ایندکس گذاری صفحات منع کنیم می توانیم از دستوری به شکل زیر استفاده کنیم.

User-agent: *
Disallow: /

بسیاری پیش می آید که بخواهیم دایرکتوری های خاصی از سایت را از ایندکس گذاری منع کنیم این مورد بسیار پیش می آید چرا که ممکن است بسیاری از دایرکتوری ها نیازی به بررسی توسط کرول ها یا خزنده های موتورهای جستجو را نداشته باشد در این حالت می توان از دستوراتی به شکل زیر استفاده نمود:

User-agent: *
Disallow: /temp/
Disallow: /trash/
Disallow: /bin/

مثلا دستور بالا بیان می کند که دایرکتوری های temp, trash,bin  توسط موتورهای جستجو بررسی نشود.

یا دستور زیر می تواند فایل مورد نظری را که در اینجا admin.php است را از ایندکس گذاری منع شود.

User-agent: *

Disallow: /admin.php

همچنین می توانید قوانینی مانند زیر را برای موتورهای جستجو اعمال کنید:

User-agent:*

Disallow: /admin.php

User-agent: googlebot

Disallow: /img/

User-agent: bingbot

Disallow: /

ولی همواره دقت داشته باشید که فایل robots.txt نسبت به کوچک و بزرگ بودن کلمات حساس می باشد و باید دقیقا هم نام با فایل های موجود در هاست باشد.

به وبلاگ توسعه دهندگان وب خوش آمدید .

سعی کرده ایم در این وبلاگ مقالات مفید در زمینه طراحی سایت برای شما تهیه کنیم لطفا با کامنت های خوب خود ما را همراهی کنید