چگونه به Google بگوییم که صفحه ای را در جستجو فهرست بندی نکند

نمایه سازی هرچه بیشتر صفحات در وب سایت شما می تواند برای بازاریابانی که سعی در افزایش قدرت موتورهای جستجو دارند ، وسوسه انگیز باشد.

اما ، در حالی که درست است که انتشار صفحات بیشتر مربوط به یک کلمه کلیدی خاص (با فرض اینکه از کیفیت بالایی نیز برخوردارند) رتبه شما را برای آن کلمه کلیدی بهبود می بخشد ، اما گاهی اوقات در حفظ صفحات خاص در وب سایت شما ارزش بیشتری دارد. بیرون فهرست موتورهای جستجو

… بگو چی ؟!

با ما باشید ، مردم این پست به شما توضیح می دهد که چرا ممکن است بخواهید صفحات وب خاصی را از SERPs (صفحات نتایج موتورهای جستجو) حذف کنید و دقیقاً چگونه این کار را انجام دهید.

راهنمای رایگان: نحوه اجرای ممیزی فنی SEO

حذف نمایه سازی صفحه از Google

مواردی وجود دارد که ممکن است بخواهید یک صفحه وب – یا قسمتی از یک صفحه وب – را از خزیدن و نمایه سازی موتور جستجو حذف کنید ، مانند:

  • برای جلوگیری از فهرست بندی محتوای تکراری (هنگامی که بیش از یک نسخه از صفحه ای که توسط موتورهای جستجو نمایه شده است ، مانند نسخه چاپی محتوای شما)
  • برای درمان صفحات سرپرست و ورود به سیستم برای استفاده داخلی ، مگر اینکه منظور آنها استفاده جامعه باشد
  • برای یک صفحه تشکر (به عنوان مثال ، صفحه ای که بازدیدکننده پس از تبدیل شدن به یکی از صفحات فرود شما در آن قرار می گیرد) که در آن بازدیدکننده به هر پیشنهادی که صفحه فرود وعده داده بود دسترسی پیدا می کند ، مانند پیوند به PDF کتاب الکترونیکی

در اینجا صفحه تشکر کتاب الکترونیکی نکات SEO ما به نظر می رسد ، به عنوان مثال:

صفحه تشکر HubSpot SEO Starter Pack

شما می خواهید هرکسی که در صفحات تشکر شما قرار می گیرد به آنجا برسد زیرا قبلاً یک فرم را در صفحه فرود پر کرده است- نه زیرا آنها صفحه تشکر شما را در جستجو پیدا کردند.

چرا که نه؟ از آنجا که هرکسی که صفحه تشکر شما را در جستجو پیدا کند ، می تواند مستقیماً به پیشنهادات تولید کننده سرب شما دسترسی پیدا کند-بدون این که مجبور باشد اطلاعات خود را در اختیار شما قرار دهد تا از طریق فرم ضبط سرنخ شما عبور کند. هر بازاریابی که ارزش صفحات فرود را درک می کند ، درک می کند که چقدر مهم است که قبل از دسترسی بازدیدکنندگان به پیشنهادات شما ، آنها را به عنوان سرنخ انتخاب کنید.

خط پایین: اگر صفحات تشکر شما به راحتی با یک جستجوی ساده در گوگل قابل کشف است ، ممکن است سرنخ های ارزشمندی را روی میز بگذارید.

بدتر از آن ، حتی ممکن است متوجه شوید که برخی از بالاترین رتبه های صفحات شما برای برخی از کلیدواژه های بلند شما ممکن است صفحات تشکر شما باشند-این بدان معناست که شما می توانید صدها سرنخ بالقوه را برای دور زدن فرم های ضبط سرب خود دعوت کنید. این دلیل قانع کننده ای است که بخواهید برخی از صفحات وب خود را از SERPs حذف کنید.

بنابراین ، چگونه می توانید صفحات خاصی را از موتورهای جستجو “نمایه سازی” کنید؟ در اینجا سه ​​روش برای انجام این کار آمده است.

3 راه برای حذف فهرست بندی صفحه وب از موتورهای جستجو

Robots.txt به De-Index

استفاده کنید اگر: شما می خواهید کنترل بیشتری بر آنچه فهرست بندی می کنید داشته باشید و منابع فنی لازم را دارید.

یکی از راه های حذف صفحه از نتایج موتورهای جستجو ، افزودن فایل robots.txt به سایت شما است. مزیت استفاده از این روش این است که می توانید کنترل بیشتری بر مواردی که به ربات ها اجازه فهرست بندی می دهید ، بدست آورید. نتیجه؟ می توانید محتوای ناخواسته را از نتایج جستجو دور نگه دارید.

در یک فایل robots.txt ، می توانید مشخص کنید که آیا می خواهید ربات ها را از یک صفحه ، کل فهرست یا حتی یک تصویر یا فایل واحد مسدود کنید. همچنین گزینه ای برای جلوگیری از خزیدن سایت شما وجود دارد در حالی که هنوز می توانید تبلیغات Google AdSense را در صورت وجود فعال کنید.

گفته می شود ، از بین دو گزینه موجود ، این یکی به فنی ترین کونگ فو نیاز دارد. برای یادگیری نحوه ایجاد فایل robots.txt ، باید این مقاله را بخوانید که نحوه انجام آن را دقیقاً توضیح می دهد.

مشتریان HubSpot: می توانید نحوه نصب فایل robots.txt را در وب سایت خود در اینجا بیاموزید و نحوه سفارشی سازی محتویات فایل Robots.txt را در اینجا بیاموزید.

اگر به تمام کنترل فایل robots.txt احتیاج ندارید و به دنبال راه حلی آسان تر و فنی کمتر هستید ، این گزینه دوم برای شما مناسب است.

Htaccess بدون فهرست بدون دنبال کردن De-Index

استفاده کنید اگر: وب سایت شما در Apache اجرا می شود و mod_headers فعال است ، این یک راه حل سریع است.

در این شرایط ، می توانید این خط واحد را به فایل .htaccess خود وصل کنید:

عنوان سربرگ X-Robots-Tag “noindex، nofollow”

برای نشان دادن این که وب سایت شما می تواند فهرست بندی شود ، اما هرگز در هیچ یک از نتایج جستجوی Google نشان داده نمی شود.

Meta No Index بدون دنبال کردن De-Index

از if استفاده کنید: می خواهید راه حل ساده تری برای حذف فهرست بندی کل یک صفحه وب و/یا حذف نمایه سازی پیوندها در کل صفحه وب داشته باشید.

استفاده از یک متا تگ برای جلوگیری از ظاهر شدن یک صفحه در SERP ها – و/یا پیوندهای یک صفحه – هم آسان است و هم مثر. این فقط به اندکی دانش فنی نیاز دارد-در حقیقت ، اگر از سیستم مدیریت محتوای مناسب استفاده می کنید ، این فقط یک کار کپی/جایگذاری است.

برچسب هایی که به شما امکان می دهد این کارها را انجام دهید “noindex” و “nofollow” نامیده می شوند. قبل از اینکه به نحوه افزودن این برچسب ها بپردازم ، بیایید لحظه ای برای تعریف و تمایز بین این دو وقت بگذاریم. در نهایت ، آنها دو دستورالعمل کاملاً متفاوت هستند – و می توانند به تنهایی یا در کنار یکدیگر استفاده شوند.

برچسب “noindex” چیست؟

وقتی متا تگ “noindex” را به یک صفحه وب اضافه می کنید ، این به یک موتور جستجو می گوید که اگرچه می تواند صفحه را خزاند ، اما نمی تواند صفحه را به فهرست جستجوی خود اضافه کند.

بنابراین هر صفحه ای که دستورالعمل “noindex” در آن وجود داشته باشد نه به فهرست جستجوی موتور جستجو بروید ، بنابراین نمی توان آن را در صفحات نتایج موتورهای جستجو نشان داد.

برچسب “nofollow” چیست؟

وقتی متا تگ “nofollow” را به یک صفحه وب اضافه می کنید ، این امر به موتورهای جستجو اجازه نمی دهد که آنها را خزند پیوندها در آن صفحه این همچنین بدان معنی است که هر مقام رتبه بندی صفحه در SERPs وجود خواهد داشت نه به صفحاتی که پیوند دارد منتقل شود.

بنابراین هر صفحه ای که دستورالعمل “nofollow” روی آن وجود داشته باشد ، تمام پیوندهای آن توسط Google و سایر موتورهای جستجو نادیده گرفته می شود.

همانطور که قبلاً گفتم ، می توانید یک دستورالعمل “noindex” را به تنهایی یا همراه با یک دستورالعمل “nofollow” اضافه کنید. همچنین می توانید یک دستورالعمل “nofollow” را به تنهایی اضافه کنید.

زمان استفاده جداگانه از “noindex” و “nofollow”

فقط یک برچسب “noindex” اضافه کنید وقتی تو نکن می خواهید یک موتور جستجو صفحه وب شما را در جستجو فهرست بندی کند ، اما شما انجام دادن می خواهد پیوندهای آن صفحه را دنبال کند – در نتیجه به سایر صفحات پیوندهای صفحه شما رتبه رتبه بندی می دهد.

صفحات فرود پولی نمونه ای عالی از این موضوع است. شما نمی خواهید موتورهای جستجو صفحات فرود را که افراد باید برای دیدن آنها هزینه بپردازند ، فهرست بندی کنند ، اما ممکن است بخواهید صفحاتی که پیوند می دهد از اقتدار آن استفاده کنند.

فقط یک برچسب “nofollow” اضافه کنید وقتی تو انجام دادن یک موتور جستجو می خواهد صفحه وب شما را در جستجو فهرست بندی کند ، اما شما نکن می خواهد پیوندهای آن صفحه را دنبال کند.

مثالهای زیادی وجود ندارد که می توانید بدون اضافه کردن برچسب “noindex” به یک صفحه کامل یک برچسب “nofollow” اضافه کنید. وقتی در حال فهمیدن این هستید که در یک صفحه مشخص چه کاری انجام دهید ، بیشتر این پرسش مطرح می شود که آیا تگ “noindex” خود را با یا بدون تگ “nofollow” اضافه کنید.

زمان استفاده از “noindex، nofollow” با هم

هر دو برچسب “noindex” و “nofollow” را اضافه کنید وقتی تو نکن موتورهای جستجو می خواهند یک صفحه وب را در جستجو فهرست بندی کنند و شما نمی خواهید پیوندهای آن صفحه را دنبال کند.

صفحات تشکر نمونه ای عالی از این وضعیت است. شما نمی خواهید موتورهای جستجو صفحه تشکر شما را فهرست بندی کنند ، همچنین نمی خواهید پیوند پیشنهاد شما را دنبال کرده و فهرست بندی محتوای آن پیشنهاد را شروع کنند.

نحوه اضافه کردن متا تگ “noindex” و/یا “noofollow”

مرحله 1: یکی از برچسب های زیر را کپی کنید.

برای “noindex”:

برای “nofollow”:

برای هر دو “noindex” و “nofollow”:

گام 2: برچسب را به بخش HTML صفحه خود اضافه کنید ، به عنوان سرصفحه صفحه.

اگر مشتری HubSpot هستید ، این بسیار آسان است – اینجا را کلیک کنید یا برای دستورالعمل های خاص کاربران HubSpot به پایین بروید.

اگه تو هستی نه مشتری HubSpot ، سپس باید این برچسب را به صورت دستی در کد صفحه وب خود جایگذاری کنید. نگران نباشید – بسیار ساده است. در اینجا نحوه انجام آن وجود دارد.

ابتدا ، کد منبع صفحه وب موردنظر را برای حذف فهرست بندی باز کنید. سپس ، برچسب کامل را در یک خط جدید در بخش HTML صفحه خود ، که به عنوان سرصفحه معروف است ، بچسبانید. تصاویر زیر شما را در آن راهنمایی می کند.

تگ نشان دهنده آغاز سربرگ شما است:

تگ head در ابتدای عنوان

در اینجا متاتگ برای “noindex” و “nofollow” که در سرصفحه چسبانده شده است آمده است:

متا تگ در سرصفحه noindex nofollow

و تگ نشان دهنده پایان سربرگ است:

برچسب پایان سر

رونق! خودشه. این برچسب به موتور جستجو می گوید که بچرخد و برود و صفحه را از هرگونه نتیجه جستجو خارج کند.

بدون فهرست بدون پیگیری در HubSpot

افزودن متا تگ های “noindex” و “nofollow” حتی ساده تر است. تنها کاری که باید انجام دهید این است که ابزار HubSpot را به صفحه ای که می خواهید این برچسب ها را به آن اضافه کنید باز کرده و برگه “Settings” را انتخاب کنید.

سپس ، در بخش Advanced Options (گزینه های پیشرفته) و روی “Head HTML” کلیک کنید. در پنجره زیر ، قطعه کد مناسب را جایگذاری کنید. در مثال زیر ، من یک تگ “noindex” و یک “nofollow” اضافه کرده ام زیرا یک صفحه تشکر است.

هیچ نمایه ای در hubspot دنبال نمی شود

“ذخیره” را فشار دهید تا طلایی شوید.

با موفقیت هیچ فهرست بدون دنبال کردن صفحه

شما فقط صفحه خود را به طور جادویی از نتایج موتورهای جستجو حذف کرده اید. در حال حاضر ، شما می توانید ضبط تعداد بیشتری از آن امتیازات از دست رفته را دوباره شروع کنید.

اکنون ، به خاطر داشته باشید که نتایج آنی را مشاهده نخواهید کرد. تغییرات شما تا دفعه بعد که یک موتور جستجو صفحه شما را خزید شروع نمی شود. بسته به تعداد دفعاتی که معمولاً صفحات جدید را در وب سایت خود منتشر می کنید ، در واقع ممکن است چند هفته طول بکشد. هرچه بیشتر محتوا را منتشر کنید ، موتورهای جستجو بیشتر به جستجوی سایت شما می پردازند. بهترین راه برای پیگیری تعداد دفعاتی که Google از وب سایت شما بازدید می کند ، بررسی آمار خزیدن در Google Webmaster Tools است.

خط پایین: اگر متوجه شدید که صفحه شما هنوز با برچسب “noindex” در نتایج جستجوی گوگل ظاهر می شود ، احتمالاً به این دلیل است که گوگل از زمان افزودن برچسب به سایت شما خزیده است. می توانید از Google بخواهید با استفاده از ابزار Fetch as Google صفحه شما را مجدداً بازنویسی کند.

همچنین ، توجه داشته باشید که خزنده های وب موتورهای جستجو ممکن است این دستورالعمل ها را متفاوت از Google تفسیر کنند ، بنابراین ممکن است صفحه شما همچنان در نتایج دیگر موتورهای جستجو ظاهر شود. اما برای گوگل ، این کار به خوبی انجام می شود – به محض اینکه به وب سایت شما خزید.

صرف نظر از این ، شما می توانید کمی راحت تر بخوابید زیرا می دانید که در نهایت وب سایت خود را به مکان بهتری برای بازاریابی خود تبدیل کرده اید.

یادداشت ویراستار: این مقاله در ابتدا در جولای 2016 منتشر شد و برای جامعیت به روز شده است.

سئو ممیزی