5 علت حذف سایت از نتایج گوگل – راهکارهای رفع حذف شدن سایت از گوگل
یکی از کابوس‌های هر صاحب سایتی، حذف شدن از نتایج گوگل است. تصور کنید که یک روز صبح از خواب بیدار شده و طبق معمول سری به آمارهای سایت خود در روز گذشته می‌زنید و بوم! هیچ کاربری به سایت شما سر نزده است. این اتفاق برای بسیاری از سایت‌ها رخ داده است. البته حذف شدن سایت از گوگل معمولا به‌صورت نسبی رخ می‌دهد. به عنوان مثال شما در نتایج به سرعت عقب می‌روید و یا به مرور و البته در زمانی کوتاه بخشی از بازدیدکنندگان ارگانیک خود را از دست می‌دهید. با این وجود حذف‌های کلی و ناگهانی نیز گاهی رخ داده و دور از ذهن نیست. اما علت این مشکل کجاست؟ و چگونه می‌توان سایت حذف شده را دوباره به نتایج گوگل بازگرداند؟ در این مقاله کوتاه می‌خواهیم بدون هرگونه زیاده‌گویی به این مسئله مهم بپردازیم؛ تا هرچه بیشتر به اهمیت سئو سایت به‌صورت تخصصی پی ببرید.
جریمه شدن توسط گوگل
حتما پیش از این بارها درباره جریمه یا پنالتی شدن توسط گوگل شنیده‌اید. به‌طور خلاصه موتور جستجوی گوگل بر اساس مجموعه‌ای از الگوریتم‌های مختلف کار می‌کند. الگوریتم‌هایی که هر یک وظیفه مشخصی را برعهده دارند. مثلا یکی از آنها مسئول تشخیص محتوای کپی شده و تکراری است؛ در حالی که دیگری با روش‌های لینک‌سازی کلاه سیاه مبارزه می‌کند. مهم‌ترین صلاح این الگوریتم‌ها هم در این مبارزه حذف نتایج سایت‌های متقلب است. بنابراین اگر در سایت خود از روش‌های کلاه سیاه سئو مانند ساخت انبوه بکلینک، تولید محتوای انبوه کپی، استفاده بیش از حد از کلمات کلیدی در متون بی‌ربط و سایر موارد مشابه استفاده می‌کنید؛ به‌زودی باید منتظر جرایم گوگل باشید.
نکته مهم دیگر در مورد جریمه شدن توسط گوگل این است که گاهی سایت‌ها ناخواسته درگیر این جرایم می‌شوند. به عنوان مثال اگر سایت شما از نظر امنیتی در شرایط مناسبی نباشد؛ ممکن است درگیر بدافزارهای مختلفی شود. در صورتی که نتوانید به موقع این مشکلات را تشخیص داده و حل کنید؛ واکنش گوگل برای صیانت از کاربران خود، حذف شما از نتایج خود است. این بدافزارها می‌توانند علاوه بر خطرناک بودن برای امنیت کاربران شما، در محتوای سایت شما نیز تغییراتی ایجاد کنند. به عنوان مثال تغییر URL ها، ساخت انبوه صفحات بی‌ربط و نامناسب در سایت شما و موارد مشابه دیگر، از جمله این مشکلات ثانویه هستند که می‌تواند به‌صورت غیرمستقیم موجب روبه‌رو شدن سایت شما با جرایم گوگل شود.
تغییر دسترسی‌های سایت
شما به عنوان مدیر یک سایت می‌توانید رابطه سایت خود را با موتورهای جستجو و کاربران تنظیم کنید. به عنوان مثال می‌توانید به طرق مختلف تنظیم کنید که موتورهای جستجو به همه یا بخشی از صفحات سایت شما دسترسی نداشته باشند. همچنین می‌توانید تنظیم کنید که علی‌رغم دسترسی موتورهای جستجو به برخی صفحات، آنها را در نتایج جستجو ایندکس نکنند. بنابراین تنظیم دسترسی‌های سایت برای موتورهای جستجو و همچنین کاربران موضوعی بسیار مهم است. به شکلی که اگر به هر دلیلی ناخواسته در این تنظیمات تغییراتی ایجاد کنید؛ پس از مدتی ممکن است با مشکل حذف شدن سایت از گوگل مواجه شوید.
در ادامه این بخش می‌خواهیم به‌طور خلاصه مهم‌ترین تنظیمات سایت در این زمینه اشاره کنیم:
دسترسی‌های فایل و فولدرهای سایت
گاهی تنظیمات اشتباه از سمت مدیر سرور و نصب افزونه‌هایی مثل فایروال‌ها و از سویی گاهی تنظیمات اشتباه مدیر سایت، مانند نصب و تنظیم اشتباه برخی افزونه‌های امنیتی بر روی سایت، می‌تواند منجر به رخ دادن این مشکل شود. به‌طور خلاصه اگر وارد هاست سایت خود شوید؛ مشاهده خواهید کرد که سطح دسترسی به هر فایل و فولدری توسط یک عدد 3 رقمی تعیین شده است. تغییر در این عدد می‌تواند سطح دسترسی به آن فایل یا فولدر را برای خواندن و نوشتن تعیین کند. گاهی تغییرات اشتباه موجب عدم دسترسی گوگل به صفحات سایت شده و در صورت ادامه یافتن می‌تواند منجر به حذف آن صفحات از نتایج جستجو شود. به‌طور معمول بخش‌های عمومی یک سایت باید در دسترس عموم کاربران و ربات‌های گوگل برای خواندن باشد. در حالی که بخش‌های مدیریتی سایت باید تنها در دسترس مدیران سایت باشد.
تنظیمات فایل robot.txt
هر سایتی باید دارای یک فایل متنی با نام robot در فولدر اصلی یا مادر خود باشد. در این فایل می‌توان روابط سایت با موتورهای جستجو را تنظیم کرد. در واقع از این طریق می‌توانید به ربات‌های موتور جستجو بگویید که چه صفحاتی را بررسی کنند یا نکنند. به عنوان مثال در یک فروشگاه آنلاین طبیعی است که صفحه سبد خرید نباید در موتورهای جستجو ایندکس شود. در حالی که صفحه محصولات باید ایندکس شوند.
حال اگر این صفحات به اشتباه به ربات‌های موتور جستجو معرفی شود؛ می‌تواند موجب حذف برخی صفحات سایت از نتایج گوگل یا حتی ایندکس شدن برخی صفحات نامناسب شود. برای یافتن این مشکل باید فایل robot.txt سایت خود را بررسی کنید. در این فایل URL برخی صفحات با کلمه allow و بقیه با کلمه disallow مشخص شده‌اند. در حالت اول به موتور جستجو می‌گویید که مجاز است این صفحات را بررسی کند. در حالی که در حالت دوم از موتور جستجو می‌خواهید آن صفحات را بررسی نکند.
تنظیمات ایندکس یا نو ایندکس
این تنظیم مهم‌ترین روش برای مدیریت فهرست شدن (index) یا فهرست نشدن (noindex) صفحات یک سایت در نتایج جستجو است. در واقع در هر صفحه سایت خود می‌توانید با استفاده از تکه کد <meta name=”robots” content=”noindex”/> مشخص کنید که آن صفحه توسط موتورهای جستجو ایندکس شود یا نشود.
این کار در سایت‌های استاتیک از طریق ورود کد به صفحات HTML انجام می‌شود. با این حال امروزه در بیشتر سایت‌ها می‌توان این کار را به‌صورت کلی و جزئی و از طریق تنظیمات پنل مدیریت سایت اعمال کرد. به عنوان مثال در وردپرس این کار به کمک افزونه‌های مختلف سئو از جمله افزونه سئو یواست قابل انجام است.
به‌طور خلاصه اگر از این تگ به شیوه‌ای اشتباه در صفحات سایت خود استفاده کنید؛ یا به هر دلیل تنظیمات صحیح شما به هم بریزد؛ ممکن است با مشکل حذف شدن سایت از گوگل یا سایر موتورهای جستجو مواجه شوید.
آپتایم سایت
آپتایم یک سایت به معنای کمیت و کیفیت دسترسی کاربران و ربات‌های موتورهای جستجو به سایت است. اینکه سرور مورد استفاده برای یک سایت چند ساعت در سال از دسترس کاربران خارج می‌شود؛ اینکه دسترسی به آن از ارائهدهندههای مختلف اینترنت چقدر است؛ و اینکه کمیت و کیفیت دسترسی به آن از مناطق جغرافیایی گوناگون چگونه است؛ همگی می‌تواند بر ایندکس شدن سایت شما در موتورهای جستجو تاثیر بگذارد. همین‌طور از نظر کیفی نیز سرعت پاسخ‌گویی سرور سایت شما به درخواست کاربران و باز کردن صفحات سایت نیز در این زمینه مهم است.
به‌طور خلاصه اگر سرور سایت شما به شکل مناسبی در دسترس نباشد؛ ممکن است در زمان سر زدن ربات‌های موتورهای جستجو به آنها دسترسی مناسبی ندهد. تکرار این اتفاق می‌تواند در نهایت منجر به حذف شدن صفحات سایت شما از نتایج موتورهای جستجو شود.
آپتایم سایت
استفاده از تک Canonical کمک می‌کند تا صفحات مشابه در سایت را به گوگل معرفی کنیم. به عنوان مثال ممکن است هر صفحه از سایت شما به دلایل مختلف دارای چند نسخه با URL های متفاوت باشد. در این حالت با تگ کنونیکال در این صفحات به گوگل یا موتورهای جستجوی دیگر نشان می‌دهید که در میان این صفحات کدام صفحه نسخه اصلی بوده و باید ایندکس شود؛ و کدام صفحات نسخه فرعی هستند؛ و نباید ایندکس شوند.
خبر خوب اینکه در حالت معمول و در اغلب سیستم‌های مدیریت محتوا این تگ‌ها به درستی و به شکل صحیح ساخته می‌شود؛ بنابراین بعید است به علت این مشکل با مسئله حذف شدن سایت از گوگل مواجه شوید. با این حال اگر بررسی موارد دیگر نتیجه نداد؛ این نکته را نیز در مورد سایت خود بررسی نمایید.
دلایل نامشخص
در نهایت گاهی دلیل حذف سایت برای صاحب آن مشخص نمی‌شود. این مسئله به معنای بی‌دلیل بودن آن نیست. دقت کنید که پیچیدگی الگوریتم‌های موتورهای جستجو، به‌خصوص گوگل و همچنین آپدیت‌های دائمی و گاه و بی‌گاه هسته موتور جستجو و این الگوریتم‌ها، گاهی نتایج را دستخوش تغییرات گسترده کرده و موجب حذف اشتباه سایتی از نتایج گوگل می‌شود. به‌طور خلاصه در اغلب این موارد حذف از نتایج موقتی است. بنابراین اگر امروز همان صبحی است که از خواب بیدار شده و با این خبر بد مواجه شده‌اید؛ توصیه می‌کنیم به عنوان آخرین راهکار اخبار آپدیت‌های جدید موتورهای جستجو را بررسی کنید. همچنین توصیه می‌کنیم پیش از دستکاری سایت و تغییرات متوالی در تنظیمات آن، حداقل سه روز به آن مهلت دهید. سپس و در صورت بازنگشتن شرایط به حالت قبل، با دریافت مشاوره سئو از یک متخصص کار را پیش ببرید.
راهکارهای پیشگیری و رفع حذف شدن سایت از گوگل
حال که با علت حذف سایت از نتایج گوگل آشنا شدید؛ احتمال به این فکر خواهید کرد که چگونه باید از این مشکل پیشگیری کرد. پاسخ به این سوال می‌تواند بسیار ساده یا پیچیده باشد. به‌طور خلاصه اگر شما از خدمات سئو سایت به شکلی استفاده کنید که قوانین و خط‌مشی‌های موتورهای جستجو را زیر پا نگذارد؛ می‌توانید مطمئن باشید دچار این مشکل نخواهید شد. استفاده از روش‌های سئو کلاه سفید، تولید محتوای اختصاصی و باکیفیت برای کاربران واقعی، استفاده از روش‌های برندینگ و روابط عمومی برای بهبود پروفایل بک لینک سایت و تمرکز بر بهبود تجربه کاربری سایت از جمله روش‌های کلاه سفید برای رشد سئو است. در حالی که استفاده از محتوای کپی و تکراری، ساخت بکلینک انبوه در سایت‌های نامرتبط و مزارع لینک و استفاده بیش از حد و غیرطبیعی از کلمات کلیدی در صفحات سایت، بخشی از مواردی است که می‌تواند در نهایت شما را در دام حذف شدن سایت از گوگل و دیگر موتورهای جستجو بیندازد.
همچنین اگر در حال حاضر دچار این مشکل هستید؛ پس از یافتن علت آن، بکوشید که علت را برطرف کنید. به‌عنوان مثال تغییر محتوای تکراری به محتوای اختصاصی، حذف بکلینک‌های نامناسب و اسپم از ریشه یا از طریق گوگل سرچ کنسول و تنظیم مجدد تگ‌های سایت و فایل robot.txt برای بهبینه‌سازی ایندکس شدن و نشدن صفحات آن، از دیگر راه‌کارهایی است که باید به آن توجه کنید.
