تصور کنید ساعت ها برای نوشتن یک مقاله جذاب زمان گذاشته اید، اما پس از گذشت روزها، خبری از آن در نتایج گوگل نیست! این سناریو کابوس هر متخصص سئو و صاحب کسب‌وکاری است. بدون ایندکس شدن، سایت شما عملاً برای گوگل و کاربران وجود خارجی ندارد.
در این مقاله از نوین رنک، قصد داریم بر اساس جدیدترین الگوریتم های گوگل، ۱۴ مورد از رایجترین مشکلات ایندکس گوگل را بررسی کنیم. ما به شما میگوییم هر خطا در گزارش Page Indexing سرچ کنسول چه معنایی دارد و دقیقاً چطور باید آن را برطرف کنید.
مشکلات ایندکس گوگل و ۱۴ راه حل قطعی آن | راهنمای سرچ کنسول
گزارش صفحات (Pages) در گوگل سرچ کنسول، وضعیت دقیق تک تک URL های سایت شما را نشان میدهد. اگر صفحه ای ایندکس نشده باشد، دلیل آن در یکی از دسته بندی های زیر قرار میگیرد:
۱. URL بلاک شده توسط فایل robots.txt (Blocked by robots.txt)
- این خطا یعنی چی؟ ربات های گوگل (Googlebot) برای ورود به این صفحه با در بسته مواجه شده اند. فایل
robots.txtسایت شما دستوری دارد که جلوی خزش (Crawl) این URL را گرفته است. - چطور درستش کنیم؟ اگر واقعاً میخواهید این صفحه در گوگل دیده شود، باید فایل
robots.txtرا ویرایش کنید. قانون مسدودکننده (Disallow) که مربوط به این آدرس است را پیدا کرده و حذف یا اصلاح کنید. ابزار Robots.txt Tester میتواند در این زمینه به شما کمک کند.
۲. URL دارای تگ “noindex” است (URL marked “noindex”)
- این خطا یعنی چی؟ گوگل صفحه را پیدا کرده، اما در کدهای صفحه (متا تگ ربات) یا در HTTP Header دستور
noindexرا دیده است. این دستور مستقیماً به گوگل میگوید: «لطفاً این صفحه را در نتایج جستجو قرار نده!». - چطور درستش کنیم؟ بررسی کنید که آیا این صفحه باید ایندکس شود یا خیر. اگر پاسخ مثبت است، باید دستور
noindexرا از کدهای<head>صفحه یا افزونه سئوی خود (مثل یوآست یا رنک مث) حذف کنید و آن را بهindexتغییر دهید.
۳. کرال شده – ولی ایندکس نشده (Crawled – currently not indexed)
- این خطا یعنی چی؟ گوگل صفحه شما را خزیده و محتوای آن را دیده است، اما فعلاً تصمیم گرفته آن را به دیتابیس خود (ایندکس) اضافه نکند. این معمولاً به دلیل کیفیت پایین محتوا یا تکراری بودن آن رخ میدهد.
- چطور درستش کنیم؟ کیفیت محتوا را بالا ببرید! اطلاعات جدید اضافه کنید، محتوای تکراری را کاهش دهید یا حذف کنید، خوانایی را بهبود ببخشید و لینکسازی داخلی به این صفحه را تقویت کنید. پس از بهبود محتوا، در سرچ کنسول درخواست ایندکس مجدد (Request Indexing) بدهید.
۴. کشف شده – ولی هنوز کرال نشده (Discovered – currently not indexed)
- این خطا یعنی چی؟ گوگل آدرس این صفحه را پیدا کرده (مثلاً از طریق سایت مپ یا لینک های دیگر)، اما هنوز فرصت نکرده وارد آن شود و محتوایش را بخواند. معمولاً این مشکل به محدودیت «بودجه خزش» (Crawl Budget) مربوط است یا سایت شما موقتاً دچار کندی بوده است.
- چطور درستش کنیم؟ لینک سازی داخلی به این صفحه را افزایش دهید تا گوگل مسیرهای بیشتری برای رسیدن به آن داشته باشد. مطمئن شوید صفحه در Sitemap وجود دارد. همچنین سرعت سایت و وضعیت سرور (هاست) خود را بهینه سازی کنید تا ربات ها راحت تر در سایت گشت و گذار کنند.
۵. صفحه جایگزین با canonical درست (Alternate page with proper canonical tag)
- این خطا یعنی چی؟ گوگل متوجه شده که این صفحه، یک نسخه کپی یا مشابه از یک صفحه دیگر در سایت شماست و شما به درستی با تگ
canonicalبه صفحه اصلی اشاره کرده اید. گوگل هم به نظر شما احترام گذاشته و فقط صفحه اصلی را ایندکس کرده است. - چطور درستش کنیم؟ این در واقع یک خطا نیست و نشان دهنده عملکرد صحیح شماست! اگر عمدی بوده، نیازی به تغییر نیست. اما اگر اشتباهاً تگ کنونیکال را روی صفحه ای گذاشته اید، باید آن را بررسی و اصلاح کنید.
۶. تکراری – بدون انتخاب canonical (Duplicate without user-selected canonical)
- این خطا یعنی چی؟ چند صفحه با محتوای کاملاً مشابه یا یکسان در سایت شما وجود دارد، اما شما با تگ
canonicalمشخص نکرده اید که کدام صفحه اصلی است و باید ایندکس شود. - چطور درستش کنیم؟ تصمیم بگیرید کدام صفحه برای شما ارزش بیشتری دارد. سپس در سایر صفحات تکراری، یک تگ
canonicalقرار دهید که به آدرس صفحه اصلی اشاره کند. اگر صفحات نیازی به وجود همزمان ندارند، میتوانید آنها را در صفحه اصلی ادغام (ریدایرکت 301) کنید.
۷. تکراری – گوگل canonical متفاوتی انتخاب کرده (Duplicate, Google chose different canonical than user)
- این خطا یعنی چی؟ شما تگ کنونیکال را مشخص کرده اید، اما گوگل با شما مخالف است! گوگل سیگنال های دیگری (مثل لینک های داخلی، سایت مپ و…) را بررسی کرده و تصمیم گرفته صفحه دیگری را به عنوان نسخه اصلی بشناسد و ایندکس کند.
- چطور درستش کنیم؟ باید سیگنال های سئوی سایت خود را همسو کنید. مطمئن شوید لینک های داخلی، ریدایرکت ها، و سایت مپ همگی به همان آدرسی اشاره میکنند که شما به عنوان
canonicalانتخاب کرده اید.
۸. خطای سرور (Server error – 5xx)
- این خطا یعنی چی؟ وقتی ربات گوگل قصد داشته صفحه را کرال کند، سرور (هاست) شما خراب بوده یا پاسخگو نبوده است (مثل خطای 500 یا 503).
- چطور درستش کنیم؟ تنظیمات سرور و هاست خود را بررسی کنید. آپتایم سایت را بالا ببرید. لاگ های سرور (Server Logs) را چک کنید تا دلیل قطعی را متوجه شوید. پس از رفع مشکل هاست، از ابزار URL Inspection برای تست مجدد استفاده کنید.
۹. خطای Soft 404
- این خطا یعنی چی؟ صفحه از نظر فنی کد وضعیت 200 (موفق) را به گوگل برمیگرداند، اما محتوای آنقدر ضعیف، خالی یا نامرتبط است که گوگل احساس میکند این صفحه عملاً وجود ندارد یا حذف شده است (مثل دسته بندی های بدون محصول).
- چطور درستش کنیم؟ اگر صفحه مهم است، محتوای ارزشمند و کاربردی به آن اضافه کنید. اگر صفحه واقعاً وجود ندارد یا نیازی به آن نیست، کد وضعیت آن را به 404 (Not Found) یا 410 (Gone) واقعی تغییر دهید تا گوگل تکلیف آن را بداند.
۱۰. صفحه پیدا نشد (Not found – 404)
- این خطا یعنی چی؟ گوگل سعی کرده وارد URL شود، اما سرور کد 404 داده است؛ یعنی این آدرس اصلاً در سایت شما وجود ندارد.
- چطور درستش کنیم؟ اگر آدرس به اشتباه لینک شده، لینک را در سایت اصلاح کنید. اگر صفحه قبلاً وجود داشته و حذف شده، آن را به یک صفحه مرتبط دیگر ریدایرکت 301 کنید. اگر جایگزینی ندارد، اجازه دهید 404 بماند تا گوگل مرور زمان آن را از ایندکس خارج کند.
۱۱. بلاک به دلیل احراز هویت (Blocked due to unauthorized – 401)
- این خطا یعنی چی؟ صفحه شما برای نمایش، نیاز به ورود (Login) و رمز عبور دارد و ربات گوگل که پسوردی ندارد، پشت در مانده و بلاک شده است.
- چطور درستش کنیم؟ اگر این صفحه عمومی است و میخواهید ایندکس شود، باید نیاز به احراز هویت را برای آن بردارید. اما اگر صفحه خصوصی است (مثل پنل کاربری)، این وضعیت کاملاً طبیعی است و نیازی به رفع ندارد.
۱۲. بلاک به دلیل دسترسی ممنوع (Blocked due to access forbidden – 403)
- این خطا یعنی چی؟ سرور یا فایروال سایت شما (به دلایل امنیتی) دسترسی ربات های گوگل را مسدود کرده است.
- چطور درستش کنیم؟ تنظیمات امنیتی سرور، افزونه های امنیتی وردپرس یا شبکه توزیع محتوا (CDN) مثل ابرآروان یا کلودفلر را بررسی کنید. باید IP های ربات گوگل را در وایت لیست (Whitelist) قرار دهید تا کرالرها بتوانند وارد شوند.
۱۳. خطای ریدایرکت (Redirect error)
- این خطا یعنی چی؟ گوگل در تلاش برای رسیدن به صفحه، در یک «حلقه ریدایرکت» (Redirect Loop) گرفتار شده یا زنجیره ریدایرکت ها آنقدر طولانی بوده که کرالر متوقف شده است.
- چطور درستش کنیم؟ حلقه های ریدایرکت (آدرس A به B، و B دوباره به A) را حذف کنید. زنجیره های طولانی را بشکنید و سعی کنید از یک ریدایرکت 301 تمیز و مستقیم از آدرس مبدا به آدرس مقصد نهایی استفاده کنید.
۱۴. بلاک به دلیل مشکلات دیگر (Blocked due to other issue – 4xx)
- این خطا یعنی چی؟ صفحه به دلایل دیگری مثل خطای 410 (برای همیشه حذف شده) یا 451 (حذف به دلایل قانونی) برای گوگل غیرقابل دسترس است.
- چطور درستش کنیم؟ اگر صفحه واقعاً برای همیشه حذف شده، دریافت کد 410 درست است. اما مطمئن شوید که این URL را از تمام لینک های داخلی سایت و فایل Sitemap خود حذف کرده اید تا گوگل دیگر تلاشی برای خزش آن نکند.
نتیجه گیری
رفع مشکلات ایندکس گوگل، یکی از پایه ای ترین اقدامات در سئو تکنیکال است. تیم نوین رنک همواره توصیه میکند که به صورت هفتگی گزارش Pages در سرچ کنسول را بررسی کنید. به یاد داشته باشید که گوگل به دنبال محتوای باکیفیت و ساختار فنی سالم است؛ با رفع ارورهای بالا، مسیر رشد ارگانیک سایت خود را هموارتر خواهید کرد.
سوالات متداول (FAQ)
۱. چقدر طول میکشد تا گوگل سایت من را ایندکس کند؟
زمان ایندکس شدن متغیر است؛ برای سایتهای جدید ممکن است از چند روز تا چند هفته طول بکشد. اما برای سایتهای بهینهشده و فعال که دارای سایتمپ و لینکسازی داخلی خوبی هستند، این زمان میتواند به چند ساعت تا چند روز کاهش یابد.
۲. آیا استفاده از ابزار Request Indexing در سرچ کنسول همیشه جواب میدهد؟
استفاده از این ابزار به گوگل اطلاع میدهد که صفحه تغییر کرده یا جدید است، اما تضمینی برای ایندکس شدن فوری نیست. اگر صفحه مشکلات کیفی (مثل خطای Crawled currently not indexed) یا فنی داشته باشد، حتی با درخواست دستی هم ایندکس نخواهد شد.
۳. تفاوت خطای ۴۰۴ با Soft 404 چیست؟
خطای 404 زمانی رخ میدهد که صفحه اصلاً وجود ندارد و سرور کد خطای واقعی را ارسال میکند. اما در Soft 404، صفحه وجود دارد و باز میشود (کد 200)، اما گوگل متوجه میشود که صفحه فاقد ارزش و محتواست یا شبیه به یک صفحه خطاست.
👁️ تعداد بازدید: 29
