Блог » SEO - пошукове просування » Чому сайт не індексується Google: ТОП-7 причин відсутності вашого ресурсу в пошуковій системі
Сайт не індексується Google - що робити?

Чому сайт не індексується Google: ТОП-7 причин відсутності вашого ресурсу в пошуковій системі

У практиці SEO-фахівців нерідко бувають ситуації, коли робота над сайтом ведеться повним ходом: додається унікальний якісний контент, розширюється структура, з’являються нові корисні розділи, статті блогу, а кількість сторінок в індексі ніяк не збільшується. Що ще гірше – вони починають випадати звідти або ж індексація веб-сайту зовсім відсутня, і він не з’являється в результатах пошуку, невидимий для пошуковика і не отримує органічний трафік.

Повторні перевірки, як показує досвід, ні до чого не приводять. Єдиний раціональний вихід з даної ситуації – пошук причини, чому сайт не індексується в Гуглі. Не будемо тягнути час, і приступимо до вирішення вашої проблеми “не відходячи від каси”.

У статті ви дізнаєтеся:

  1. 1. Що таке ранжування, індексування сайту і краулінг
  2. 2. Як перевірити наявність і кількість сторінок в індексі Гугла
  1. 3. Які причини відсутності сайту в індексі і що зробити для їх усунення
  1. 4. Підсумовуючи сказане

Що таке ранжування, індексування сайту і краулінг?

Для початку розберемося в базовій термінології і зрозуміємо принцип роботи пошукача. Пошуковий робот Google як павук пробирається по Всесвітній павутині, знаходить і додає в базу нові веб-сторінки. Після введення запиту користувачем пошуковик сортує ресурси так, щоб в ТОПі виявилися ті, зміст яких максимально відповідає введеній пошуковій фразі.

Тепер по термінам:

  • Індексування – додавання і збереження нових сторінок в базу даних.
  • Краулінг – процес обходу гіперпосилань з метою пошуку нового контенту.
  • Ранжування – розподіл сторінок за релевантністю ключовому запиту.

Проводячи аналогію, можна сказати, що індексування – це реєстрація в турнірі, а ранжування – розподіл призових місць. Погодьтеся, без реєстрації участь і перемога не можливі.

Як перевірити наявність і кількість сторінок в індексі Гугла?

При наявності доступу до сервісу Search Console, перевіряйте індексування сайту в Гугл там. У розділі “Покриття” міститься вся необхідна інформація, яка відображає кількість онлайн-сторінок в індексі, в тому числі з помилками і попередженнями.

індексація сайту в Гугл

Якщо в перших трьох полях ви бачите числа, відмінні від нуля, – індексація сайту в Гугл присутня, і хоча б частина контенту є в базі даних. Наявність певної кількості сторінок в графі “Виключених” не є чимось критичним. Однак, якщо у вас всюди 0, а в останньому полі значення не дорівнює нулю, є проблеми зі сприйняттям ресурсу пошукачем. Значить, пора шукати причину, чому Гугл не індексує сайт, та усувати її.

Крім загальної кількості інтернет-сторінок в індексі, сервіс Search Console дозволяє перевірити індекс будь-який окремо взятої. Залежно від її стану ви побачите відповідне повідомлення.

Наприклад, тут все в порядку

як Гугл індексує сайт

А тут індексування не виконане

чому Гугл не індексує сайт

Кращого способу, як перевірити кількість сторінок в індексі Google, мабуть, немає. Коли доля web-ресурсу вам не байдужа, а пошуковий трафік становить інтерес, рекомендуємо зареєструватися в Search Console – це необхідно і робиться безкоштовно.

Другий варіант все ж є, і він для тих, у кого немає доступу до консолі, – використання оператора site: перед url допоможе з’ясувати, чи є інтернет-ресурс в індексі і в якому обсязі він там присутній. Як перевірити сторінки в індексі Гугл таким способом?

Припустимо, вводимо site: перед нашим url-ом

як перевірити кількість сторінок в індексі Google

Бачимо приблизну кількість інтернет-сторінок в індексі пошуковика. За таким же принципом можна перевірити окремий page. Наприклад:

як перевірити сторінку в індексі Google

Сайт не індексується Google: як “згодувати” його пошуковику?

 

Якщо ви виявили, що Гугл не індексує сайт або окрему web-page, рекомендуємо діяти за таким алгоритмом:

  1. Відкрийте панель вебмайстра Search Console;
  2. Зайдіть в розділ перевірки урлів;
  3. Вставте в пошуковий рядок посилання, яке ви бажаєте перевірити;
  4. Запросіть перевірку і дочекайтеся результату;
  5. Якщо урла немає в базі Гугл, клікніть по параметру “Запросити індексування”.

На жаль, якщо в індексі відсутні кілька сотень або тисяч цільових сторінок вашого онлайн-ресурсу, даний метод перебору виявиться не особливо ефективним і дуже витратним за часом. Погана індексація сайту в Google вказує на глибинні проблеми, для вирішення яких одними запитами не обійтися. Але і забувати про них не слід. Запити через Search Console корисні, коли ви розміщуєте нові матеріали, розширюєте структуру, оновлюєте контент. З їх допомогою ви повідомляєте пошуковій системі про те, що web-сайт оновився, і боту слід звернути увагу на це.

Наприклад, моделюємо ситуацію. Молодий web-сайт після розробки був випущений в індекс на початку лютого цього року. Зрозуміло, що Гугл до нових інет-ресурсів ставиться з підозрою і не поспішає нагороджувати їх добрим ранжуванням. Після закінчення декількох місяців роботи виявилося, що деякі картки товарів, причому з оптимізованим контентом і мета даними, відсутні у видачі просто тому, що бот відвідав їх одного разу, наприклад, 31 січня, побачив noindex в мета тезі robots, і протягом двох місяців більше туди не заходив.

Погана індексація сайту в Google

У даній ситуації причина, ймовірно, криється в тому, що після наповнення і оптимізації картки товару забули відправити запит через консоль веб-майстра і повідомити Гугл про те, що контент оновився.

Які причини відсутності сайту в індексі і що зробити для їх усунення

Що стосується варіантів, чому Гугл не індексує сайт в цілому, потрібно ретельно вивчати кожен окремий випадок, і відшукати джерело цього явища як можна швидше. У нашій новій статті ми розглянемо ТОП-7 найбільш частих причин відсутності web-платформ в базі пошукача, і опишемо методи їх усунення.

Оптимізуйте файли robots.txt, sitemap.xml і .htaccess

 

Однією з поширених помилок веб-майстрів є неправильно складений robots. Наявність в ньому блокуючих директив Disallow може перешкоджати обробці ботом всього ресурсу або окремих його інет-сторінок. Тут важливо пам’ятати, що у кожного web-сайту є сторінки, які потрібно закривати від індексації. До таких належать технічні, результатів пошуку, get-параметрів, логіна, адміна, кошику покупок, “сміттєві” і т.п.

Якщо в роботс зазначено:

  1. User-agent: *
  2. Disallow: /

Значить, інтернет-ресурс повністю закритий для пошукових систем. У Search Console в категорії “Покриття” можна побачити всі урли, заблоковані в robots. Найчастіше це відбувається з новими web-сайтами, коли розробники зберегли тестові версії на піддомені і закрили їх від індексації. При перенесенні оновити роботс часто забувають, і готовий ресурс залишається недоступним для пошукових роботів.

Для сайтів на WordPress ще потрібно не забувати зняти “галочку” заборони видимості для пошукача в розділі Установки → Читання.

проіндексувати сайт на вордпрес в Гугл

Доступ до файлу Роботс відкривається за посиланням https://sitenametest.ua/robots.txt. Перевірити його можна інструментами панелі вебмастера, онлайн сервісами, наприклад, цим, за допомогою програм-парсерів – Screaming Frog або Netpeak Spider. Вирішується проблема заборони індексу легко – досить видалити блокуючі умови і відправити запит на оновлення robots.txt.

Файл sitemap.xml потрібен для взаємодії вашого онлайн-ресурсу з пошукачем. Він повідомляє йому про важливі сторінки і рекомендовану частоту повторного сканування. Звичайно, пошуковий бот здатний обійти web-сайт і без карти sitemap.xml, але її наявність вважається хорошою практикою і спрощує роботу Гугла, Яндекса, Бінга та інших пошукових систем. Перевірити карту онлайн-ресурсу можна через панель вебмастера або за посиланням https://sitenametest.com/sitemap.xml. У Search Console можна заодно і запросити переобхід пошукачем в розділі “Файли Sitemap”.

sitemap карта сайту для індексації гугл

Так ви зможете проіндексувати сайт в Гугл швидше. Карта sitemap.xml найчастіше створюється плагіном з підтримкою автооновления, щоб всі нові публікації відразу ж додавалися в неї. Якщо у web-ресурсу sitemap відсутній, це може негативно позначитися на індексації, тому рекомендуємо додати його на хостинг.

Файл .htaccess призначається для сервера і містить правила його роботи. Зазвичай він розміщується в корені:

  • сервера – / public_html
  • онлайн-сайту – /public_html/sitenametest.ua/

За допомогою правил, що містяться в .htaccess, можна закрити індексування, забороняючи:


order allow, deny

deny from all

allow from IP


або дозволяючи:


order allow, deny

deny from UndesiredIP

allow from all


доступ всім користувачам, крім певного IP.

Рекомендуємо проаналізувати .htaccess, можливо, в ньому виявляться правила, що забороняють індекс.

Перегляньте теги meta name “robots” і rel = “canonical”

 

Сайт не індексується в Гуглі? Проблема може критися в неправильних тегах роботс або невірному зазначенні канонічних веб-сторінок. Якщо в хедері ви раптом виявите <meta name = “robots” content = “noindex, nofollow”> – значить, ресурс закритий, і пошуковик позбавлений можливості сканування. Виконати перевірку тега роботс можна в панелі вебмастера в категорії “Покриття” або за допомогою програм-парсерів, наприклад, Screaming Frog.

Сайт не індексується в Гуглі

Рішення просте і цілком логічне – видалити мета теги noindex, nofollow там, де вони не потрібні. Якщо результату немає, рекомендуємо заглянути на сервер, і перевірити HTTP-відповіді тега X-Robots.

Якщо ви виявите там таку директиву


HTTP / 1.1 200 OK

Date: Tue, 25 May 2021 23:31:10 GMT

(…)

X-Robots-Tag: noindex

(…)


значить, ресурс закритий і не індексується.

Отже, урли, яким необхідно потрапити в індекс, не повинні повертати HTTP-відповідь “noindex”. В Apache дана директива додається через .htaccess. На Nginx – в conf. HTTP-відповіді перевіряються також, як і теги роботс – через панель вебмастера в звіті перевірки url або ж парсером.

Атрибут rel = “canonical” є ще одним аспектом, що впливає на індексацію ресурсу. Зазвичай використовується автореферентний канонікал, який повідомляє пошуковикам про те, що веб-сторінка – основна, т.зв. канонічна, і представлена ​​в єдиному варіанті. Тег link rel = “canonical” задіюється при SEO просуванні сайту в пошукових системах з метою усунення дублів контенту. Так ось, в деяких випадках він може перешкоджати індексації, а саме, коли для url, що перевіряється, в якості канонічної обрана інша, або неіснуюча сторінка. В такому випадку буде статус Canonicalised, Non-Indexable.

Гугл або Яндекс не індексує сайт

Отже, уникнути неякісної індексації допоможе грамотне використання атрибута “canonical”. Перевірте наявність і коректність канонічності для знайдених непроіндексованих сторінок, і якщо хочете “згодувати” їх пошуковому боту, налаштуйте тег правильно.

Перевірте швидкість і правильність відповідей сервера

 

Гугл або Яндекс не індексує сайт, хоча попередні причини виявлені та усунуті? Перевірте швидкість відображення контенту. Буває, такі сторінки не потрапляють в базу даних пошукової системи через повільне завантаження. Причина цього може критися в слабкій оптимізації коду або нестабільному хостингу. Боти просто не можуть отримати відповідь на свій запит, і залишають веб-сторінку ще до завантаження основного контенту. Що робити в такому випадку? Прагнути скоротити час відповіді сервера до першого байта TTFB до 200 мс. В цілому, чим менше, тим краще. Головне, – не більше 500 мс. TTFB понад 500 мс є проблемою.

Для перевірки швидкості існує безліч сервісів, вибирайте найбільш зручний для вас:

  • web site optimization,
  • pingdom tools,
  • loading.express,
  • dotcom-tools,
  • sitespeed,
  • webmaster.yandex,
  • gtmetrix,
  • webpagetest,
  • pagespeed insights.

Серед причин уповільненої відповіді сервера найчастіше спостерігаються такі:

  • Не налаштована швидкість завантаження інтернет-сайту, картинки не стиснуті, ресурси, що блокують завантаження, не усунуті, файли і скрипти CSS / JS не мінімізовані.
  • Не оптимізований функціонал сервера, не налаштовані бази даних.
  • Відсутнє кешування.
  • Слабка потужність сервера, мало пам’яті, низька продуктивність процесора, неякісний хостинг.

Що стосується серверної відповіді, то всі інет-сторінки в доступному стані повинні мати код 200. Якщо спостерігаються проблеми, – з’являються помилки 5хх. Перевіряються коди відповіді парсером, наприклад, Screaming Frog, сторонніми online-сервісами – httpstatus.io та ін., через панель вебмастера, за допомогою браузера – комбінація F12 + вкладка Network.

Переконайтеся, що web-сторінка унікальна, корисна, не «сирота», не дубль

 

Коли технічні проблеми індексації не знайдені, можливо, проблема криється в недостатній унікальності, цінності, корисності вмісту. Справа в тому, що Google вважає за краще демонструвати якісний контент, максимально релевантний ключовим запитам користувачів та створений за принципами E-A-T. Рекомендуємо переконатися в тому, що онлайн-сторінка, яка перевіряється, несе цінність для відвідувачів онлайн-ресурсу. Якщо користі немає, поновіть контент, додайте свіжості, експертності, підніміть унікальність вмісту, органічно розподіліть ключові запити по тексту.

Як правило, марною є будь-яка web-page, на якій розміщений:

  • текст, що згенерований автоматично;
  • дублюючийся контент;
  • копіпаст;
  • контент, заспамленний вихідними url;
  • текст, який не має смислового навантаження, рясно забитий ключовими словами.

Також до неякісних веб-сторінок відносяться дорвеї, що використовуються для просування методом чорного SEO.

Що стосується сторінок-сиріт, їх особливістю є відсутність будь-яких вхідних посилань, як в межах вашого інтернет-ресурсу, так і зі сторонніх веб-платформ. Оскільки боти пошукової системи шукають новий контент, переходячи по черзі між сторінками, вони, власне, як і користувачі, не можуть знайти сторінки-сироти. Перевірити наявність “сиріт”, як і дублів, можна парсером. Тільки в першому випадку потрібно буде кількість всіх просканованих сторінок порівняти зі списком урлів, вивантажених через CMS. Сторінки, що не знайдені при парсінгу, і виявляться шуканими “сиротами”.

Виключіть фактор впливу пошукача: фільтр, технічні проблеми

 

При неправильній стратегії просування інтернет-ресурс може потрапити в бан, отримавши санкції з боку пошукової системи. У такому випадку Google не індексує сайт, і це одна з причин його відсутності в органічній видачі. Пошуковики, як правило, блокують онлайн ресурси в трьох випадках:

  • заспамленість тексту ключовими фразами,
  • контент, що немає користі або дорвей,
  • низькоякісні беклінки.

Перевірити наявність санкцій можна в Search Console в меню “Проблеми безпеки та прийняті вручну заходи”. Якщо фільтра немає, причиною слабкої індексації контенту можуть бути технічні проблеми на стороні пошукової системи. Наприклад, в травні 2020 року стався збій, що призвів за собою проблеми індексування нового контенту. Зазвичай такі ситуації оперативно виявляються і усуваються техпідтримкою пошукача.

Перевірте доменне ім’я: молодий сайт або домен з історією

 

Як відомо, нові онлайн-ресурси, створені менш ніж півроку тому, не особливо відомі пошуковикам, і без додавання в індекс через панель вебмастера боти будуть довго знаходити їх. Чим швидше ви повідомите Google про ваш web-ресурсі і відправите його на переобхід, тим скоріше вони з’являться в пошуковій видачі.

Другий варіант – використання домену з історією. Купівля дроп-доменів взагалі справа ризикована. Якщо попередній власник доменного імені встиг “наслідити”, і отримати санкції, загнавши ресурс під фільтри пошукача, вам доведеться пожинати плоди його старань. При цьому новий онлайн-сайт буде погано індексуватися. Купуючи старий домен важливо ретельно перевіряти його, вивчаючи історію та ресурси, раніше розташовані там.

Проаналізуйте посилання, як зовнішні, так і внутрішні

 

Посилальна маса – один з ключових чинників ранжування, повідомляє пошуковому боту про те, що web-ресурс популярний, і на нього посилаються інші веб-платформи. Так, в індексі присутня безліч сторінок без зворотних посилань, але пошуковик все ж віддає перевагу ресурсам з хорошою посилальною масою. В результаті швидше індексуються сторінки з якісними зворотніми посиланнями.

Що стосується внутрішньої перелінковки, рекомендується уникати використання атрибута rel = “nofollow” для урлів всередині веб-сайту. По-перше, Гугл не переходить по таким посиланням. По-друге, даний атрибут перешкоджає передачі PageRank цільовому url. Як результат, сторінка з nofollow-посиланням зможе потрапити в базу пошукової системи тільки якщо на неї веде урл зі стороннього ресурсу, що не зазначений даними атрибутом.

Щоб уникнути проблем, потрібно грамотно налаштовувати перелінковку, розміщуючи кілька посилань на цільову сторінку. Припустимо, в статтях блогу про розробку інтернет-ресурсів, розміщувати посилання на сторінку послуги, збільшуючи її внутрішню вагу. У свою чергу, rel = “nofollow” рекомендується додавати до вихідних посилань, наприклад, на соцмережі, щоб не передавати їм вагу свого онлайн-сайту.

Підсумовуючи сказане

Так, щось ми розігналися … вийшов в результаті реальний лонгрід, що інформує про те, як перевірити, чи є сторінка в індексі Google, і повідомляє про можливі причини відсутності індексації. Замість резюме пропонуємо чек-лист, що потрібно перевірити на сайті, якщо у нього погана індексація:

  • файли robots.txt, sitemap.xml і .htaccess;
  • теги meta name “robots” і rel = “canonical”;
  • швидкість і відповідь сервера;
  • контент: унікальність, корисність, експертність;
  • фільтр і технічні проблеми з боку пошукача;
  • якість домену;
  • посилання: зовнішні і внутрішні.

Якщо у вас немає часу на перевірку, чи якісь аспекти викликають у вас труднощі, ви можете в будь-який момент звернутися в наше digital-агентство, і замовити комплексний аудит з акцентом на пошук проблем індексування сайту.

ukукр