Розглянемо питання, як визначити кількість проіндексованих сторінок у пошукових системах. Зробити це можна різними шляхами. Що таке індекс можете прочитати у статті індекс пошукової машини.
Інформація про кількість сторінок в індексі є відкритою та доступною для всіх. Так що будь-який вебмайстер може перевірити будь-який сайт.
1. Скільки сторінок проіндексовано Яндексом
1.1. Через запити в Яндексі
Заходимо на головну сторінку Яндекса (yandex.ru або ya.ru) та вбиваємо у пошуку запит:
site: www.site.ru | url:site.ru або host: www.site.ru | url:site.ru
У відповіді Яндекс видасть кількість проіндексованих сторінок:
1.2. Через панель Яндекс Вебмайстер
На панелі webmaster.yandex.ru є спеціальна вкладка проіндексовані сторінки:
Тут же можна переглянути кількість сторінок відомих роботу, кількість виключених сторінок та дату останнього відвідування роботом сайту. Однак варто зазначити, що скористатися Яндекс Вебмайстром можуть лише власники сайтів, оскільки це "приватна" інформація.
2. Скільки сторінок проіндексовано Google
2.1. Через запити в Гугле
Як і в Яндексі, Google має спеціальний запит, який виводить всі відомі сторінки сайту. Заходимо на головну сторінку google.ru та вводимо:
site :site.ru
Такий запит відобразить усі відомі сторінки. Щоб дізнатися які сторінки потрапили до так званого "основного індексу" в кінці запиту потрібно дописати амперсант:
site :site.ru/&
2.2. Через панель Google Webmaster
У панелі google.com/webmasterє спеціальна вкладка "Індекс Google" -> "Статус індексування":
Крім розглянутих методів як і є універсальні способи.
3. Універсальні методи
3.1. Дізнатись індексацію через спеціальні сервіси
Спеціальними сервісами називаю безліч різних систем аналітики. Наприклад, найпопулярнішими є:
Тут можна отримати інформацію про кількість проіндексованих сторінок одразу в декількох пошукових системах.
Індекс пошукової системи — база даних, яка зберігає інформацію про веб-документи. Призначення цього «сховища» є очевидним — використовуючи базу даних, пошуковик може швидко і точно обчислювати значення факторів ранжирування, чисельне значення релевантності URL за запитом користувача та формувати результати видачі.
Для SEO-фахівців та власників сайтів це означає одне – скільки сторінок проіндексовано, стільки документів і може бути знайдено у результатах видачі за цільовими запитами та стільки ж URL може залучати трафік.
Як швидко перевірити індексацію в Яндексі та Google?
Способів та сервісів перевірки індексації сторінок досить багато і у нас є три інструменти, які показують кількість документів в індексі домену:
Просто вкажіть домен у будь-якому з них. Інструмент допоможе перевірити сайт на індексацію та підкаже скільки документів у базі даних Google та Яндекс, з урахуванням піддоменів або без них:
Пошукові оператори для перевірки індексації
Дізнатися індексацію сайту можна за допомогою операторів пошуку. Для Яндекса це оператори «site:», «host:» та «url:».
Для Google - "site:", "inurl:" та "info:".
В обох пошукових системах вказуються приблизні результати, але можна використовувати додаткові параметри, щоб дізнатися скільки сторінок було проіндексовано, наприклад, за тиждень:
Для того, щоб перевірити індексацію певної сторінки сайту, використовуйте оператор «url:» для Яндекса та «info:» для Google.
Вебмайстер та Search Console
У Вебмайстрі переходимо на вкладку "індексування" - "сторінки в пошуку". Тут розташувалася статистика за доданими та видаленими з пошуку документами. Також можна переглянути історію змін для всього сайту за певний інтервал дат:
Перевірити індексацію сайту в Google можна за допомогою Search Console. У новій версії консолі переходимо на вкладку "статус" - "індексування відправлених URL" і отримуємо картину змін, помилок, виключених сторінок та графік показів:
Можливий контроль індексації
Важливо розуміти, що сканування або обхід сторінки сайту не означає її потрапляння до індексу. Іноді необхідно заборонити індексування сторінок, які не потрібні в пошуку, наприклад: URL-адреса з технічними GET-параметрами, службові або користувацькі документи (кошик, особистий кабінет та інші), документи з UTM-мітками. Тому кожному сайту бажано мати:
За допомогою команди Disallow можна забороняти індексування окремих URL-адрес або розділів сайту.
Crawl delay - задає мінімальний час звернення робота до сервера для уникнення навантажень на сайт.
Clean param – дозволяє вказати неважливі для індексації CGI-параметри в URL-адресах, тобто різні ідентифікатори користувачів, сесій тощо. Використовується лише в Яндексі.
Sitemap.xml - файл, який допомагає пошуковим роботам сканувати сайт, з урахуванням заданих пріоритетів.
Robots.txt — файл, що визначає правила та параметри обходу для всіх роботів пошукових систем або індивідуально для кожної:
Відкриті сторінки мають бути у пошуку, тільки тоді можна думати про ранжування. Не забувайте перевіряти сайт на індексацію, відстежуйте зміни та вдалих позицій у видачі!
Поставте запитання або залиште коментар
Пошукові системи з низки причин індексують не всі сторінки сайту або, навпаки, додають до індексу небажані. У результаті практично неможливо знайти сайт, у якого кількість сторінок в Яндексі і Google збігалася.
Якщо розбіжність вбирається у 10%, то це не всі звертають увагу. Але така позиція справедлива для ЗМІ та інформаційних сайтів, коли втрата малої частини сторінок не позначається на спільній відвідуваності. А ось для інтернет-магазинів та інших комерційних сайтів відсутність товарних сторінок у пошуку (навіть однієї з десяти) – це втрата доходу.
Тому важливо хоча б раз на місяць перевіряти індексацію сторінок в Яндексі та Google, зіставляти результати, виявляти, які сторінки відсутні у пошуку та вживати заходів.
Проблема при моніторингу індексації
Подивитися проіндексовані сторінки не важко. Зробити це можна шляхом розвантаження звітів у панелях для вебмайстрів:
- («Індексування» / «Сторінки в пошуку» / «Всі сторінки» / «Скачать таблицю XLS/CSV»);
Можливості інструменту:
- одночасна перевірка проіндексованих сторінок в Яндексі та Google (або в одній ПС);
- можливість перевірки відразу всіх URL сайту;
- немає обмеження щодо кількості URL.
особливості:
- робота «в хмарі» - не потрібно завантажувати та встановлювати ПЗ або плагіни;
- розвантаження звітів у форматі XLSX;
- повідомлення на пошту про закінчення збору даних;
- зберігання звітів необмежений час на сервері PromoPult.
Як оперативно дізнатися, чи потрапила важлива для вас сторінка до індексу пошукових систем? Та й взагалі скільки сторінок сайту «бачать» пошуковики? Я описав у цьому пості способи, які найчастіше використовують SEO-фахівці, та приготував бонус для читачів.
При індексуванні сторінки робот пошукової системи додає інформацію про веб-сайт до бази даних. Подальший пошук відбувається за проіндексованими сторінками. Не варто плутати індексацію та сканування.
Робот може швидко просканувати весь сайт. А додавати до індексу повільно, не додавати частину сторінок чи видаляти сторінки з індексу.
Бажаєте, щоб усі сторінки вашого сайту заходили в індекс швидко? Ми проконсультуємо щодо оптимальної стратегії SEO-просування:
1. Перевірте індексацію на панелі вебмайстрів
Це базовий спосіб перевірки для вебмайстра чи власника сайту.
Google. Необхідно зайти в Search Consoleта на вкладці «Індекс Google» вибрати «Статус індексування».
Yandex. Проходимо авторизацію в Яндекс.Паспорт, заходимо в Яндекс.Вебмайстер і переходимо шляхом «Індексування сайту» — «Сторінки в пошуку». Ще один варіант: "Індексування сайту" - "Історія" - "Сторінки в пошуку". Тут можна переглянути динаміку зміни кількості сторінок у пошуку.
Щоб використовувати цей метод, у вас має бути певний рівень доступу до панелі вебмайстра. Приклад хорошого індексування сайту. Кількість якісних сторінок зростає, і вони додаються до індексу. 
Проблеми з індексацією виглядають так: 
На скріншоті – сайт, закритий від індексації у файлі robots.txt
(12)
Якщо ви хочете дізнатися, чи є певна сторінка в індексі пошукової системи і скільки в цілому сторінок вашого сайту беруть участь у пошуку, вам варто дізнатися про чотири найпростіші способи перевірки індексації сайту, якими користуються всі SEO-фахівці.
У процесі індексування порталу пошуковий бот спочатку сканує його, тобто обходить для вивчення контенту, а потім додає інформацію про веб-ресурс до бази даних. Потім пошукова система формує пошук за цими базами. Не плутайте сканування з індексацією – це різні речі.
Щоб розуміти, скільки сторінок вашого проекту не проіндексовано, потрібно знати їх загальну кількість. Це дозволить зрозуміти, як швидко індексується ваш сайт. Зробити це можна кількома способами:
- Подивитись карту сайту.Її ви знайдете за адресою: назва_вашого_сайта.ru/sitemap.xml. Тут показуються переважно показуються всі сторінки, розміщені на ресурсі. Але іноді мапа сайту може генеруватися неправильно, і частина сторінок у ній може не бути.
- Скористайтеся спеціальною програмою.Ці програми сканують весь ваш сайт і видають усі сторінки вашого сайту, приклад таких програм Screaming Frog Seo (платна) або Xenus Links Sleuth (безкоштовна).
Способи перевірки індексації сайту
Пропонуємо до вашої уваги 4 найпоширеніші та найпростіші способи, що дозволяють перевірити, які сторінки є в індексі, а які – ні.
1. Через панель вебмайстра
Цим методом власники веб-ресурсів перевіряють їх наявність у пошуку найчастіше.
Яндекс
- Авторизуйтесь в Яндекс.Вебмайстер.
- Перейдіть до меню «Індексування сайту».
- Під ним знайдіть рядок «Сторінки у пошуку».
Можна піти і іншим шляхом:
- Виберіть «Індексування сайту».
- Далі перейдіть до "Історія".
- Потім натисніть на вкладку «Сторінки у пошуку».
І першим, і другим способом ви зможете вивчити динаміку зростання чи спаду числа сторінок у пошуковій системі.
- Зайдіть в панель керування сервісу Google Webmaster Tools.
- Клацніть на вкладку Search Console.
- Перейдіть до «ІндексGoogle».
- Натисніть на опцію «Статус індексування».
2. Через операторів пошукових систем
Вони допомагають уточнити результати пошуку. Так, застосування оператора "site" дозволяє побачити приблизну кількість сторінок, які вже знаходяться в індексі. Щоб перевірити цей параметр, у рядку пошуку Яндекс або Google вкажіть: «site:адреса_вашого_сайту».
Важливо!Якщо результати в Google і Яндекс сильно відрізняються між собою, то ваш сайт має якісь проблеми зі структурою сайту, сміттєвими сторінки, індексацією або на нього накладені санкції.
Для пошуку можна також використовувати додаткові інструменти, наприклад, щоб дізнатися, як змінювалася індексація сторінок за певний період часу. Для цього під пошуковим рядком натисніть на вкладку «Інструменти пошуку»і виберіть період, наприклад, «За 24 години».
3. За допомогою плагінів та розширень
Використовуючи спеціальні програми, перевірка індексації веб-ресурсу відбудеться автоматично. Це можна зробити за допомогою плагінів та розширень, ще відомих як букмарклети. Вони є javascript-програмами, які зберігаються в браузері у вигляді стандартних закладок.
Перевага плагінів та розширень у тому, що вебмайстру немає необхідності щоразу по новій заходити до пошукової системи та вводити там адреси сайтів, оператори та інше. Скрипти зроблять все в автоматичному режимі.
Найпопулярнішим плагіном, що застосовується з цією метою, є RDS bar, який можна завантажити в магазині додатків будь-якого браузера.
Варто відзначити, що в Mozilla Firefox у плагіна набагато більше можливостей, ніж в інших браузерах. RDS bar надає інформацію щодо і всього веб-сайту, та його окремих сторінок
На замітку.Є платні та безкоштовні плагіни. І найбільший мінус безкоштовних плагінів у тому, що у них регулярно потрібно вводити капчу.
Не можна залишити поза увагою і букмарклет «Перевірка індексації». Щоб увімкнути програму, просто перетягніть посилання на панель браузера, а потім запустіть свій портал і натисніть закладку розширення. Так ви відкриєте нову вкладку з Яндекс або Google, де вивчите потрібну інформацію щодо індексації певних сторінок.
4. За допомогою спеціальних сервісів
Я переважно користуюся сторонніми сервісами, тому що в них наочно видно які сторінки в індексі, а які там відсутні.
Безкоштовний сервіс
https://serphunt.ru/indexing/ - є перевірка як по Яндекс, так і по Google. Безкоштовно можна перевірити до 50 сторінок на добу.
Платний сервіс
З платних мені найбільше подобається Topvisor – вартість 0.024р. за перевірку однієї сторінки.
Ви завантажуєте в сервіс усі сторінки вашого сайту і він вам покаже, які в індексі пошукових систем, а які ні.
Висновок
Головна мета власника будь-якого веб-ресурсу – домогтися індексації всіх сторінок, які будуть доступні пошуковим роботам для сканування та копіювання інформації до бази даних. Реалізувати це завдання на великому сайті може бути непросто.
Але при правильному комплексному підході, тобто грамотній SEO-оптимізації, регулярному наповненні сайту якісним контентом і постійному моніторингу процесу включення сторінок в індекс пошукових систем, можна досягти позитивних результатів. Для цього ми в цій статті розповіли про чотири методи перевірки індексації сайту.
Провайдери
