Когда страница не в индексе, чаще всего виноват не «алгоритм», а конкретная техническая ошибка. Как разработчик, я не гадаю — я проверяю по чек‑листу: robots.txt, meta, canonical, HTTP‑коды, sitemap. Ниже — самые частые причины, из‑за которых страницы просто не видят роботы.
Важно: Яндекс индексирует по mobile‑first. Проверять нужно мобильную версию. Если на десктопе всё ок, а на мобильном — 404 или noindex, страница не попадёт в индекс.
Самая простая причина «невидимости» — robots.txt закрывает страницы. Частые ошибки:
Disallow: / — и ни одна страница не будет проиндексирована. Такое бывает при переносе или тестировании.Disallow: /catalog/ или Disallow: /blog/. Если это не планировалось — ошибка./page* и /page/. Лучше проверять в инструменте проверки robots.txt в Яндекс.Вебмастере.Как быстро проверить: откройте site.ru/robots.txt, найдите правила для URL страницы. Если есть Disallow — страница не будет индексироваться.
Meta robots noindex — это прямой запрет на индексацию. Частые случаи:
<meta name="robots" content="noindex">.Проверка: откройте страницу, посмотрите исходный код (Ctrl+U) или в DevTools → Elements. Ищите строку с name="robots". Если там content="noindex" — страница не попадёт в индекс. Даже если она есть в sitemap.
Canonical — это сигнал: «эта страница — копия, индексируйте вот эту». Если canonical настроен неправильно, страница может вообще не попасть в индекс.
Частые ошибки:
Проверка: в исходном коде ищите <link rel="canonical" href="...">. Убедитесь, что URL существует, не закрыт noindex и совпадает на всех версиях страницы.
Для индексации критичны именно эти коды:
| Код | Что значит | Влияние на индексацию |
|---|---|---|
| 200 | Страница доступна | Ок для индексации |
| 301 | Постоянное перенаправление | Вес передаётся, индексируется целевая страница |
| 302 | Временное перенаправление | Не передаёт вес, может не индексироваться |
| 404 | Страница не найдена | Не индексируется |
| 410 | Удалена намеренно | Исключается из индекса |
| 5xx | Ошибка сервера | Робот не может получить контент — индексации нет |
Частая проблема: динамические страницы отдают 404/500 из‑за ошибок маршрутизации или параметров. Проверить можно через Яндекс.Вебмастер («Индексирование» → «Статус страницы») или curl/Postman.
Sitemap — это подсказка роботу, какие страницы индексировать. Но если в нём мусор — это мешает.
Ошибки:
Правило простое: в sitemap только страницы, которые реально должны быть в индексе и отдают 200. Если страница закрыта — её не должно быть в sitemap.
Как разработчик, я первым делом открываю DevTools и проверяю:
X‑Robots‑Tag: noindex. Это аналог meta robots, но на уровне сервера.Если ты пишешь автотесты (Playwright/Cypress), добавь проверки, которые напрямую влияют на индексацию:
Пример простого Playwright‑теста (псевдокод):
js test('страница должна быть индексируемой', async ({ page }) => {
await page.goto('/catalog/item-123');
const httpCode = await page.evaluate(() => fetch(location.href).then(r => r.status));
expect(httpCode).toBe(200);
const metaRobots = await page.$eval('meta[name="robots"]', el => el.getAttribute('content'));
expect(metaRobots).not.toBe('noindex'); const canonical = await page.$eval('link[rel="canonical"]', el => el.getAttribute('href'));
expect(canonical).toContain('site.ru'); });
Такие проверки ловят проблемы до релиза и защищают от массового выпадения страниц из индекса.
Перед публикацией страницы или релизом проверь:
После публикации отправь URL на переобход в Яндекс.Вебмастер и проверь статус страницы.
Индексация — это не магия, а набор технических правил. Если страницы не попадают в поиск, почти всегда есть конкретная причина: robots.txt, noindex, плохой canonical, 404/5xx, мусор в sitemap. Как разработчик и тестировщик, ты можешь не только находить эти ошибки, но и автоматизировать их проверку. Это экономит время и защищает от просадок трафика.
Хочешь, помогу собрать минимальный набор автотестов под твой стек (React/Vue/Next/Nuxt) — чтобы ловить такие ошибки до релиза?
Пришли список URL — подскажу, что именно мешает индексации и какие тесты добавить в CI/CD.
Получить разборНужна помощь в продвижении вашей организации?
Пишите мне в Телеграмм или MAX
и мы обсудим все детали.
Кейс 1. Дома под ключ (Санкт-Петербург)
Было: 200 визитов/мес, конверсия 1,8%, отказы 68%.
Стало: 5 100 визитов/мес (+59%), конверси - 2,9%, отказы - 54%.
Срок: 4 месяца.
Что сделали: убрали дубли, переписали тексты с LSI, настроили микроразметку, улучшили UX.
Кейс 2. Каркасные дома под ключ (Тверь и область)
Было: 1 800 визитов/мес, конверсия — 1,2%, дорогие лиды.
Стало: 2 400 визитов/мес, конверсия — 3,1%, CPL −38%.
Срок: 3 месяца.
Что сделали: сузили семантику, проработали посадочные, добавили калькуляторы и блок «прозрачная цена».
Кейс 3. Строительство деревянных домов (Москва)
Было: 900 визитов/мес, 12 заявок/мес, позиции в топ‑30–50.
Стало: 1 560 визитов/мес, 34 заявки/мес, топ‑10 по 35 запросам.
Срок: 5 месяцев.
Что сделали: кластеризовали семантику, выстроили структуру каталога.
Дмитрий вывел наш сайт в ТОП-10 по 30+ запросам за 3 месяца. Цена SEO-продвижения оказалась в 2 раза ниже, чем нам предлагали в студии. Результат — 15 заявок в месяц с органики, раньше было 2.
Заказали SEO у Дмитрия после двух неудачных опытов с агентствами. Разница колоссальная: отвечает сам, делает сам, отчитывается сам. Через 4 месяца — ТОП-10 по основным запросам».
Новый сайт, на котором не было ничего. Дмитрий собрал семантику, прописал структуру, написал ТЗ на тексты. Через 5 месяцев — 80 запросов в ТОП-10. Недорогое SEO-продвижение сайта — это реально».