Проверка битых ссылок v2.0

О программе Проверка битых ссылок

Проверка битых ссылок — это анализ всех ссылок на странице, который показывает, какие из них ведут в никуда, а какие просто закрыты от автоматических проверок. Инструмент ToolsPivot разбирает каждый тег и по указанному адресу, отправляет к каждой ссылке настоящий HTTP-запрос и раскладывает результат по четырём статусам вместо привычного «работает / не работает». Это снимает главную боль бесплатных чекеров: массовые ложные срабатывания на кодах 403 и 429, из-за которых люди удаляют живые ссылки.

Инструмент загружает HTML страницы, извлекает из него все ссылки и изображения и проверяет каждый адрес отдельным запросом. Сначала уходит лёгкий HEAD-запрос, а если сервер его не принимает — следом отправляется полноценный GET. Одинаковые адреса объединяются со счётчиком повторов, а нессылочные схемы (mailto, tel, javascript, якоря) отсеиваются как непроверяемые. Общую структуру ссылочной массы страницы удобно смотреть в анализаторе ссылок.

Кому подходит инструмент

Чаще всего проверкой пользуются SEO-специалисты во время технического аудита и вебмастера после переезда сайта или смены структуры URL. Вторая большая группа — редакторы блогов и контент-менеджеры интернет-магазинов на 1С-Битрикс, InSales или Тильде, которые следят за внешними ссылками в старых материалах. Именно там за год-два накапливается больше всего мёртвых адресов.

Проблема и решение

Типичный бесплатный чекер считает битой любую ссылку с кодом ответа, отличным от 200, и в отчёт попадают живые страницы, закрытые Cloudflare или защитой хостинга. Здесь коды 401, 403, 429 и 999 вынесены в отдельную корзину «заблокировано, скорее всего рабочая», а точный ответ сервера по любому адресу можно перепроверить через проверку статуса сервера.

Основные преимущества

• Честная классификация: четыре корзины вместо двух показывают разницу между мёртвой ссылкой и ссылкой, которая просто не любит роботов.
• Меньше ложных срабатываний: связка HEAD → GET и реальный User-Agent браузера убирают ошибки на уровне самого запроса, а не постфактум в отчёте.
• Видно текст ссылки: рядом с каждым адресом выводится анкор, поэтому нужный фрагмент находится в шаблоне за секунды.
• Цепочка редиректов целиком: вы видите конечный URL и число переходов, а не просто отметку «301». Для массовой ревизии правил пригодится проверка редиректов www.
• Изображения проверяются наравне со ссылками: битая картинка ломает вёрстку так же заметно, как битая ссылка, но большинство сервисов её игнорирует.
• Ловушка на мягкие 404: страницы, которые отвечают кодом 200, но по содержанию являются заглушкой «страница не найдена», помечаются отдельно.
• Выгрузка и точечная перепроверка: CSV и кнопка повторной проверки у каждой строки доступны без оплаты и регистрации.
• Часть общего аудита: результаты логично дополняют SEO-анализ сайта и просмотр HTTP-заголовков проблемных адресов.

Ключевые функции

• Разбор HTML через DOMDocument: ссылки берутся из разметки, а не из регулярных выражений, поэтому относительные адреса и тег обрабатываются корректно.
• HEAD с откатом на GET: сервер, который отвечает 405 на HEAD, всё равно будет проверен полноценным запросом.
• Параллельная проверка с ограничением по хосту: curl_multi ускоряет обход, а лимит на один домен не превращает проверку в мини-нагрузку.
• Разделение на внутренние и внешние: ссылки сортируются по хосту, и в выпадающем списке можно оставить только свои или только чужие адреса.
• Пять кликабельных плиток: «Всего», «Битые», «Заблокировано», «Редиректы», «Работают» фильтруют таблицу одним нажатием.
• Причина отказа текстом: вместо сухого кода выводится расшифровка — таймаут, ошибка DNS, проблема сертификата, отказ сервера.
• Счётчик повторов: если один адрес встречается на странице пять раз, вы увидите это сразу и исправите шаблон, а не пять отдельных мест.
• Проверка изображений: все проходят тот же цикл; тяжёлые файлы после исправления стоит прогнать через сжатие изображений.
• Экспорт в CSV: выгрузка открывается в Excel или Google Таблицах и легко превращается в задачу для разработчика.
• Защита от SSRF: запросы к приватным и служебным IP-диапазонам отклоняются, соединение закрепляется за проверенным публичным адресом.
• Краткое кеширование: повторный запуск по тому же URL отдаёт результат мгновенно и не нагружает чужие серверы.
• Взгляд глазами робота: проверка идёт по сырому HTML — так же, как его видит симулятор поискового робота.

Как работает проверка битых ссылок в ToolsPivot

1. Вставьте адрес страницы в поле и запустите проверку. Сервер загрузит HTML с обычным браузерным User-Agent и ограничением по размеру.
2. Скрипт соберёт все ссылки и изображения, приведёт их к абсолютному виду и уберёт дубликаты.
3. Каждый адрес получит HEAD-запрос, а при отказе — GET. Редиректы прослеживаются до конечного URL.
4. Для успешных ссылок подгружается небольшой фрагмент тела страницы и проверяется заголовок на признаки мягкой 404.
5. Результаты выводятся баннером с вердиктом, плитками статистики и таблицей с фильтрами.
6. Отдельные строки перепроверяются кнопкой recheck: если сайт лежал, а сейчас поднялся, это видно сразу — как и в проверке доступности сайта.

Когда использовать проверку битых ссылок

Проверка нужна каждый раз, когда меняется структура сайта или обновляется старый контент. Разовая проверка перед публикацией экономит куда больше времени, чем разбор жалоб через полгода.

• После переезда на новый домен: старые внутренние адреса часто остаются в текстах статей, даже если редиректы настроены.
• После обновления CMS или шаблона: ломаются пути к иконкам, баннерам и файлам в шапке.
• При актуализации старых статей: внешние источники исчезают быстрее, чем кажется, особенно новостные и корпоративные блоги.
• Перед сдачей проекта клиенту: битая ссылка на посадочной странице выглядит хуже любой опечатки.
• При подготовке карты сайта: имеет смысл сверить результаты с генератором карты сайта, чтобы в XML не попали удалённые адреса.
• При разборе проблем с индексацией: связку из мёртвых ссылок и выпавших страниц удобно проверять вместе с проверкой индексации.
• После массовой закупки ссылок: часть площадок удаляет публикации через несколько месяцев.
• Перед сезонной распродажей: ссылки на снятые с продажи товары ведут в 404 и съедают трафик из рассылок.

Отдельный случай — страницы, собранные конструктором. Там ссылки нередко подставляются скриптом уже после загрузки, и в сыром HTML их не будет.

Примеры использования

Технический аудит интернет-магазина

Контекст: магазин на Битриксе после чистки каталога, около 40 ссылок на карточку категории.

Процесс: проверка главной и трёх ключевых категорий; фильтр «Битые» на плитке статистики; выгрузка CSV с анкорами и передача списка разработчику.

Результат: девять внутренних ссылок на удалённые товары заменены на актуальные категории за одну итерацию.

Ревизия внешних ссылок в блоге

Контекст: статья 2021 года со ссылками на отраслевые исследования и профили в соцсетях.

Процесс: запуск проверки в режиме «только внешние»; отделение статуса «заблокировано» от статуса «битая»; проверка спорных адресов вручную в браузере.

Результат: четыре реально мёртвых источника заменены архивными копиями, шесть «подозрительных» ссылок сохранены.

Разбор ссылочного профиля

Контекст: подрядчик сдал отчёт по размещениям, часть площадок вызывает сомнения.

Процесс: проверка страниц-доноров на живость ссылки и анкор; сверка данных с проверкой обратных ссылок; отбор адресов, где ссылка исчезла или закрыта редиректом.

Результат: спорные домены попадают в генератор файла disavow, оплата за исчезнувшие размещения не продлевается.

Приёмка лендинга у подрядчика

Контекст: посадочная страница с формой, десятком офферов и блоком партнёров.

Процесс: проверка всех ссылок и логотипов партнёров; поиск мягких 404 среди страниц, отвечающих кодом 200.

Результат: два логотипа с битым путём и одна ссылка на заглушку исправлены до запуска рекламы.

Как читать четыре статуса

Главное отличие честного чекера от обычного — он не сваливает всё в одну кучу. Ниже расшифровка того, что означает каждая корзина.

Код 999 отдаёт LinkedIn, 429 приходит от сайтов с жёстким лимитом запросов, а 403 чаще всего означает WAF или антибот-защиту. Отдельно стоит смотреть на ошибки SSL: истёкший сертификат ломает ссылку так же надёжно, как удалённая страница, и его состояние стоит уточнить через проверку SSL-сертификата.

Чего инструмент не делает

Честно о границах: проверяется одна страница, а не сайт целиком. Для обхода тысяч URL нужен полноценный краулер вроде Screaming Frog или Xenu, и подменять его онлайн-сервисом не стоит.

• Только сырой HTML: ссылки, которые подставляет JavaScript после загрузки, в разбор не попадают.
• Проверка идёт с нашего IP: ресурс, доступный у вас, может отвечать иначе нам, и наоборот — это особенно заметно на площадках с географическими ограничениями.
• Нет авторизации: страницы за логином и корпоративные порталы проверить не получится.
• Мягкие 404 определяются эвристикой: заголовок и текст анализируются по типовым фразам, поэтому нестандартные заглушки могут не распознаться.
• Не оцениваем «вес» ссылки: инструмент отвечает на вопрос «жива ли ссылка», а не «полезна ли она».

Часто задаваемые вопросы

Что такое битая ссылка?

Битая ссылка — это адрес, по которому сервер не отдаёт рабочую страницу. Чаще всего это коды 404 и 410, реже ошибки 5xx, сбои DNS, таймауты и проблемы с сертификатом.

Проверяет ли инструмент весь сайт целиком?

Нет, за один запуск проверяется одна страница. Это осознанное ограничение: обход всего сайта требует краулера и нагружает как ваш сервер, так и чужие.

Почему рабочая ссылка попала в статус «заблокировано»?

Сервер отдал 401, 403, 429 или 999 в ответ на автоматический запрос, хотя в браузере страница открывается. Так ведут себя Cloudflare, антибот-фильтры хостинга и LinkedIn, поэтому такие ссылки вынесены отдельно и не помечаются битыми.

Чем это отличается от Screaming Frog и Xenu?

Screaming Frog и Xenu обходят сайт целиком, но требуют установки на компьютер. Наш инструмент работает в браузере, проверяет одну страницу и делает это честнее в части классификации статусов.

Влияют ли битые ссылки на позиции в Яндексе и Google?

Прямого штрафа за битые ссылки ни Яндекс, ни Google не подтверждали. Реальный вред другой: пользователи уходят со страницы, что портит поведенческие факторы, а ссылочный вес не передаётся дальше по сайту.

Что такое мягкая 404?

Это страница, которая отвечает кодом 200, но по содержанию сообщает «ничего не найдено». Поисковые системы такие страницы не любят, а обычные чекеры их не видят, потому что формально ответ успешный.

Проверяются ли изображения?

Да, все теги проходят ту же процедуру, что и обычные ссылки. Битая картинка в шапке или в карточке товара портит впечатление не меньше, чем ошибка 404.

Нужна ли регистрация?

Нет, ни регистрация, ни API-ключ не требуются. Выгрузка CSV и повторная проверка отдельных строк тоже доступны бесплатно.

Внешняя ссылка открывается у меня, но проверку не проходит. Почему?

Проверка выполняется с сервера, а не из вашего браузера, поэтому географические ограничения и блокировки по IP дают разный результат. Если ссылка открывается вручную, ориентируйтесь на браузер.

Можно ли выгрузить результаты?

Да, таблица целиком выгружается в CSV с адресами, анкорами, статусами и конечными URL редиректов. Файл открывается в Excel и Google Таблицах без правок.

Что делать с найденными битыми внешними ссылками?

Замените их на актуальный источник или на архивную копию в Wayback Machine. Удалять ссылку целиком стоит только тогда, когда без неё текст не теряет смысл.

Сохраняются ли проверяемые адреса?

Результаты кешируются на короткое время по URL, чтобы повторный запуск не нагружал чужие серверы, и не привязываются к учётной записи. Персональные данные по смыслу 152-ФЗ инструмент не обрабатывает — на вход подаётся только публичный адрес страницы.

Как часто нужно проверять ссылки?

Раз в квартал для стабильных сайтов и после каждого крупного изменения структуры. Блогам с активными публикациями разумнее раз в месяц проверять свежие материалы.

Почему проверка идёт дольше, чем загрузка страницы?

Каждая ссылка — это отдельный сетевой запрос, и время зависит от того, насколько быстро отвечают чужие серверы. Скорость самой вашей страницы к этому отношения не имеет и измеряется через проверку скорости загрузки.

Related Tools You Might Like

Проверка авторитета домена Инструмент проверки обратных ссылок Калькулятор CPC ключевых слов Проверка рейтинга Moz Проверка авторитета страницы Анализатор ссылок