Искать 404 страницы на большом проекте вручную – долгое и неблагодарное дело.
Отслеживать их через вебмастер или search console – не всегда эффективно, т. к. на проектах с большой вложенностью страниц переобход может длиться долго, да и не всегда вы успеете отследить все изменения.
Давайте будем честными: ручная проверка инструментов вебмастера при большой нагрузке – дело нечастое. К тому же если ссылка заведомо «неисправна» – шансов на то, что последнее выявится вебмастером, ничтожно мало…
У нас свой вариант решения – собственный парсер под проекты на Python 3.