вот ссылка на инструкцию
предпочтительнее использовать Screaming Frog SEO Spider
выгрузка в xlsx или xml (можно в csv)
Пример страницы для парсинга с подробным описанием во вложении
Готов обсуждать проблемные моменты в задаче, ваших способов реализации, бюджет.