Привет
Сайт
разработан на движке Друпал, нужно сделать карту сайта которая будет автоматически собирать все страницы сайта, которые уже созданы и в последующем будут создаваться. Здесь есть одна сложность, мы сделали фильтра под поисковые системы, то есть, когда пользователь выбирает 1 параметр из фильтра и нажимает применить, он попадает на другую страницу с новым урл и новым заголовком настроены под ключевую фразу. От этого следует вывод, что данных страниц может быть не ограниченное кол-во, нет, парсим страницы при выборе только одного параметра, если мы выбираем не сколько, страница остается той же.
Итого: нам в карте сайта нужно видеть основные страницы (каталог, карточки и т.д.) и которые генерирует фильтр при выборе одного параметра (у этих страниц имеется постоянный урл адрес)
Один из сайтов реализовали таким образом