Создан скрипт ловец поисковых ботов. Скрипт при посещении сайта, определяет кто это реальный пользователь или поисковый бот, по User Agent. При определении что это бот, скрипт показывает боту ссылки на страницы сайта которые еще не были проиндексированы поисковым ботом. Существует админ панель в которой видно что есть в индексе или чего нет, на каких страницах был бот. Если страница показывалась. то она убирается из стека на показ. Данный модуль помогает ускорить индексацию крупных проектов Использованные технологии: PHP, Laravel, Mysql ,A-parcer