исключить дубли проверить наличие ссылки php

есть список страниц. есть одинаковые адреса. есть разные адреса но на одном домене.
нужно убрать дубли и страницы на одинаковых доменах. оставшиеся страницы проверить по домену на наличие ссылки.  дать возможность выбрать сортировку по есть ссылка и нет ссылки. среда реализации не имеет значения. хоть приложение хоть скрипт на php но без использования дополнительных программ. от исполнителей хочу услышать цену и сроки реализации. исполнитель будет выбран по оптимальной цене и  срокам