Имеем базу ссылок в формате .txt
Нужно проверить каждую ссылку на наличие её в индексе ПС Яндекс.
В общем некий аналог плагина Винка для Sape.
Берём ссылку, преобразуем её в формат с www и без www :
url:"site.ru" | url:"
www.site.ru"
Результаты сохраняем в отдельный файл.
Предусмотреть наличие задержек между запросами и подключение сервиса antigate.
Прокси не нужны, так как Яндекс нещадно банит любые прокси, поэтому работа будет вестись непосредственно с рабочего компа. Вариант с xml яндекса также не подойдёт (1000 запросов в сутки слишком мало)