Профессиональный парсинг. Примерные сроки: - разработка парсера для среднестатистического сайта занимает в среднем 1 день. - сам парсинг происходит со скоростью порядка 20-500 тыс. записей в сутки и ограничен как скоростью отдачи донора, так и количеством доступных прокси. Обычно покупаю обновляемый пул прокси из 5000-10000 адресов, который обеспечивает такую скорость на 100-200 потоках. Практика показывает, что дальнейшее увеличение числа потоков и прокси общую скорость не увеличивает, либо увеличивает незначительно. Примерные цены: - стоимость парсинга среднестатистического сайта - около 3.000 рублей. Может быть дешевле, если сайт простой. Для сайтов с защитой от ddos-атак (которой, по сути, является парсинг), перегруженных скриптами, а также для сайтов, где необходимо создание новых логинов для авторизации и т.д. цена увеличивается пропорционально сложности разработки. Формат выходных данных: - по желанию заказчика. Обычно это CSV или XLS, другие форматы обсуждаются. Объемы: - до нескольких десятков миллионов записей за один раз и до 2х терабайт кэша. Учитывайте, что с увеличением объемов возрастают как сроки парсинга, так и время на обработку информации. Опыт: - я на этом собаку съел :)