Написать поискового робота под Linux

Требуется написать софт, который бы работал беспрерывно под управление CentOS.
Задач у софта несколько:

1. Бродить по интернету в поисках новых доменов (возможно задать ему несколько тысяч для старта, а дальше пусть сам)
2. Проверять найденные домены (делать несколько гет-запросов или парсить некоторое содержимое главной страницы).
3. Укладывать найденные результаты в файлы или в базу. Например файл с общим списком всех найденных доменов и файлы в которых эти домены разбиты на критерии.

Мне не нужен Яндекс или Google, мне нужен простенький поисковый бот.