Написать парсер американских компаний
Существует некоторое кол-во сайтов-справочников компаний, на каждом их которых как правило есть общая информация (название, адрес, штат, телефон), и кое-где есть информация уникальная (дата основания, директор, отзывы, фотографии и прочее). Нужно написать парсер, который составит список всех компаний США, и будет вытаскивать со всех таких источников всю возможную информацию и записывать её в нашу базу.
Минимальная требуемая скорость обработки 24 тысяч компаний в сутки. В процессе работы парсера должна быть возможность проверять ход его работы, примерный % завершения и возможность просматривать обработанные данные.
Следующая или параллельная задача: сделать простенький сайт, выводящий эту информацию. в виде каталога рубрик и каталога штатов/городов.
Пишите своё предложение: 1) общий максимальный бюджет 2) этапы и сроки их разработки 3) платформа 4) источники, который вы предлагаете парсить.
Если у вас есть какие-то вопросы или ещё что-то что вы хотите обсудить, убедитесь что ВЫ ПРОКОММЕНТИРОВАЛИ ВСЕ ВЫШЕУКАЗАННЫЕ 4 ПУНКТА!