Нужен краулер/граббер скачивающий файлы с сайта по ссылке
Нужно решение для скачивания файлов с сайта по ссылкам.
Для использования прокси придуман не самый тривиальный подход нужно протестировать именно его + ваши проф.рек-и.
Вкратце:
- нужно, чтобы умел работать почти со всеми видами прокси (ipv4, ipv6, mobile, http, https, socks)
- прокси из Excel заливаем в mysql табличку + проставляем нужные параметры
- запускаем = качает + фиксирует события/лимиты там же в mysql табличке
- скачивать нужно много = работать должен очень быстро, многопоточно.
Все это на Виндовс 10. БД в Open Server лежит.
Нужен GUI для удобного управления + задать куда складывать скачанное.