Масштабирование парсера Yandex Sphere
Я ищу консультацию или кого-то, кто может помочь мне с этой проблемой. А именно, у меня есть парсер, который однопоточно загружает комментарии/посты из youtube api и других api(telegram, vk).
Я хотел бы расширить его возможности для загрузки миллионов постов в день в режиме реального времени. В качестве инфры я хочу использовать облако (Yandex Sphere). Я подозреваю, что вам понадобится ротация IP-адресов, прокси и т. д., чтобы обойти ограничения. Эти данные также нужно где-то хранить, так как потом они будут использоваться для обучения LLM. Итак: нужен кто-то, кто уже разрабатывал такие многопоточные парсеры и:
- даст мне несколько часов консультации, где посоветует, что и как настроить
В любом случае, я бы попросил назвать цену и сроки (бюджет корпоративный и довольно большой, так что о деньгах не беспокойтесь). И я прошу серьезных предложений (я потерял более 2 недель на людей, которые предложили мне решения из чата gpt или 1 страницы google).