Opensource: Vessel — Ruby фреймворк для краулинга веб-страниц

Vessel — open-source решение для веб-краулинга, разработанное в Evrone

Vessel — open-source решение для веб-краулинга, разработанное в Evrone.

Мы в Evrone создали на Ruby высокоуровневый фреймворк для сканирования веб-сайтов. С его помощью можно парсить данные с веб-сайтов для последующего анализа, мониторинга или архивирования.

В статье про проект Machinio рассказываем, как автоматически собирать информацию с разных сайтов и систематизировать её на едином маркетплейсе.

На сайте Evrone расширенная статья о фреймворке Vessel.

Vessel — это быстрый высокоуровневый фреймворк с открытым исходным кодом для сканирования и получения данных с веб-страниц, созданный на основе Ferrum — драйвера с минимальным количеством зависимостей, написанного на чистом Ruby, для запуска headless Google Chrome.

Репозиторий проекта на Github.

Обязательно к прочтению!

Материалы на сайте размещаются в соответствии с условиями, представленными на странице "Условия".

Публикация, размещенная на данной странице, является исключительно выражением личного мнения её автора! Автор указан рядом с заголовком публикации.

Этот материал никак не связан с сотрудниками сайта или его владельцем и не обсуждался с ними перед публикацией!

В случае, если данная публикация нарушает Ваши права, просьба перейти на страницу "Контакты" и следовать предложенной там инструкции.