Требуется выкачать базу данных товаров Walmart

Тема в разделе "Интернет-магазины", создана пользователем MvKozyrev, 28 май 2018.

  1. MvKozyrev

    MvKozyrev Постоялец

    Регистр.:
    5 май 2007
    Сообщения:
    136
    Симпатии:
    70
    Требуется выкачать базу данных товаров Walmart. Сейчас интересуют только продукты питания.

    Пытаюсь понять, с какой стороны подступиться. Как вариант - попробовать выкачать весь вебсайт, но непонятно, как дальше рассортировать.

    Идеи?
     
  2. velwind

    velwind Создатель

    Регистр.:
    25 май 2018
    Сообщения:
    26
    Симпатии:
    7
    Придется писать скрипт который рассортирует скачанные страницы.
    Я бы сортировал по "хлебным крошкам" (breadcrumbs)
    Например здесь:
    https://www.walmart.com/ip/Pringles-Buffalo-Ranch-Potato-Crisps-Chips-5-5-oz-Canister/129027113
    указан путь продукта в иерархии категорий (это и есть breadcrubms).
    Food => Snacks, Cookies & Chips => Chips & Crisps => Potato Chips
    Можно скриптом каталогизировать по этому пути как заблагорассудится
     
    MvKozyrev нравится это.
  3. Сидоренко Вадим

    Сидоренко Вадим Создатель

    Регистр.:
    8 май 2016
    Сообщения:
    26
    Симпатии:
    7
  4. Сидоренко Вадим

    Сидоренко Вадим Создатель

    Регистр.:
    8 май 2016
    Сообщения:
    26
    Симпатии:
    7
    Надо их Terms of use читать.