Быстрая загрузка множества изображений с сайта на примере парсера www.moda-nsk.ru

Обмен - Интеграция с WEB

16
Пример того, как ускорить загрузку изображений из web методом распараллеливания загрузок.

Суть метода

Сами страницы сайта парсятся с использованием объекта ПостроительDOM

На каждый URL содержащий скачиваемое изображения создается COM-Объект Msxml2.ServerXMLHTTP.6.0 и запускается его скачивание. При чем, работа программы по парсингу сайта продолжает, а скачивание файла(картинки происходит в отдельном потоке). По окончании парсинга всех страниц мы ждем пока все COM-объекты ответят, что скачивание заверишлось, после чего раскладываем полученные данные по таблице.

URL страницы для примера http://www.moda-nsk.ru/component/option,com_vm_ext_search/Itemid,103/cid,104/mf_id,-1/

В архиве две обработки для сравнения - одна работает в лоб(долго), другая с использованием асинхронной загрузки

При разработки использовались материалы статьи Параллельные HTTP-запросы

Обычные формы

Проверялось на платформе 8.3.13, конфигурация УЛФин, но будет работать в абсолютно любой конфигурации. Думаю, будет работать и на 8.2.

16

Скачать файлы

Наименование Файл Версия Размер
Парсер сайта moda-nsk.ru
.zip 20,72Kb
27.10.18
3
.zip 2017-06-13 20,72Kb 3 Скачать

См. также

Избранное Подписка Сортировка: Древо
В этой теме еще нет сообщений.
Оставьте свое сообщение