A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П

A-Parser Support

Сборник статей #2: цикл статей-уроков по созданию JS парсеров

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!

Получение результатов от стандартного парсера.
В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.
Парсинг сайта с проходом по страницах.
Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.
Парсинг title и description для топ10 сайтов по запросу.
В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.
Реализация подстановки запросов и их многопоточной обработки.
Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.
Работа с CAPTCHA.
В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.
Работа с ReCaptcha2.
А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.

Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы

A-Parser Support

1.2.78 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе

Улучшения

Добавлена поддержка сессий в JavaScript парсерах
В SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
В Lite версию добавленSE::Google::Modern и Util::ReCaptcha2
В x86 версиях добавлено предложение перейти на x64
Добавлена возможность переименовывания пресетов
В окне выбора пресета для папок реализована "память на сворачивание"
Изменены иконки для JS парсеров
Исправлены ошибки с переводом в интерфейсе
Исправлено отображение HTML тегов в логах
Исправлен баг при импорте с вложенным парсером
Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
Доработан Конструктор регулярных выражений
Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче

В SE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
В SE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
Исправлен парсинг анкоров и сниппетов в SE :: DuckDuckGo
SE::Ask, SE :: Dogpile, Rank::Mustat

Исправления

Исправлен баг с перемещением заданий в очереди
В SE::Google::Modern исправлен баг с кодировкой
Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
Исправлен выбор файлов запросов
Исправлено отображение иконок для JS парсеров

A-Parser Support

Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

В уроке рассмотрено:

Создание кастомного JS парсера
Использование встроенного парсера внутри JS парсера
Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию

Полезные ссылки:

Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support

Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.

В уроке рассмотрено:

Создание кастомного JavaScript парсера без использования встроенных парсеров
Парсинг контента сайта постранично с использованием регулярных выражений
Реализация прохода по страницам ("пагинации") в JS парсере

Статья и готовый парсер: https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support

1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress

В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
Улучшения

Добавлена поддержка Node.js модулей в JavaScript парсерах
SE::Google:: Position, SE::Google::Compromised и SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
Улучшена работы SE::Google::Modern в целом
В SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
Добавлен Shop::AliExpress
Улучшена проверка создаваемых переменных в пресетах
Улучшена работа сессий
Исправлено отображение имени файла запроса на карточке задания
Улучшена работа скрола в Тестовом парсинге
Добавлено удаление переносов из сниппетов в SE::Google::Modern
Картинка каптчи в парсере SE::Yandex::Register теперь скачивается через прокси
Множество мелких улучшений в интерфейсе

Исправления в связи с изменениями в выдаче

Исправлена работа SE::Youtube при переопределении опции Result type
Исправлен многостраничный парсинг в SE::Bing
Полностью переписан SE::Yandex::Register, добавлена возможность выводить ответ на секретный вопрос
Исправлена проверка следующей страницы в SE::Seznam
Устранена ситуация, когда в SE::Yandex:: Position парсилась неполная ссылка
Исправлен подсчет неудачных запросов в SE::Google::TrustCheck и SE::Google::Compromised
SE::Yandex:: Direct, Shop::Yandex::Market

Исправления

Исправлена работа Конструктора регулярных выражений
Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
Исправлена работа SE::Google:: Position
Исправлен выбор региона в SE::Yandex:: Direct
Исправлена работа опции Location в SE::Google::Modern
Исправлена работа сессий в SE::Google::Modern при переопределенном домене
Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
Исправлено отображение вкладок в Тесте задания
Исправлено отображение списка пресетов в поле Запустить по завершению
Исправлена работа this.proxy.set в JS парсерах
Исправлена передача дополнительных параметров в JS парсерах
Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
Исправлен экспорт пресетов

A-Parser Support

Использование Xevil совместно A-Parser для разгадывания ReCaptcha2

Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

SE::Google::Modern
SE::Google::Position
SE::Google::TrustCheck
SE::Google::Compromised
Rank::MegaIndex
а также любые кастомные JavaScript парсеры

В видео показано:

подключение Xevil к A-Parser для работы с ReCaptcha2
проверка работы и демонстрация работы в SE::Google::Modern

Ознакомиться более детально с возможностями XEvil можно по ссылкам:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support

Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Уведомления в Telegram из A-Parser

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.

Фильтрация по множеству признаков

Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

Парсинг рекомендаций фильмов из IMDb

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:

Сборники статей:

A-Parser Support

1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo

Улучшения

Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
Добавлена защита от случайного закрытия окна парсера
В SE::Yahoo добавлены Parse all results и Parse related to level
SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
В Rank::MegaIndex добавлена поддержка ReCaptcha2
Улучшен парсинг сниппетов в SE:: DuckDuckGo
Улучшен сбор почт в HTML::EmailExtractor

Исправления в связи с изменениями в выдаче

Обновлен алгоритм Bypass Cloudflare
SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
Исправлена работа SE::Seznam с некоторыми видами запросов
Исправлен парсинг related keywords, а также мобильной выдачи в SE::Google::Modern
Исправлен парсинг related keywords в SE::Bing
Исправлена работа SE::IxQuick при работе с русскоязычными запросами
SE::Yandex:: Direct, SE::Google::ByImage, SE::Yandex::WordStat

Исправления

Исправлена работа SE::Google::Modern на IPv6 прокси
Исправлена ошибка, из-за которой SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
Исправлена работа с оператором поиска + в SE::Bing
Исправлен парсинг запросов со спецсимволами в SE:: DuckDuckGo
Исправлена работа Rank::MajesticSEO
Исправлен баг с overrideOpts в JS парсерах
Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
Исправлена работа tools.js, баг появился в одной из предыдущих версий
Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий

A-Parser Support

Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

В уроке рассмотрено:

Создание JS-парсера для разгадывания капчи
Работа с объектом this.captcha внутри JavaScript кода
Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support

Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.

Парсим title и description для TOP10 поисковой выдачи по ключевому слову

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.

Поиск сабдоменов сайта

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется

HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.

Кроме этого:

Работа с SQLite из JavaScript парсеров - показаны все базовые возможности нового функционала по работе с SQLite

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:

SEO форум

A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П

Кто сейчас на конференции