SEO форум

Здесь вы можете найти информацию и помощь по оптимизации сайта, раскрутке, созданию контента и дизайна.
Текущее время: 29 мар 2024, 07:56

     

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 167 ]  На страницу Пред.  1 ... 5, 6, 7, 8, 9, 10, 11 ... 17  След.
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 01 окт 2019, 12:36 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

Изображение

В уроке рассмотрено:
  • Парсинг карт Google с использованием Maps::Google
  • Пример получения координат для использования в макросах подстановок
  • Работа с макросами подстановок при наличии отрицательных чисел
  • Импорт результата в Excel

Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 30 окт 2019, 14:50 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
Изображение

Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
Изображение

Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
Изображение


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 12 ноя 2019, 14:03 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок

Изображение

Улучшения
  • В Изображение SE::Google::ByImage добавлена поддержка рекаптч, а также улучшена работа в целом
  • В Изображение SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигейта
  • В Изображение Rank::Ahrefs добавлена возможность выбора типа домена
  • Полностью переписан Изображение SE::Yandex::SQI, изменен набор собираемых данных
  • Реализован бан прокси в Изображение SE::DuckDuckGo::Images
  • В Изображение Net::Whois добавлен парсинг даты освобождения домена
  • Оптимизирована работа с прокси при использовании большого числа попыток
  • Улучшена работа функции Bypass Cloudflare
  • Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser
Исправления в связи с изменениями в выдаче
  • В мобильной верстке Изображение SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
  • В Изображение SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
  • Исправлен парсинг цен и количества комментариев в Изображение Shop::Amazon
  • Исправлена работа Изображение SE::DuckDuckGo::Images с запросами, содержащими более 1 слова
  • Изображение GooglePlay::Apps, Изображение SE::Youtube , Изображение Rank::Ahrefs
Исправления
  • Исправлена проблема с рандомизацией прокси на Windows 10
  • Исправлено зависание при использовании Изображение Check::BackLink
  • Исправлена проблема, при которой не применялся Content-Type в Изображение Net::HTTP
  • Исправлена редкая проблема с выбором файла запросов
  • Исправлена обработка редиректов при нестандартном порте
  • Исправлен вывод многострочных данных в tools.CSVline
  • JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
  • JS парсеры: исправлена проблема с подключением модуля jimp

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 22 ноя 2019, 09:50 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

Изображение

В уроке рассмотрено:
  • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
  • Получение title (с очисткой от HTML сущностей)
  • Получение таких параметров как:
    • кол-во предыдущих редиректов
    • код ответа сервера
    • кол-во внешних ссылок
Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 04 дек 2019, 17:39 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

Изображение


А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.
Изображение

Парсер Github
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.
Изображение

Парсинг количества трафика на сайтах
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.
Изображение

Кроме этого были обновлены:

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 13 дек 2019, 11:35 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

Изображение

Улучшения
  • Добавлен новый парсер Изображение Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
  • Добавлен новый парсер Изображение Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
  • Изменения в парсерах Google:
    • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
    • В связи с неактуальностью удалены опции:
      • Old desktop computer (IE6) в Device
      • Util::AntiGate preset
      • Use digit captcha
  • В Изображение SE::Yandex увеличено максимальное значение Pages count до 25
  • В Изображение SE::Google::Images добавлена поддержка новой верстки
  • В Изображение Util::ReCaptcha2 добавлена поддержка capmonster.cloud
  • Парсер Изображение SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
  • Парсер Изображение SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
  • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
  • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
Исправления
  • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
  • Исправлены проблемы с рандомизацией в некоторых случаях
  • Исправлена ошибка в Изображение Social::Instagram::post при парсинге только массивов данных
  • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
  • JS парсеры: исправлена работа с Node.js модулем socks

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 24 дек 2019, 10:02 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
Изображение

JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
Изображение

Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Изображение Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 03 янв 2020, 15:21 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
Изображение

Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.
Изображение

Всё о редиректах
Большая справочная статья, посвященная тематике редиректов.
Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 17 янв 2020, 10:09 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

Изображение

В уроке рассмотрено:
  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 28 янв 2020, 15:43 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

Изображение

Улучшения
  • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
  • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
  • Улучшена производительность ИзображениеSE::Yandex
  • В ИзображениеShop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
  • В ИзображениеSE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
  • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа Bypass Cloudflare в некоторых случаях
  • Исправлена работа при малом числе прокси
  • Исправлена проблема при редактировании дополнительных форматов результатов

Изображение


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 167 ]  На страницу Пред.  1 ... 5, 6, 7, 8, 9, 10, 11 ... 17  След.

Часовой пояс: UTC + 2 часа



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron

Все права защищены ©.

Использование материалов данного сайта разрешено

только с активной ссылкой на http://writetranslate.ukrbb.net/!

SEO форум: раскрутка, оптимизация и продвижение сайтов Код нашего баннера
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Вы можете создать форум бесплатно PHPBB3 на Getbb.Ru, Также возможно сделать готовый форум PHPBB2 на Mybb2.ru
Русская поддержка phpBB