SEO форум

Здесь вы можете найти информацию и помощь по оптимизации сайта, раскрутке, созданию контента и дизайна.
Текущее время: 26 фев 2020, 08:17

     

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 82 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 21 июн 2019, 12:26 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
Изображение

Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
Изображение

Использование файлов целиком в качестве запросов
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 21 июн 2019, 12:27 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
Изображение

Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
Изображение

Использование файлов целиком в качестве запросов
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 02 июл 2019, 15:17 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Макросы подстановок
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
Изображение
В уроке рассмотрено:
  • макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
  • макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
  • макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 12 июл 2019, 15:58 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах
Изображение
Улучшения
  • Добавлено 4 новых парсера Instagram
  • Добавлено 2 новых парсера SerpStat
  • Добавлена поддержка дробных чисел в макросе подстановок {num}
  • Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
  • Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
  • Стабилизирована работа ИзображениеSE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
  • Улучшена проверка ответа в ИзображениеMaps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
  • API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
  • Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы
Исправления в связи с изменениями в выдаче
  • Исправлена ситуация, при которой в ИзображениеSE::Google::Modern выдавался 597 код ответа
  • В ИзображениеSE::Yandex исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
  • Исправлена редко встречающаяся проблема с ИзображениеSE::Google::Translate, когда парсер получал в ответ 403 статус
  • Исправлено определение языка запроса в ИзображениеSE::Google::Translate
  • Исправлена работа ИзображениеSE::YouTube, а также исправлен сбор $title
  • В ИзображениеRank::Social::Signal удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
  • В ИзображениеShop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
  • Исправлен урл запроса в ИзображениеSE:: DuckDuckGo
Исправления
  • Исправлен баг в ИзображениеRank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
  • В парсерах Maps::* исправлена работа с отрицательными координатами
  • В ИзображениеRank::SEMrush исправлена ошибка определения "удачности" запроса
  • Исправлен баг в tools.js, возникший после обновления V8
  • API: исправлена работа метода getAccountsCount
  • JS парсеры: исправлен баг со слэшем в check_content
Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 23 июл 2019, 12:37 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.
Изображение

Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
Изображение

Работаем с API, часть 3
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 02 авг 2019, 10:22 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.
Изображение

Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.
Изображение

Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 20 авг 2019, 18:59 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах
Изображение
Улучшения
  • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
  • В ИзображениеSE::Google::Modern добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
  • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
  • Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
  • В ИзображениеSE::Google::Modern реализована возможность указывать дополнительные заголовки для запросов
  • Улучшен парсинг меток сайтов в ИзображениеSE::Yandex, а также добавлена поддержка новых типов меток
  • Улучшена логика работы функции Get full links в SE::Baidu
  • Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче
  • Улучшена работа ИзображениеSE::YouTube, в связи с тестированием новой верстки
  • В ИзображениеSE::Google::Translate переработан механизм повторных попыток, добавлена поддержка сессий
  • Исправлен парсинг сниппетов в ИзображениеSE::Google::Images
  • Поностью переработан ИзображениеGooglePlay::Apps- теперь он парсит только первую страницу результатов
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern
  • Исправлена работа ИзображениеSE::Seznam при отсутствии результатов
  • Исправлена работа ИзображениеRank::Linkpad, парсер полностью переписан
  • ИзображениеSE::Bing::Translator, ИзображениеSE:: DuckDuckGo::Images, ИзображениеSE::Bing::Images
Исправления
  • Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
  • Исправлено падение скорости в ИзображениеNet::Whois
  • Исправлен баг в оптимизации парсеров
  • Исправлено сохранение параметра Report period в ИзображениеSE::Yandex:: Direct::Frequency
  • В ИзображениеHTML::LinkExtractorисправлен сбор ссылок, если в них есть перенос строки
Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 30 авг 2019, 14:49 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
Изображение
В уроке рассмотрено:
  • парсинг поиска Google для получения ссылки на страницу контактов
  • парсинг главной страницы сайта для получения title
  • использование инструмента $tools.CSVline для форматирования файла результата
  • пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 10 сен 2019, 10:43 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.
Изображение

Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.
Изображение

SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.
Изображение

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 20 сен 2019, 21:31 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 82
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений

Изображение

Улучшения
  • Добавлен новый парсер Изображение Rank::Ahrefs
  • Добавлен инструмент $tools.CSVline для простого создания CSV файлов
  • В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в Изображение SE::Google::Modern
  • В Изображение SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
  • В Изображение SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
  • В Изображение Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
  • Теперь в Изображение Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
  • Увеличено количество результатов в парсерах Изображение Rank::Bukvarix::*
  • Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
  • JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче
  • В Изображение Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
  • Исправлен Изображение SE::Rambler
Исправления
  • Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
  • Исправлена ошибка в Изображение Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
  • Исправлен баг в Изображение Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
  • Для парсеров Изображение Social::Instagram::Profile и Изображение Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

Изображение


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 82 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.

Часовой пояс: UTC + 2 часа



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Все права защищены ©.

Использование материалов данного сайта разрешено

только с активной ссылкой на http://writetranslate.ukrbb.net/!

SEO форум: раскрутка, оптимизация и продвижение сайтов Код нашего баннера
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Вы можете создать форум бесплатно PHPBB3 на Getbb.Ru, Также возможно сделать готовый форум PHPBB2 на Mybb2.ru
Русская поддержка phpBB