SEO форум

Здесь вы можете найти информацию и помощь по оптимизации сайта, раскрутке, созданию контента и дизайна.
Текущее время: 29 мар 2024, 09:42

     

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 167 ]  На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 17  След.
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 07 фев 2020, 09:49 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.
Изображение

Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
Изображение

Определение типа сайта по Яндекс Радару
И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 19 фев 2020, 10:05 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому
В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
Изображение

Инструкция по использованию Google Indexing API
В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
Изображение

Поиск и сбор rss лент
В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 03 мар 2020, 09:34 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах

Изображение

Улучшения
  • Добавлен новый парсер Изображение SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
  • В ИзображениеSocial::Instagram::post добавлена возможность собирать ссылки на локации
  • В ИзображениеUtil::YandexRecognize добавлена поддержка сессий
  • В ИзображениеSE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
  • Улучшения в Изображение HTML::EmailExtractor для более качественного сбора почт
  • В Изображение SE::Google::Trends обновлен и значительно расширен список регионов
  • Из Изображение SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен выбор страны в ИзображениеSE::Yahoo
  • Исправлен баг с декодированием ссылок в Изображение SE::Google::Images
  • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 16 мар 2020, 14:27 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Изображение Net::HTTP

Вложение:
101.PNG
101.PNG [ 151.33 Кб | Просмотров: 33 ]


В видео рассмотрено
  • Пользование разделом тестового парсинга
  • Переход по страницам пагинации
  • Проверка наличия определенного контента на странице сайта
  • Использование регулярных выражений
  • Применение конструктора результатов (декодирование HTML сущностей)
  • Применение шаблонизатора Template Toolkit в формате результата:
    • Использование инструмента $tools.CSVline
    • Циклическая обработка директивой FOREACH
    • Виртуальный метод .match
    • Фильтры: .remove, .collapse, .replace

Полезные ссылки

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 27 мар 2020, 16:11 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
  • телеграмм бот опросник
  • парсер агрегатора цен hotline.ua
  • парсер аукционов транспортных средств copart.com

Телеграмм бот опросник
Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.
Изображение


Парсер hotline.ua
hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
Изображение

Парсер copart.com
Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 07 апр 2020, 14:35 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Именование файлов результатов

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

Изображение


В видео рассмотрено:
  • Нумерация файла результата в соответствии с запросами
  • Нумерация файла результата + часть имени запроса
  • Именование файла результата по запросу, если запрос линк

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 17 апр 2020, 12:04 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений

Изображение

Улучшения
  • Добавлен парсер Изображение SE::Google::KeywordPlanner
    • собираются списки подсказок и варианты ключевых слов
    • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
    • присутствует возможность указывать несколько ключевых слов в запросе
  • В Изображение SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
  • В Изображение SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
  • Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
  • Автоматическое увеличение лимитов на ОС Linux
  • Улучшена работа с регулярными выражениями
  • При бане прокси в лог задания теперь выводится более детальная информация
  • Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
    • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
  • Native NodeJS: добавлена экспериментальная поддержка HTTP/2
  • Native NodeJS: обновление Node.js до актуальной версии
  • JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут

Исправления в связи с изменениями в выдаче

Исправления
  • Исправлена работа Изображение Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
  • Исправлена работа Extra query string в Изображение SE::Bing
  • Исправлена работа Изображение Rank::SEMrush и Изображение Rank::SerpStat::Keyword при получении ответа без данных
  • Исправлен баг с типами переменных
  • Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
  • Исправлена работа Bypass Cloudflare
  • Исправлен динамический лимит потоков
  • Исправлена ошибка при использовании Request delay
  • Исправлено предупреждение о превышении лимита в Поле запросов
  • Исправлена работа $tools.task.id в имени файла результата
  • JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
  • JS парсеры: исправлено определение кодировки страницы
  • Native NodeJS: исправлено поведение при некоторых ошибках
  • Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
  • Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
  • Native NodeJS: исправлена работа SOCKS5 с авторизацией
  • Native NodeJS: исправлена подстановка данных после Конструктора запросов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 28 апр 2020, 13:13 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
  • парсер данных о посещаемости организаций
  • парсер данных о SSL сертификатах
  • парсер товаров на ikea.com
  • комплексный пресет для анализа доменов по ряду характеристик
  • способ извлечения доменов из ссылок без фактического захода на страницу

Посещаемость в Google Maps

В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.

Изображение

Данные по SSL сертификату

Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.

Изображение

Парсер ikea.com

Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.

Изображение

Кроме этого:

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 08 май 2020, 13:42 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия
В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

Изображение

В видео рассмотрено:
  • Вывод результатов в разные файлы с разными именами используя переменные
  • Вывод результатов для каждого файла отдельно по определенному условию
  • Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изображение


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - Продвинутый Парсер Пс, Кейвордов, Контента, П
СообщениеДобавлено: 18 май 2020, 11:23 
Не в сети

Зарегистрирован: 26 июн 2017, 09:42
Сообщений: 165
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
  • Работа с Google таблицами
  • Отправка писем из А-Парсера
  • Авторизация с помощью puppeteer

Сохранение результатов в Google SpreadSheets
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
Изображение

Отправка почтовых писем
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
Изображение

Авторизация на GitHub с использованием puppeteer
Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.
Изображение


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 167 ]  На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 17  След.

Часовой пояс: UTC + 2 часа



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron

Все права защищены ©.

Использование материалов данного сайта разрешено

только с активной ссылкой на http://writetranslate.ukrbb.net/!

SEO форум: раскрутка, оптимизация и продвижение сайтов Код нашего баннера
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Вы можете создать форум бесплатно PHPBB3 на Getbb.Ru, Также возможно сделать готовый форум PHPBB2 на Mybb2.ru
Русская поддержка phpBB