Парсеры яндекса

Обзор парсера Bing Suggest#

Парсер поисковых подсказок по ключевым словам в Бинге. Парсер Bing подсказок решает одну из главных задач SEO, а именно быстрое автоматизированное получение расширенного семанического ядра. Благодаря парсеру SE::Bing::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы Bing по запросу. Используя парсер SE::Bing::Suggest можно легко и быстро спарсить подсказки Гугла по запросу исходя из выбранного региона.

Благодаря многопоточной работе A-Parser’a, скорость обработки запросов может достигать 4500 запросов в минуту, что в среднем позволяет получать до 8500 — 9000 результатов в минуту.

Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).

Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Google::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

SUBSTITUTE — меняем/удаляем пробелы и спецсимволы

Универсальная функция замены/удаления символов в ячейках.

Синтаксис:

Номер соответствия — порядковый номер встреченного значения на замену, например, первое встреченное заменить, остальные оставить. Опциональный параметр.

Пример. У нас есть выгрузка ключевых фраз из Яндекс.Вордстат. Многие ключи содержат плюсики. Нам нужно их удалить.

Формула будет иметь вид:

Что мы сделали:

• где искать — указали ячейку с данными;
• «что искать» — указали плюсик, который нужно удалить;
• «на что менять» — поскольку символ нужно удалить, мы указали кавычки без символов внутри; если бы нам нужна была замена, здесь бы мы прописали текст, на который нужно заменить плюсик;
• номер соответствия — здесь мы ничего не указали, и функция удалит все плюсы в фразе; если бы мы указали 1, то функция удаляла бы только первый плюсик, если 2 — второй и т. д.

Формирование поисковых подсказок

За формирование подсказок отвечают сложные алгоритмы поисковых систем. Основные факторы, от которых зависит их создание:

• Частота поисковых фраз. «Яндекс» и Google предлагают пользователям самые популярные окончания, которые чаще всего вбивают в поисковую строку.
• Региональность. Принцип формирования подсказок зависит от того, в каком регионе пользователь вбивает запрос. Например, если он ищет пластиковые окна в Москве, то ему не выводятся подсказки с названием других городов.
• Актуальность. Алгоритмы учитывают и этот фактор. Прежде всего, касается тех поисковых запросов, которые связаны со свежими новостями.
• Персонализация. Построена на статистике поисковых запросов, истории поиска и прочей информацией, которая доступна поисковикам.

Советы и рекомендации по использованию программ для парсинга

Специалисты советуют сочетать ручной и автоматический выбор запросов для составления семантического ядра, особенно для новичков. Пользуясь штатным инструментом Яндекс Вордстат Ассистент, вы нарабатываете навыки интуитивного подбора поисковых фраз, которые приводят на сайт целевых клиентов с помощью средне- и низкочастотных ключей. Высокочастотные фразы не всегда работают, особенно в конкурентной нише.

Если у вас нет времени на ручной парсинг в Яндекс Вордстат, используйте специальные инструменты. В интернете можно найти различное программное обеспечение, но большинство русскоязычных специалистов по SEO-оптимизации делают парсинг выдачи Яндекса с помощью Key Collector.

Это десктопный продукт, позволяющий создавать и хранить в локальной памяти компьютера проекты для каждого сайта, загружать и сохранять файлы и делать парсинг ключевых слов в соответствии с региональными настройками. Программа требует привязки к аккаунту. Для работы с ключевыми поисковыми запросами в Кей Коллекторе имеются пиктограммы основных поисковых систем в Рунете (в нашем случае это Yandex-парсер, хотя можно выбрать Google, Bing и другие).

Среди других полезных сервисов для SEO такие:

• Serpstat – многофункциональная платформа для профессионалов, имеющая триальную версию с ограниченным функционалом, а также платную подписку от 19 до 299$ в месяц;
• Ahrefs – веб-сервис с множеством полезных опций, включая мониторинг ниши, анализ конкурентов и улучшение индексации сайта. Для сбора семантического ядра предусмотрен инструмент Keywords Explorer. Протестировать его можно от 7$ в неделю;
• Semrush — аналог Ahrefs по части функционала, более дорогой по тарифам (от 99$ и выше).

Специалисты утверждают, что Кей Коллектор – это самая удобная и функциональная программа, позволяющая значительно облегчить жизнь оптимизатора. У нее есть множество полезных опций для точной настройки параметров парсера Yandex (например, глубины поиска, избирательного поиска запросов по базовой частотности и т.п.).

Но у программы есть нюанс – она платная. Стоимость лицензии составляет 1800-1900 рублей по электронному и безналичному расчету соответственно.

Совет! Если по какой-то причине вы не хотите пользоваться этим продуктом, можете попробовать его бесплатный аналог «Словоёб». Подойдет и более простой вариант — Букварикс – бесплатный сервис для сбора ключевых слов и формирования семантического ядра.

Парсинг Яндекс Вордстат можно делать самостоятельно и с помощью специальных программ. Ручной сбор посредством инструмента Wordstat Assistant оправдывает себя в том случае, если ваша ниша имеет узкую направленность и мало конкурентов, а перечень поисковых запросов относительно невелик. При больших объемах работ рекомендуется пользоваться специальными программами для парсинга и аналитики.

Сколько стоит инструмент

Стоимость проверки рассчитывается исходя из количества ТЗ.

1 ТЗ — это сбор подсказок в 1 поисковой системе в 1 регионе по 1 фразе.

Первые 50 запросов — бесплатно.

Важно! Не путайте ТЗ с количеством подсказок. В рамках 1 ТЗ может быть собрано и 10 подсказок, и 5, и 2 (в зависимости от популярности запроса)

Стоимость 1 ТЗ (то есть обращения к поисковой системе) при этом не меняется.

Приведем несколько примеров расчета стоимости сбора подсказок.

* — окончательная стоимость проверки известна только после завершения сбора подсказок, поскольку если по фразе не было подсказок, то средства не списываются;

** — реальное количество будет меньшим, поскольку при углублении парсинга увеличивается количество низкочастотных запросов, по которым подсказок меньше 10 или вовсе нет.

Итак, чем больше объем парсинга, тем ниже стоимость одной подсказки. В итоге можно вполне выйти на цену, равную 1/10 копейки за подсказку. Это в 2-3 дешевле, чем в конкурентных сервисах. Кроме того, доступно 50 бесплатных ТЗ для пробного использования инструмента.

Обработка результатов#

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Google::Suggest

Опция Парсить до уровня (Parse to level)

Опция указывает парсеру переходить по соседним страницам сайта в глубину до указанного уровня, например:

• Если указан 1-ый уровень то парсер перейдёт по всем ссылкам указанным на исходной странице
• Если указан 2-ой уровень то парсер перейдёт по всем ссылкам указанным на исходной странице + по всем ссылкам собранным со страниц на первом уровне
• и т.д.

Простыми словами — это минимальное число кликов между исходной страницей и конечной
Т.к. на соседних страницах скорее всего будут ссылки на исходную страницу или повторы ссылок, то для того чтобы парсер не зациклился, и не ходил по кругу, необходимо обязательно включать уникальность запросов (Unique queries)

Скачать пример

eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm

Скопировать

Фильтрация результатов (использование минус-слов)

Использовав минус-слова возможно стразу убирать реультаты которые вам не нужны.
Аналогично используя фильтр можно и оставлять только те результаты которые содержат нужные слова.

Скачать пример

eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=

Скопировать

Парсинг вопросов-ответов в результатах поиска

Вопросы/ответы можно извлекать и вручную из результатов поиска. Но зачем, если есть шаблон от Hannah Rampton?

Это один из шаблонов, который мы используем при поиске идей для контента и постановке ТЗ копирайтерам. Анализ вопросов, связанных с основным запросом, позволяет углубиться в тему и создать интент-ориентированный контент (подробнее — в нашей статье об алгоритме Neural Matching).

Для выгрузки вопросов/ответов:

• создайте копию шаблона Google Q&A Extraction_v2;
• установите бесплатное расширение Scraper для Chrome (оно парсит данные с веб-страниц с помощью XPath);
• измените в настройках поисковика язык с русского на английский (это нужно для корректной работы формул в шаблоне).

Приступаем к парсингу вопросов/ответов:

в открывшемся окне в блоке «Selector» выбираем «XPath», вводим в поле запрос для парсинга раскрывающихся списков с вопросами/ответами: //g-accordion-expander (обратите внимание, чтобы блок Columns был заполнен так же, как на скриншоте);
нажимаем «Scrape»;

• после парсинга нажимаем «Copy to clipboard»;
• открываем шаблон, переходим на лист «Google Questions and Answers», наводим курсор на ячейку А10 и нажимаем Ctrl+Shift+V.

Если все сделано верно, то поля с вопросами, ответами и URL заполнятся автоматически.

На листе «Clean Data» та же информация представлена в юзабельном текстовом формате (кроме того, здесь исключены дубли).

На листе «Search by Keyword» вы можете найти вопросы по заданному ключевому слову (или его части).

Также вы можете выбрать вопросы по домену — для этого на листе «Search by Domain» введите полный URL или его часть.

Таким образом, вы быстро и бесплатно найдете релевантные вопросы по вашей тематике.

Парсер поисковых подсказок, сервис Раш Аналитикс (Rush Analytics)

Сервис Раш Аналитикс осуществляет быстрый парсер поисковых подсказок в Яндексе и Гугле. На нём также нужно зарегистрироваться и подтвердить свою учётную запись. Далее, заходим в левую часть панели управления сервиса – «Сбор подсказок» и создаём там «Новый проект». (Скрин 4).

Затем, кликаем по кнопке «Следующий шаг» и заполняем настройки другого раздела – «Настройка сбора». В нём лишь нужно оставить две галочки перед параметрами – «Ключевое слово» или установить по желанию другие параметры. После всех изменений нажимаем на «Следующий шаг» и попадаем в другой раздел – «Ключевые слова и цена».

Там где раздел «Списком» прописываем ключевые слова. И нажимаем кнопку «Добавить ключевые слова»

Затем, очень важно нажать на «Создать проект», чтобы запустить процесс сбора ключевых слов (Скрин 5)

Когда парсер ключевых слов будет закончен, Вы сможете скачать готовые ключи, или посмотреть их на сервисе. Обычно формат таких файлов скачивается на компьютер в виде Эксель таблицы, что очень удобно.

Преимущество сбора подсказок в Раш Аналитикс

Стоит рассказать о самых главных преимуществах сбора подсказок на сервисе Rush-analytics. Они действительно помогут Вам продвинуть блог, сайт и раскрутить статьи:

1. Ненужные поисковые запросы удаляются. Алгоритм данного сервиса отслеживает и удаляет те подсказки во время сбора, которые не приносят трафика. И оставляют в базе подсказок самый топ поисковых ключей.
2. Можно установить любой регион и язык. Раш Аналитикс поддерживает любые иностранные языки для поиска, и настраивает все регионы. Например, Москва, Ульяновская область и другие.
3. Глубокое исследовании ниши. Сервис очень глубоко исследует нишу Вашего бизнеса, и поэтому после сбора подсказок можно получить в результате популярные ключевые слова.

Эти преимущества, дают понять что этот сервис стоит использовать для продвижения статей, несмотря на то, что он платный.

Как получить список поисковых подсказок

Можно получить несколькими способами:

1. Используя блок дополнительного поиска в системе Google «Вместе с … часто ищут». Для этого вводится запрос, и можно посмотреть, что ищут вместе с ним.

Такой вид не совсем удобен, поскольку, во-первых, показывает всего около десятка подсказок, что очень мало для создания семантического ядра сайта. Во-вторых, каждую фразу приходится набивать отдельно, что занимает много времени. Выгрузить результаты по нескольким запросам сразу нельзя.

2. Посредством инструментов для парсера подсказок поисковых систем:

Ubersuggest — позволяет увидеть информацию из поиска по новостям, изображениям и видео поисковой системы. Нужно ввести ключевое слово в строку поиска и задать язык.

Этот сервис подскажет, какие слова пользователи ищут вместе с заданными «ключевиками». Дополнительные слова при этом разделяются от заданного основного знаком «+». Сортировка по алфавиту делает работу с данными удобной для SEO-оптимизатора.

• Keyword Tool является бесплатным сервисом. Он основан на подсказках Google для разных регионов и языков данной поисковой системы. Также сервис позволяет увидеть семантику из Bing, AppStore и YouTube. Стандартно вводится слово в строку поиска, производится отбор по базе данных и языку.
• Словодер — программа, позволяющая работать сразу с несколькими поисковыми системами, поскольку работает через прокси-сервер. Для начала работы необходимо скачать программу, после ее запуска ввести слово для поиска и выбрать нужный поисковик — поисковые подсказки Яндекс , Google, Mail, Rambler, Yahoo, Nigma. Затем нужно нажать на кнопку «Парсить» и подождать вывода результатов.
• avtodreem, чаще всего можно встретить в поисковой выдаче по запросу «как попасть в подсказки».

SEARCH — находим данные в строке

С помощью этой функции вы быстро найдете необходимые вам строки с большом массиве данных.

Синтаксис:

Функция используется в разных ситуациях:

• выделить ключевые фразы с необходимым интентом (например, брендированные или связанные с определенной тематикой, товаром или услугой);
• найти определенные символы в URL (например, UTM-параметры или знак вопроса);
• найти URL для целей линкбилдинга — например, содержащие слова «guest-post»).

Но в таком виде формула при отсутствии слова «porta» в ключе выведет нам #VALUE!.. Кроме того, при наличии этого слова в искомой ячейке функция будет проставлять номер символа, с которого начинается это слово. Выглядит результат так:

Для получения результата поиска в удобной для нас форме используем дополнительно функции IF и IFERROR:

Примеры запросов#

write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay

Скопировать

Подстановки запросов

Вы можете использовать для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:

essay
article
thesis

Скопировать

В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:

{subs:Keywords} $query
Скопировать

Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст в результате работы макроса.

Например, если в файл Keywords.txt будет содержать:

buy
cheap

Скопировать

В итоге макрос подстановок превратит 3 основных запроса в 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Скопировать

Плюсы и минусы работы с Кей Коллектором

Еще один вариант – сбор парсером KeyCollector (КК). Эта программа покупается один раз, причем по вполне сходной и доступной цене, а затем используем бесплатно.

При больших объемах КК очень сильно подгружает Ваш ПК, да и скорость сбора данных у него низкая. Поэтому мощность компьютера, на котором Вы хотите парсить большие объемы должна быть соответствующей.

Для настройки многих операций сбора КК может потребовать определенных умственных усилий и хлопот при подключение разных аккаунтов, прокси-серверов, работе с капчей и т.п.

Но без этого получить данные без ощутимых материальных затрат не получится.

Я использую KeyCollector при работе над СЯ в основном на этапе чистки собранных ключей от мусора, дублей и т.п..

Сбор поисковых подсказок «Яндекс»

Умея работать с поисковыми подсказками, вы соберите множество дополнительных запросов в своей тематике и увеличите трафик.

Существуют специальные программы и сервисы, с помощью которых легко собрать данные о поисковых подсказках. Наиболее популярные из них:

Key Collector

Один из любимых инструментов большинства вебмастеров для сбора семантического ядра (СЯ). Софт платный, но предлагает широкий функционал, в том числе и сбор подсказок Google и «Яндекс»:

SlovoEB

Бесплатный аналог KeyCollector, но с меньшим функционалом. Однако для поиска подсказок этого софта будет вполне достаточно:Дополнительно в настройках программы можно задать регион и доменную зону. 

Словодёр

Бесплатная программа для парсинга подсказок из популярных поисковых систем. Чтобы получить данные, скачайте и установите программу, а также укажите интересующую поисковую фразу и поисковик. 

Serpstat.com

Online-сервис с богатым функционалом для анализа конкурентов и создания СЯ. Парсит поисковые подсказки, которые можно использовать для привлечения дополнительного трафика. Чтобы воспользоваться сервисом, введите ключевую фразу и нажмите «Поиск», после чего откройте раздел «Анализ семантики/Поисковые подсказки»: 

Топвизор

Еще один популярный инструмент для сбора данных из поисковой выдачи. Чтобы спарсить поисковые подсказки откройте страницу «Ядро», выберите «Подбор ключевых слов» и «Сбор поисковых подсказок»: 

Затем укажите поисковик и регион сбора данных. Для парсинга задайте следующие настройки: 

Существует много других бесплатных и платных инструментов и сервисов: RushAnalytics, Yazzle.ru, Moab.pro и другие.

Чтобы получить максимальные данные, вебмастера советуют сочетать несколько эффективных инструментов.

Полезные инструменты проверки количества запросов и ключевых слов

Key Collector

Самый популярный сервис сбора ключевых слов и формирования семантического ядра. Распространяется на платной основе. Им пользуются профессионалы в области поисковой оптимизации.

Для первичной настройки программы требуется проделать следующее:

• Добавьте в Key Collector до 10 аккаунтов Яндекс.
• Добавьте в программу сервис анти-капчи. Настройки — Анти-капчи.
• Проведите настройку Вордстат. Настройки — Парсинг — Yandex.Wordstat.

Key Collector позволяет парсить десятки страниц и эффективно выгружать очищенные запросы в неограниченном количестве. Для работы сервиса парсинг производится в Яндекс.Директ.

Также доступен сбор статистики для Google Ads и социальных сетей. Для этого проведите настройки согласно инструкции на сайте разработчика.

Когда парсинг завершён, и вы работаете со списком слов, воспользуйтесь функцией фильтрации. Она помогает очистить выборку от неподходящих фраз и даже оставить только некоторые словоформы, удалив часть того или иного слова.

Также фильтрация помогает удалить повторяющиеся слова — для этого предусмотрена отдельная функция. Затем вы можете удалить специальные и нежелательные символы, такие как цифры и латинские буквы. Более того, если вам знакомы регулярные выражения, это окажется плюсом, так как они поддерживаются программой.

Один из важных этапов сбора семантического ядра — удаление стоп-слов. Эта функция реализована в Key Collector. Например, вы можете удалить лишние прилагательные, описывающие второстепенные свойства продукта: самый, лучший, красивый. Сюда относятся и свойства цены: недорогой, бесплатный, купить.

Slovoeb

Данное приложение позволяет проводить парсинг ключевых слов и сбор частотности определённых запросов. Это бесплатное приложение, которое анализирует выдачу через Яндекс.Директ. Чтобы начать работу, так же, как и в случае с Key Collector, настройте Яндекс аккаунты и анти-капчу.

Функционал программы повторяет концепцию Key Collector, так как является предтечей последнего, и содержит урезанный функционал. Если вам интересно профессионально заниматься SEO, приобретите Key Collector. В случае грамотного использования вложения окупятся весьма быстро.

Ahrefs

Сервис Ahrefs предлагает инструмент Keywords Explorer для анализа ключевых слов. Он поддерживает поиск по 3 миллиардам ключевиков, более 100 стран, статистику кликов, анализ SERP и целый ряд полезных функций для фильтрации слов.

Добавьте через запятую интересующие вас запросы, выберите регион и запустите анализ. Или используйте сквозную аналитику Calltouch.

Сквозная аналитика

 от 990 рублей в месяц

• Автоматически собирайте данные с рекламных площадок, сервисов и CRM в удобные отчеты
• Анализируйте воронку продаж от показов до ROI
• Настройте интеграции c CRM и другими сервисами: более 50 готовых решений
• Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
• Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Узнать подробнее

Keyword Tool

Это маркетинговый инструмент, который помогает в поиске ключевых слов и работает с функцией автозаполнения Google. Он генерирует сотни ключевых слов, одинаковых по значению, но отличающихся по форме. С помощью функции автозаполнения пользователи быстрее могут найти информацию в поисковике на основании предложенных системой слов. Keyword Tool оценивает подсказки, выдаваемые поисковиком, и структурирует их в удобном для пользователя виде.

REGEXEXTRACT — извлекаем нужный текст из ячеек

Эта функция позволяет извлечь из строки с данными текст, описанный с помощью регулярных выражений RE2, поддерживаемых Google. Синтаксис регулярных выражений достаточно сложный, больше примеров вы найдете в справке Google.

Синтаксис:

Пример 1. У нас есть список URL. Нужно извлечь домены. Здесь нам поможет регулярное выражение:

Пример 2. В списке ключевых фраз нужно найти брендированные ключи со словами «porta» и «порта». Для поиска фраз с вхождением любого из этих слов используем регулярное выражение:

Как видите, в таблицах можно кроить и резать данные так, как вам будет нужно, достаточно разобраться в формулах.

Rush Analytics

Это платный сервис, включающий бесплатный триал на 14 дней, который автоматизирует задачи при парсинге семантического ядра, а именно:
 

• Проверяет позиции в Яндекс и Google;
• Выполняет кластеризацию запросов;
• Собирает ключевые слова на основе поисковых подсказок;
• Собирает данные из Яндекс.Wordstat в облаке;
• Проверяет индексацию URL;
• Анализирует текст и другие зоны страниц.

 
С помощью Rush Analytics можно удобно и быстро собрать ключевые слова из Яндекс Wordstat (левой и правой колонок) и Google Рекламы, а также поисковые подсказки.
 
Всё просто: вы задаете свой запрос, по которому хотите найти похожие, и получаете результаты, вместе с данными по частотности. Без риска «схватить» капчу.
 
Всё начинаете с создания задачи.
 

 
Далее по порядку задаете регион и настройки сбора семантики.
 
Вы можете собирать ключи из левой и правой колонок или с данными по частотности. Укажите, сколько страниц выдачи Вордстата использовать для сбора запросов. Естественно, чем больше страниц – тем больше результатов.
 

Если вы выбираете вариант «Сбор частотности», вы можете указать, какой тип частотности вам нужен.
 

Далее загрузите запросы списком или в виде файла в xls / xlsx.
 

Также в Rush Analytics есть возможность почистить семантику от стоп-слов – для этого сервис предлагает готовые списки стоп-слов по тематикам.
 
Когда всё готово, отслеживайте процесс сбора на странице задач.

Советы специалистам и предпринимателям, занимающимся продвижением самостоятельно

1 Лучше не собирать подсказки одновременно в трех системах, ведь у каждой из них свои алгоритмы. То, что подойдет для продвижения в Яндексе, может не подойти для оптимизации видео YouTube.

2 Выбирайте регионы с учетом местоположения целевой аудитории и географии продвижения. Для Яндекса и Google доступны все регионы РФ и соседних стран, для YouTube – только страны.

3 Если нужно просто быстро оценить семантику по заданному набору фраз, дополнительные опции и расширения не нужны.

4 Подсказки отражают реальные запросы пользователей, но не всегда: в отчете могут встречаться автоматически сформированные подсказки (их еще называют автокомплиты). Да и не все реальные подсказки на самом деле популярные, поэтому лучше перепроверять их частотность с помощью парсера Вордстата.

Пример бессмысленного автоматически сформированного запроса, так никто не ищет

Главное при этом помнить, что Вордстат показывает статистику за последние 30 дней. Если запрос сезонный, лучше еще заглянуть в «Историю запросов».

5 Запросы, на которые поисковик дает ответы в самих подсказках, вряд ли целесообразно использовать для продвижения. Маловероятно, что по таким запросам пользователь пойдет смотреть результаты.

Примеры ответов на запрос прямо в подсказках

Как попасть в подсказки Яндекс

Попытки попасть в Яндекс-подсказки за счет накрутки запроса в поиске неэффективны. Гораздо надежнее выбирать «белые методы», подразумевающие выстраивание грамотной медиастратегии.

Контент сайта должен быть релевантен запросам, а также потребностям аудитории. Может принести пользу сотрудничество с блогерами, подключение комьюнити-менеджера, который будет работать с сообществами, также эффективными могут быть некоторые виды офлайн-рекламы. Все эти методы позволяют улучшить узнаваемость бренда. По мере роста узнаваемости компании и востребованности ее товаров или услуг шансы на попадание в Яндекс-подсказки увеличиваются.

Также Яндекс предлагает такой способ нативной рекламы, как «Баннер над подсказками». В 2020 году появилась возможность запуска контекстной рекламы непосредственно под поисковой строкой.

Возможные настройки#

important

Название параметра	Значение по умолчанию	Описание
Device		Выбор типа выдачи(Modern desktop computer (Windows 10, Chrome 84) / Mobile device (iPhone X, iOS 11))
Pages count		Количество страниц для парсинга(от 1 до 25)
Links per page		Количество ссылок в выдачи на каждую страницу(10 / 20 / 30 / 50)
Sort serp by date	☐	Сортировка выдачи по дате
Yandex domain		Домен Яндекса для парсинга, поддерживаются все домены (.ru, .ua, .by, .kz, .com.tr, .com). Начиная с версии 1.1.345 выбирается автоматически в зависимости от выбранного региона.
Region of serp (lr=)		Выбор региона поиска (параметр lr=)
Search sites from (rstr=)		Выбор региональной привязки сайтов (параметр rstr=)
Language		Язык результатов поиска(Russian, English, Belorussian, French, German, Indonesian, Kazakh, Tatar, Turkish, Ukrainian)
Parse not found		Определяет парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
Not personalized	☐	Персонализация поиска. Детальнее тут
Filter pages		Фильтрация результатов от нежелательного контента(Family search / Moderate filter / Do not filter)
Use Accounts	☐	Работа с существующими аккаунтами в файл files/SE-Yandex/accounts.txt. SE::Yandex::Register — Позволяет регистрировать аккаунты в Yandex
Remove bad accounts		Удаление невалидных аккаунтов
AntiGate preset		Использование сервиса разгадывания капчи. Необходимо предварительно настроить парсер Util::AntiGate — указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
Disable HTTP2	☐	Определяет поддержку HTTP2

Виды подсказок

На мобильных устройствах применяются подсказки по словам. Пользователь набирает первое слово, после чего ему предлагается на выбор список отдельных слов или выражений. При выборе одного варианта появляются другие подсказки, продолжающие фразу.

В десктопной версии браузера используются полнотекстовые Яндекс-подсказки, представляющие собой целые длинные фразы.

На часть запросов можно увидеть ответы в самих подсказках, к примеру, посмотреть, какой город является столицей определенного государства или узнать длину конкретной реки. То же касается погоды, балла пробок и др.

Кроме того, в мобильных версиях браузеров используются подсказки-фактоиды. Например, если ввести слово «погода» или «пробки», ниже строки поиска Яндекс покажет погоду в вашем городе или данные о загруженности дорог.

Также Яндекс предлагает запросы, основанные на истории поиска конкретного пользователя. Если вы зашли на сайт поисковика под своим логином, в качестве поисковых подсказок вам будут предложены ранее вводившиеся вами запросы.

Еще один тип подсказок – навигационные. Если поисковик считает, что оптимальным ответом на запрос пользователя является какой-то определенный сайт, подсказка со ссылкой на него будет показана первой.

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Сохранение в формате SQL

Формат результата:

%FOREACH p1.results;»INSERT INTO serp VALUES(‘» _ query _ «‘, ‘»; suggest _ «‘)\n»;END%

Скопировать

Пример результата:

INSERTINTO serp VALUES(‘write essay’,’write essays online telegra.ph’)

INSERTINTO serp VALUES(‘write essay’,’write essay bot’)

INSERTINTO serp VALUES(‘write essay’,’write essay telegra.ph’)

INSERTINTO serp VALUES(‘write essay’,’write essays for money telegra.ph’)

INSERTINTO serp VALUES(‘write essay’,’write essay english telegra.ph’)

INSERTINTO serp VALUES(‘write essay’,’write essays for cash’)

INSERTINTO serp VALUES(‘write essay’,’write essay service’)

INSERTINTO serp VALUES(‘write essay telegra.ph’,’writer essay telegra.ph’)

INSERTINTO serp VALUES(‘write essay telegra.ph’,’persuasive essay write telegra.ph’)

…

Скопировать