Инструкция по сбору семантического ядра

Общий план сбора семантического ядра (подробнее ниже)

0. Создание структуры сайта
1. Сбор маркеров для парсинга (со стоп-словами)
2. Парcинг маркеров по Яндекс Вордстат, Google.Adwords и подсказкам Яндекс и Google (key collector)
3. Выгрузка запросов видимости собственного сайта и сайтов конкурентов
4. Выгрузка запросов из баз fastkeywords.biz и bukvarix.com
5. Объединение всех фраз в единый список
6. Чистка от мусора, дублей и нецелевых запросов
7. Проверка частотности
8. Проверка конкурентности (Key collector и Мутаген)
9. Кластеризация (semparser.ru)

Этап №1

0. Создание mind-map (структура сайта):

• В основе майнд-мэпа должны быть основные разделы сайта. На основании этого mind-map будет осуществлен сбор маркерных слов (см. дальше)
• Можно не именно майнд-мап, а структура сайта в excel файле, с точной иерархической разбивокй на разделы, категории, подкатегории, карточки товаров или услуг
• Структура сайта создается на основе исследования конкурентов и спроса (по вордстату)
• После кластеризации (см. Этап 5) еще раз надо вернуться к структуре сайта и, возможно, скоррктировать ее (чаще всего расширить)

Предварительная структура сайта — очень важная часть работы. Нужно сделать максимально широко, это принципиально важно для дальнейшей работы.

1. Сбор маркеров – маркерных запросов, основных высокочастотных (далее — ВЧ) поисковых фраз для дальнейшего парсинга:

• Сбор маркеров осуществляется на основе mind-map, сделанной выше, по каждому разделу. Для каждого раздела mind-map (и, соответственно, сайта) подбираем максимальное число маркерных запросов (наименования самих разделов и их синонимы, подразделы, категории, товары/услуги входящие в каждом разделе)

Очень желательно дальше все работы выполнять по отдельности с каждым разделом.

1.1. Собрать список фраз на собственном сайте (обычно это фразы из двух слов, но это не правило):

• Общие тематические фразы и слова для сайта/проекта (в т. ч. они могут быть нигде не указаны, и нужно не искать их, а подумать над ними!)
• Каталог товаров / Продукция
• Список услуг
• Пункты в меню сайта
• Пункты из прайс-листа
• Слова в текстах (иногда в текстах на сайте находятся фразы, которых нет в каталоге или прайс-листе — синонимы, похожие названия услуги/товара, уточнения, аббревиатуры и т. п.).

1.2. Собрать список фраз на сайтах конкурентов:

Находим сайты с наибольшим количеством запросов в ТОП 50 по keys.so, выбираем из них 5-6, у которых широко представлена и разветвлена рассматриваемая продукция. Добавляем к списку ВЧ фразы. Анализируем аналогично своему сайту:

• Каталог товаров / Продукция
• Список услуг
• Пункты в меню сайта
• Пункты из прайс-листа
• Слова в текстах.

1.3. Парсинг базовых слов из собранных двухсловных фраз (обычно) по одному в wordstat.yandex.ru (или в «Анализ Групп» в программе Key Collector):

• Смотрим левую колонку и берем оттуда в основном двухсловные фразы. Например, для тематики «ремонт квартир», вводим просто «ремонт» и находим еще «ремонт жилья» или «ремонт студии», которых могли пропустить.
• Дополнительно собранные таким образом фразы добавляем в общий список маркеров.

Для упрощения работы в wordstat.yandex.ru обязательно пользуйтесь плагином Yandex Wordstat Assistant

1.4. Расширение списка маркеров:

• Смотрим общий список собранных фраз и расширяем его очевидными синонимами (авто = машина, автомобиль), схожими по смыслу выражениями (ремонт = отделка, купить игрушки = продажа игрушек), глаголами, вытекающими из существительных (ремонт авто = отремонтировать авто), вариациями слов, аббревиатурами (компьютер = ПК), жаргонами (ноутбук — ноут, стиральная машина — стиралка), транслитерациями (такси = taxi, хонда = honda) и т. д.
• Собираем синонимы из выдачи Яндекса и Google (см. внизу страницы и подсвечивания в ссылках). Берем не только точные фразы, но и похожие дополнения, словосочетания и выражения (но проверяем на релевантность в поисковой выдаче!).
• Делаем комбинации слов (voltsoft.ru/instruments/combinator/ или www.seotxt.com/service/combpro/) — по необходимости, зависит от тематики.

1.5. Каждую (!) фразу из собранного выше списка по одной проверяем в wordstat.yandex.ru:

• Смотрим правую колонку выдачи с похожими запросами и оттуда берем дополнительные фразы-маркеры, добавляем их в список.
• Также, смотря на правую колонку Вордстата, можно не только найти готовые фразы, но и получить новые идеи. Соответственно, не только ищем, но и думаем!
• Новые фразы тоже проверяем аналогичным образом по двумя пунктами выше.

1.6. Сбор основных минус-слов (исключающих слов) к маркерным фразам/запросам:

• По каждой из собранных фраз смотрим левую колонку Вордстата подбираем основные (!) минус-слова и добавляем их к ВЧ фразам-маркерам.

Этот пункт можно совместить с пунктом 1.5. (т. е. при вводе фраз смотреть и на наличие новых фраз, а также на минус-слова) — для тех фраз, что уже собраны на тот момент. Для тех, что будут собраны потом, сбор минус-слов нужно осуществить отдельно!

• Создаем общий список минус-слов (в котором содержатся минус-слова, которые повторяются и/или могут относится ко всем фразам). Если какие-то минус-слова относятся только к одной или нескольким конкретным фразам (но не ко всем), то их в общий список не включает (они остаются с конкретной фразой).
• В зависимости от тематики, в общий список можно добавить стандартные минус-слова: скачать, бесплатно, фото, видео, инструкция, отзывы, реферат и т. д. Но не все минус-слова подходят к любой тематике — иногда даже «бесплатно» не является минус-словом, а тем более фото, отзывы и т. д. Добавляйте минус-слова с умом!

1.7. Делаем единый список ВЧ фраз:

• Проверяем список на релевантность сайту и удаляем явно ненужные фразы, если такие есть.

Итог этапа №1 – полный список маркерных запросов по каждому разделу сайта. Важно выполнить эту часть работы максимально тщательно! Это реально важно, иначе СЯ будет неполным.

Этап №2

2. Сбор поисковых запросов в Key Collector по всем маркерам:

• Парсинг всех собранных маркеров в Key Collector на сбор фраз из: Яндекс Вордстат, Google AdWords, Rambler Adstat и поисковым подсказкам Яндекс и Google — список 1
• Первичная чистка собранных запросов инструментами самого Key Collector (Анализ Групп, Стоп-слова)
• Удаление явно ненужных, «мусорных» запросов (нецелевых, нерелевантных сайту!). НО не удаляем неявные дубли. Например, «русский язык егэ» и «егэ русский язык», или «купить телефон самсунг» и «самсунг телефон купить» (и тем более, если в данном примере, samsung написано латиницей)

• Делаем первичную группировку (кластеризацию) собранных фраз инструментами Key Collector.

Итог этапа №2 – полный и частично очищенный список фраз (ВЧ, СЧ, НЧ) по спарсенным и первично сгруппированным маркерам в Key Collector — список 1

Этап №3

3. Выгрузка запросов видимости собственного сайта и сайтов конкурентов:

3.1 Выгрузка запросов, по которым виден собственный сайт (из сервсиа keys.so) — список 2

• Делаем анализ в сервисе, выгружаем запросы по органической выдаче(!), не по контекстной рекламе.

3.2 Выгрузка запросов, по которым видны конкуренты (из сервсиа keys.so) — список 3

• Нужно подобрать настоящих конкурентов (сайты, которые предлагают именно то, что и ваш сайт, а не просто одной тематики).

Например, есть кредитный брокер (организация, помогающая в получении банковского кредита), и есть банк (организация, которая выдает тот самый кредит). Сайты могут (и будут) пересекаться, но эти организации не прямые конкуренты.

• Из списка настоящих конкурентов нужно подобрать тех, у кого больше всего запросов в ТОП 50 (сервис выдает такие данные автоматически).
• Нужно выгрузить запросы по 3-5 таким сайтам.

3.3. Выгрузка фраз из статистика сайта (LI, ЯМ, GA), если у вас установлен счетчик — список 4

3.4. Первичная чистка и группировка списков 2, 3 и 4:

• Списки 2, 3 и 4 (можно объединить, а можно и по отдельности) первично почистить от дублей и нецелевых запросов (используйте Кey Collector, assistant.contentmonster.ru или просто excel)
• Сделать первичную группировку.

4. Выгрузка запросов из базы ключевых фраз:

• Выгрузка запросов из fastkeywords.biz или bukvarix.com — список 5
• Первичная чистка и группировка списка

Итог этапа №3 – полный список фраз видимости сайта и конкурентов.

Подсказка: для экономии времени сбор в разных сервисах запускайте параллельно. Например, пока Key Collector парсит, сделайте выгрузку из keys.so, подготовить остальные списки.

Этап №4

5. Объединение всех собранных фраз в единый список.

6. Чистка СЯ:

• Чистка от дублей запросов (в сервисе pr-cy.ru/duplicates или функцией Удалить дубли в excel)

Неявные дубли (типа «русский язык егэ» и «егэ русский язык) не удалять!

• Чистка ненужных, нецелевых и «мусорных» запросов

*Можно использовать инструменты Анализ Групп, Стоп-слова и Анализ неявных дублей в Key Collector, assistant.contentmonster.ru или функции excel.

**Не бойтесь удалять нецелевые запросы — запросы, которые не подходят именно вашему сайту. Например, вы продаете промышленное оборудование, но НЕ предлагаете воздушные компрессоры. Запрос «воздушные промышленные компрессоры» будет нецелевым для вас.

• Чистка однословных запросов (за редкими исключениями, в некоторых тематиках). Для примера, просто «компрессор», или «телефон», или «игрушки» — не нужны. Иногда даже и двухсловные не нужны.

Чистка СЯ – это самое муторное, что есть в данной работе. Но сделать ее надо качественно! Ее никак нельзя автоматизировать, нужно делать вручную, вдумчиво!

Итог этапа №4 – единый очищенный от «мусора» список всех ключевых фраз (т. е. только нужные, релевантные и целевые запросы!)

Этап №5

7. Проверка частотности:

• Проверка точной и базовой частотности по вордстату («!»WS и WS).

Не удаляйте запросы с нулевой частотностью!

• Определение конкурентности запросов в Key Collector по формуле: ( KEI_YandexMainPagesCount ) + ( KEI_YandexTitlesCount ) — аналогично для Google
• Определение геозависимости запроса в Key Collector (да/нет)

8. Проверка конкурентности запросов в сервисе mutagen.ru (дополнительно).

Итог этапа №5 — список всех ключевых фраз в едином excel-файле с точной и базовой частотностью, геозависимостью и конкурентностью.

Этап №6

9. Кластеризация (группировка запросов в «кластеры» и создание иерархической структуры сайта):

9.1 Автоматическая группировка в сервисе semparser.ru (видео инструкция есть на сайте) или программе keyassort.

9.2 Ручная докластеризация (вычитивание СЯ) в сервисе:

• Исправление ошибок внутри групп (например, включение в кластер одновременно коммерческих и информационных запросов или запросов разных по смыслу), объединение и разделение каких-то групп и т. п.
• Должна получиться логичная, несколько уровневая структура (2-3 уровня оптимально, но это не железное правило, зависит от тематики и сайта)

Важно: Сервисы и программы не могу сделать окончательную кластеризацию! Доделать вручную, человеческой логикой – абсолютно обязательно!

9.3. Выгрузка готового кластеризованного СЯ

Итог этапа №6 – единый список ключевых фраз, сгруппированных в кластеры, и создающих иерархическую структуру сайта!

Итог работы: Полное СЯ = файл excel со всеми целевыми ключевыми фразами, сгруппированными в кластеры, отображающими структуру сайта, и с параметрами частотности и конкурентности по каждой фразе.