Мэтчинг данных что это

Мэтчинг онлайн и оффлайн-покупателей

Один из главных последних трендов e-commerce — оффлайн-магазины, даже не очень большие, выходят в онлайн. Это один из факторов общего роста электронной коммерции за последние пять лет.

Когда оффлайновый магазин открывает представительство в сети — сразу же возникает потребность сопоставлять данные о покупателях в обычном и интернет-магазине. Поговорим об этом.

Что такое мэтчинг данных

Сопоставление данных (мэтчинг) — объединение наборов данных, полученных из разных источников, в единые профили покупателей.

Цель сопоставления — получить полную картину о поведении конкретного клиента, чтобы затем использовать этот набор данных в интересах магазина. Делать рассылки с наилучшим таргетингом, проводить более эффективные рекламные кампании, выдавать на сайте точные товарные рекомендации — об этом подробнее чуть позже.

Посетитель зашел на сайт и авторизовался под своей учетной записью. Полистал каталог, нашел нужный товар. Но заказ решил оформить по телефону: позвонил и заказал. Если данные не сопоставлять, то для магазина это будут два разных клиента. Если сопоставлять — один клиент (в данном случае вычислить, что это один и тот же человек, можно по номеру телефона).

Если у компании есть не только онлайн-магазин, но и физический отдел — нужно сопоставлять данные еще и с оффлайном. Например, чтобы бонусы с крупной покупки в оффлайне покупатель мог бы использовать в онлайн-магазине. И наоборот.

Что будет, если не сопоставлять данные

Если сопоставления не делать, страдает эффективность буквально всего маркетинга: баннерной рекламы, рассылок, товарных рекомендаций на сайте, программ лояльности.

Частично сопоставление есть у каждого магазина: например, обязательным пунктом анкеты при получении карты клиента является контактный е-мейл или телефон. Однако когда речь идет о десятках параметров из разных источников — без автоматизации объединить их в единый профиль не получится. И тем более — поддерживать актуальность каждого.

Кто автоматизирует сопоставление данных

Есть следующие варианты автоматизации:

Как применяется мэтчинг сегодня?

Пример: как применяется мэтчинг в email-рассылках

Покупатель заинтересовался двумя разными товарами, пусть это будет телевизор X и игровая приставка Y. Система отмечает заинтересованность покупателя. Спустя какое-то время клиент покупает приставку Y в оффлайн-магазине. Что происходит дальше:

Пример: как применяется мэтчинг в ретаргетинг-кампании

С одной стороны у покупателей есть трекинг-код (берется из cookie на сайте), с другой ID покупателя и товара, информация о дате покупке, сумме и другие данные из оффлайна (из программы лояльности). Математические алгоритмы «сравнивают» данные и те, которые с большой вероятностью принадлежат одному покупателю — сливаются в общий профиль. Это помогает сделать следующие улучшения в рекламной кампании:

Пример: товарные рекомендации

Рекомендательная система будет советовать товары не просто с учетом истории покупок и кликов в онлайне или поведения пользователя на других сайтах, но и с привлечением ценных данных из оффлайна. Механики примерно такие же:

Пример: возврат товаров

Есть такая особенность в ритейле: даже если покупатель сделал покупку в онлайн-магазине, то возврат товара он предпочтет сделать в оффлайн-точку. Если не заниматься мэтчингом, то получится, будто бы онлайн-пользователь купил товар и остался им доволен (ведь он не совершал возврата в интернет-магазин). А по факту всё будет не так.

Следовательно, без мэтчинга целостность данных нарушится и магазин будет настойчиво советовать купить дополнительные комплектующие к гаджету, который пользователь вернул в магазин. А узнав о факте возврата товара, магазин может не потерять клиента, постаравшись получить отзыв о причинах возврата и предложить другой нужный человеку товар с персональной скидкой.

Заключение

Сопоставлением данных критично важно заниматься тем магазинам, у которых много каналов продаж: оффлайн-магазин, сайт, мобильное приложение. Чем больше каналов — тем богаче данные, которые по-отдельности не так эффективны, как если их объединять в единые виртуальные профили.

Оптимальным решением для крупных ритейлеров будет работа со специализированным сервисом мэтчинга или интеграция нужных функций в CRM. Для малого и среднего бизнеса подойдет сервис рекомендаций, который сопоставляет и объединяет данные из разных источников, оффлайна и онлайна.

Источник

Типы данных, паттернг матчинг и функции

Сегодня, как обещал, вкратце расскажу про пользовательские типы данных, определения функций и сопоставления с образцом.

Предисловие

gchi> :cd c:/some/haskell
ghci> :l file.hs
[1 of 1] Compiling Main ( file.hs, interpreted )
Ok, modules loaded: Main.
ghci>

Наверняка есть удобное IDE, автоматом делающее релоад при изменениях, но я пользуюсь просто редактором с подсветкой.

Типы данных

data List a = Null | Cons a ( List a )

которые элементарно реализуются

Определение функций и паттерн матчинг (сопоставление с образцом)

length Null = 0
length ( Cons _ xs ) = 1 + length xs

someFunc ( Cons 5 ( Cons _ ( Cons 3 ( Cons _ Null ) ) ) ) = True
someFunc _ = False

someFunc3 ( x : xs )
| isSomePredicate x = xs
| x == 0 = []
| otherwise = ( x : xs )

ghci> listHead Null
*** Exception: No match in record selector Main.listHead
ghci> head []
*** Exception: Prelude.head: empty list

listHead Null = error «listHead: empty list»
listHead ( Cons x _ ) = x

ghci> listHead Null
*** Exception: listHead: empty list

listMap f Null = Null
listMap f ( Cons x xs ) = Cons ( f x ) ( listMap f xs )

listFilter p Null = Null
listFilter p ( Cons x xs )
| p x = Cons x ( listFilter p xs )
| otherwise = listFilter p xs

Операторы определяются так же, как и функции, но если они используются в префиксной форме, то должны обрамляться скобками.
В данном примере записи корректны:

Null @++ right = right
( @++ ) left Null = left
( Cons l ls ) @++ right = Cons l ( ls @++ right )

toList Null = []
toList ( Cons x xs ) = x : ( toList xs )
fromList [] = Null
fromList ( x : xs ) = Cons x ( fromList xs )

В следующий раз я расскажу про классы типов и про некоторые стандартные из них.

Источник

Проблемы матчинга и как можно с ними бороться

Добрый день! Меня зовут Алексей Булавин, я представляю центр компетенций Сбертеха по Big Data. Представители бизнеса, владельцы продуктов и аналитики часто задают мне вопросы по одной и той же теме — матчинг. Что это такое? Зачем и как его делать? Особенно популярен вопрос «Почему он может не получиться?» В этой статье я постараюсь на них ответить.

Начнем с бытового примера. У меня есть маленький сын. Недавно он освоил мобильный телефон и теперь любит таскать его с собой, чтобы, как взрослый, непринужденно позвонить кому-нибудь когда вздумается и поговорить на какую-нибудь «очень важную» тему. Звонит он только маме, папе и бабушке. Больше всего достается бабушке: порой он по 10 раз в день звонит ей, чтобы рассказать, что с ним произошло 5 минут назад.

В детском саду у него есть друг Денис, и у Дениса тоже есть мобильный телефон. Встретившись, они как взрослые меряются телефонами, но никогда не звонят друг другу. Я как-то спросил сына:

— Почему бы тебе не позвонить и не поболтать с другом о том о сем, обсудить свои дела?
— Папа, мне это совсем не нужно, мы и так встречаемся в саду каждый день и, если что, поговорим там. Дела подождут.

Мне стало интересно, как же так? Выяснилось, что просто ни он, ни Денис не знают своего собственного номера телефона и не могут ими обменяться. Налицо отсутствие связи из-за отсутствия ключей.

Что же такое матчинг?

Новые средства взаимодействия в обществе порождают новые возможности, более тесно связывают людей, а системам указывают об их связанности. Матчинг — это один из типов связанности, который указывает на отношения субъекта с самим собой. Например, когда на разных досках объявлений продается одна и та же машина, а мы хотим связать и воспринимать эти объявления вместе, как единое целое.

Зачем нужен матчинг?

Информация сегодня представляет ценность, которую можно монетизировать. Соответственно, дополнительная информация дает дополнительную ценность, увеличение прибыли или сокращение издержек — с помощью разработки новых фич, качественного изменения существующих или вообще создания новых продуктов.

Как правило, наш продукт четко связан с теми или иными объектами, знания по которым мы хотим обогащать. Чем больше дополнительной информации из новых источников мы получаем, тем актуальней становится задача объединения информации из всех источников в единое информационное пространство, как будто это атрибуты одной системы.

Трудности матчинга

Добыть и связать данные — вроде бы стандартная техническая задача. Но из-за ряда проблем это бывает затруднительно или вовсе невозможно:

Получается, что связать объекты двух систем между собой по ключу бывает либо невозможно, либо процент и качество связанности оказываются ниже желаемого уровня. Можно попробовать собрать ключ как комбинацию нескольких информационных полей, составной ключ. Но здесь возникают новые трудности:

Кроме того, для информационных полей в составном ключе характерны трудности, которые мы упоминали ранее. Поля, входящие в составной ключ, тоже могут быть не уникальны, ошибочны, преднамеренно искажены и не постоянны.

Количество vs качество

Как же победить перечисленные выше трудности и добиться 100% матчинга? Начать стоит с вопроса: а действительно ли нужно достигать таких высоких уровней качества? Может, для решения бизнес-задачи вполне достаточно 70%?

Есть у нас составной ключ, состоящий из набора атрибутов. Каждый из них с некоторой вероятностью будет заполнен и с некоторой вероятностью подойдет для применения в качестве элемента ключа. Вероятность что весь составной ключ будет нормален — это произведение всех вероятностей по всем атрибутам ключа. Все это еще нужно умножить на вероятность того, что объект в принципе присутствует в двух системах. Тогда мы получим вероятность матчинга. А умножив ее на общее число сущностей, получим количественный прогноз по сопоставлению.
Чем меньше атрибутов в составном ключе, тем вероятность матчинга выше и при этом ближе к вероятности того, что объект есть в двух системах. Но количество сопоставлений при этом растет и чаще всего превышает прогноз. Это связано с тем, что с уменьшением числа атрибутов в составном ключе растет вероятность ошибочного сопоставления.

Проще говоря, с уменьшением количества атрибутов в составном ключе растет как число объектов сопоставленных правильно, так и число сопоставленных ошибочно. Как бы количество борется против качества. И в зависимости от бизнес-задачи можно выбрать стратегию матчинга, смещающую результат либо в сторону количества, либо в сторону качества.

Обогащение, фильтрация, нормализация

А можно ли увеличить качество и количество одновременно? Конечно можно. Для этого нужно потратить больше, а иногда и намного больше ресурсов на дополнительную обработку данных.
«Дырки» в данных можно заполнять, получая их из других полей источника. Город локации можно получить из кода телефонного номера, ИНН, кода региона. Пол можно получить из имени и фамилии или по анализу авторского текста. Алгоритмов обогащения достаточно много.

Далее данные следует пропускать через фильтры. Фильтры могут быть как стандартные, так и специфические, связанные с особенностями наполнения и трансформации данных конкретного источника. Например, к стандартным можно отнести фильтр, убирающий непечатные символы, дубли, задвоения символов, скобки, кавычки, пробелы.

К специфичным фильтрам можно отнести обнаружение и замену символов другой языковой раскладки, которые выглядят одинаково визуально в обоих языках — например, буква О в английской раскладке в имени Оля. Или обнаружение и замену символов другой языковой раскладки, которые звучат одинаково или почти одинаково в обоих языках (Света и Sвета).

К нормализации можно отнести перевод на другой язык, транслитерацию, приведение к шаблону заполнения (название, марка, телефон, адрес, пол), а также замену коротких названий на полные, замену сленга и уменьшительно-ласкательных форм.

Даже при одном составе ключа для разных источников данных зачастую следует использовать разные критерии. Это связано с тем, как конкретный источник заполняется данными. Чтобы правильно подобрать критерии, желательно собрать и проанализировать статистику по заполнению полей источника. На улучшение качества может повлиять применение коэффициента частотности по полю в источнике (например, для марки машины, фамилии), коэффициента «емкости» (например, для названия населенного пункта в зависимости от того, насколько большой этот населенный пункт по количеству жителей).

При одновременном комбинированном использовании разных ключей матчинга можно применить коэффициенты в качестве условия использования того или иного ключа. Таким же образом можно задействовать и иные критерии, например, заполненность того или иного поля. Комбинировать матчинги по разным ключам между одними и теми же источниками можно и без применения условий — результат бывает вполне приемлемый.

Другие матчинги

Есть и другие алгоритмы матчинга, которые иногда кардинально отличаются от перечисленных выше. Например, матчинг по слабому ключу в условиях связи с другим объектом, уже проматченным по сильному ключу, если емкость такой связи по определению маленькая.

Приведем пример. У любой машины или квартиры за всю ее историю, в среднем, имеется от 1 до 5 владельцев. Если в двух системах объект квартиры или машины проматчен по сильному ключу, то субъекта — владельца этой квартиры, явно с ней связанного — можно матчить по любому самому слабому параметру, например фамилии и имени.

Объекты любой социальной сети или подобной ей структуры данных с большим числом устойчивых связей можно матчить по слабым ключам, принадлежащим не самому объекту матчинга, а его окружению. Сами объекты матчинга могут иметь в дополнение собственный слабый ключ, а могут не иметь. Фактически алгоритмизируется утверждение древнегреческого поэта Еврипида: «Скажи мне, кто твои друзья, и я скажу тебе, кто ты».

Для двух источников с одной или несколькими фотографиями объектов, которые явным образом связаны с их идентификаторами в источниках, можно применить матчинг по фотографиям. На фото выделяются объекты или лица и сравниваются с такими же объектами или лицами в другом источнике. По сути, по такому принципу работают нейросетевые сервисы типа «Is your portrait in a museum?» от Google: они матчат лицо с загруженной вами фотографии с лицами средневековых людей на портретах музеев. Критерий для матчинга специально выбран мягким, чтобы получалось отдаленное, но достаточное сходство.

При наличии большого числа авторской текстовой информации в разных источниках можно попробовать алгоритмы text mining, чтобы связать авторов. Это что-то вроде анализа почерка, только анализируется не форма написания, а содержание текста.

Big data

Чтобы повышать качество матчинга, требуется применять различные алгоритмы, которые в свою очередь требуют много ресурсов. Чем больше алгоритмов, тем больше ресурсов требуется. А если данных много, они постоянно изменяются, а считать их нужно быстро и недорого?

Скорее всего, хранить, обрабатывать и матчить данные традиционными способами не получится. Стоит подумать о bigdata-инфраструктуре. Таких решений сейчас уже довольно много, от разных вендоров и на любой кошелек.

В Сбербанке, например, матчинг внутрикорпоративных данных реализован как компонент data lake на Hadoop, Spark и HBase. Это решение позволяет обрабатывать разнородные неструктурированные данные большого объема, запускать вычисления на большом кластере, где хранятся данные без накладных расходов. При этом используется опенсорсный софт и commodity-сервера, что делает решение достаточно дешевым и эффективным для такого класса задач. Про Big Data на Hadoop написано много. Мне, например, вполне нравится, как это сделано у DataArt.

Наш MatchBox

MatchBox — это система для автоматической нормализации и матчинга, которую мы используем в data lake Сбербанка. Она была недавно разработана в центре компетенций Big Data Сбертеха.
MatchBox в основном используется для построения и поддержания в актуальном состоянии единого семантического слоя данных и единого профиля клиента. Система дает возможность автоматически объединять информацию из большого числа источников в единую информационную суперсущность, встраиваться в процесс обновления информации источников. Это обогащает знания о текущих и потенциальных клиентах банка: их социально-демографических, психологических, поведенческих особенностях и потребительских предпочтениях.

MatchBox работает с данными любого качества, использует библиотеки с провалидированными алгоритмами нормализации и матчинга, имеет для этого конфигуратор пользовательских правил, работает в полностью автоматическом режиме по событию, расписанию или как сервис. MatchBox умеет масштабироваться, и количество регулярно обрабатываемых источников ограничивается только ресурсными квотами кластера.

Вот чего нам удалось добиться благодаря внедрению MatchBox:

Я надеюсь, что статья поможет ответить на вопросы, связанные с матчингом, продвинуться в понимании собственных проблем работы с данными и найти подходы к их решению.

Источник

Найди пару: что такое матчинг

На самом деле мы встречаемся с понятием матчинга каждый день с самого детства — найти вторую варежку, надеть одинаковые носки, выбрать профессию, работу, партнера, врача… А мы поговорим о том, что такое матчинг в сфере ритейла, почему он так важен и как происходит.

Что такое матчинг в Priceva и зачем он нужен

Информация сегодня — это деньги. Сравнивая свои товары с аналогичными на рынке — по цене, качеству, ассортименту, наличию, — продавец обогащает собственные знания о продукте: товар лучше/хуже, дороже/дешевле, что есть у меня и нет у конкурентов и наоборот… Эти данные можно и нужно монетизировать: улучшить продукт/ассортимент/сервис, установить привлекательную цену или увеличить маржу, сыграв на дефиците у конкурентов. То есть сделать выводы и принять меры, чтобы зарабатывать больше.

Получить информацию для сравнения можно, запустив мониторинг по товарам соперников. А для этого необходимо найти соответствующие продукты у конкурентов и загрузить в систему мониторинга ссылки на них. Это и есть процесс сопоставления.

В нашей системе матчинг (мэтчинг) — это поиск и сопоставление товаров, по которым планируется мониторинг цен на разных сайтах.

Вот так выглядят данные базового мониторинга для товара «Клавиатура беспроводная Apple Magic Keyboard, Bluetooth, Белый/Серебристый MLA22RU/A» — в демокабинете к этой позиции подобраны ссылки на страницы 5 конкурентов.

Как происходит сопоставление товаров

В системе Priceva есть 3 сценария матчинга:

Какой из сценариев предпочесть — решайте сами, мы лишь рекомендуем при выборе обратить внимание на очень важный фактор — регулярность опорных точек для сравнения. Что это значит?

Сопоставление можно проводить:

Как правило, у товара имеется общепринятый в отрасли артикул или код, который одинаково отображается — имеет точное вхождение — на всех сайтах. Подобрать товары с идентичным артикулом несложно, это можно сделать как вручную, самостоятельно или поручив редактору сервиса, так и автоматически.

Но есть категории товаров, где артикулы отсутствуют или маркировка не регламентирована — наименования, характеристики и их последовательность на разных сайтах указываются с вариациями. Тогда используется особый вид автоматического матчинга — по параметрам.

Рассмотрим ручной и автоматический способы сопоставления товаров подробнее.

Ручной подбор ссылок

Самостоятельно

Инструкция по самостоятельному созданию ссылки находится в «Центре знаний Priceva» в разделе «Как самостоятельно добавить ссылку на товар». Также можно проконсультироваться у менеджера.

Напоминаем, что такой способ удобен, если товаров для мониторинга в пределах двух десятков или требуется скорректировать список для мониторинга.

Силами специалистов сервиса Priceva

Если список товаров для мониторинга обширный, можно поручить сопоставление ссылок редакторам сервиса. Это самостоятельная услуга, которая доступна на тарифах с функцией «Ручной подбор ссылок Priceva ».

К ак заказать матчинг в сервисе

Форма заказа матчинга находится на вкладке «Товары» личного кабинета в блоке фильтров:

Редакторы по вашему списку будут искать ссылки по следующим параметрам:

Найденные релевантные ссылки заносятся в список товаров в таблицу Excel.

Проверка ручного подбора ссылок

Кроме первичного подбора можно заказать проверку ранее сопоставленных товаров и поиск ссылок вместо отключенных за ошибки сканирования. Сформированное задание будет доступно в разделе «Матчинг» в основном меню.

Благодаря фильтрам вы можете делать заказы точечно, на нужный ассортимент и всегда сохранять аккаунт актуальным. Ограничений на минимальный заказ нет, а стоимость рассчитывается сразу при его формировании.

Каждое выполненное задание проходит контроль качества сначала людьми (перепроверяем значимую часть задания), а после подвергается автоматическому анализу с поиском отклонений.

Сколько времени потребуется на ручной матчинг

Рассчитать, сколько времени понадобится на ручное сопоставление ссылок в каждом конкретном случае, нетрудно. Исходим из следующей формулы:

1 оператор х 500 сопоставлений в день + 1–2 дня на контроль качества.

Действует система очередности выполнения заявок по запросу на день оплаты матчинга. Точный срок сообщит аккаунт- менеджер.

Цена за подбор одной ссылки указана на сайте в разделе «Тарифы и цены».

Автоматический подбор ссылок

Автоматический подбор ссылок (матчинг) — это сбор информации о товарах с сайтов конкурентов и сопоставление с исходным ассортиментом с помощью машинных алгоритмов.

Преимущества автоматического матчинга:

Когда ассортимент измеряется тысячами товаров, ручной подбор сопоставлений становится затруднительным. К тому же на больших объемах человеку свойственно ошибаться.

Система позволяет скачивать нужные разделы на ресурсах конкурентов или даже сайты целиком и автоматически находить в огромном массиве данных идентичные товары.

Обработка 10 000 SKU займет порядка 2 часов и может автоматически повторяться по заданному расписанию, чтобы поддерживать актуальность базы для мониторинга цен.

Гибкая система настроек позволяет выполнить индивидуальную конфигурацию под самые разные цели. Например, можно сопоставлять не идентичные товары, а аналоги (схожие) по любым правилам.

Существует 4 вида простого автоматического матчинга:

1. Автоматчинг с точным вхождением

Применяется в случаях, когда артикул товара на всех сайтах идентичен.

Пример: Для матчинга компьютерной техники и электроники были скачаны избранные разделы с 26 топовых сайтов Рунета. Всего в сопоставлении участвовало 200 000 SKU, на их матчинг ушло 7 дней (напомним: 1 оператор ручного матчинга обрабатывает 500 ссылок в день), качество сопоставления составило 98 %.

2. Матчинг «Меньшее в большем»

Проводится, если удается найти одинаковую часть артикула или фрагмент кода, который включен на всех сайтах в маркировку товара.

Пример: Артикул видеокарты в основной части идентичен, но на одном из сайтов в нем присутствуют дополнительные буквы LNR.

3. Матчинг «Код + бренд»

Когда для точного сопоставления к артикулу/коду требуется указать бренд товара, чтобы точность была более высокой.

Пример: У тормозных колодок, детской игрушки и видеокарты одинаковый код 1528277. Если мы добавим бренд, избежим ошибок.

4. Автоматизированный матчинг по параметрам

Матчинг по параметрам — самый сложный способ. Именно к нему прибегают, когда нужно сопоставить сотни или тысячи товаров со сложным артикулом или нестандартизированной маркировкой.

Пример: Названия кабельной продукции выглядят специфически: ВВГнг(А)-LS 4х6,0+1х4,0 1Кв, ТУ 16.К71-310-2001. Поиск осложняется тем, что стандартизированной маркировки у этого товара нет. На разных сайтах цифры и буквы, обозначающие конкретный вид кабеля, могут меняться местами, частично отсутствовать или заменяться другими параметрами.

Человек может сориентироваться и понять, идентичен ли товар исходному, тогда как машинные алгоритмы сбиваются. Но при большом количестве ссылок человеческих ресурсов просто не хватает, ошибки неизбежны.

Суть матчинга по параметрам — специалист вручную формирует для системы набор ключевых параметров, которые необходимо искать на веб-страницах, где бы они ни находились. Работа на подготовительном этапе сложная и кропотливая, но результат того стоит.

Подробнее о том, как происходит матчинг для товаров с нестандартной кодировкой, читайте в статье «Как настроить мониторинг цен, если у товаров нет стандартных артикулов и маркировок».

Комбинированный матчинг

Бывают задачи, которые требуют нестандартного подхода. Например, на части страниц артикул или маркировка по одному и тому же товару совпадает, а на части — нет.

В таких случаях необходим комбинированный способ матчинга — автоматическое и ручное сопоставление ссылок.

Чтобы подобрать оптимальный вид матчинга, который сэкономит ваши время, нервы и деньги, обратитесь к менеджеру сервиса — он поможет определиться.

Результаты матчинга

В результате разнообразных подходов к сопоставлению ссылок клиенты получают настроенную, работающую систему мониторинга и актуальные, точные данные о рынке:

Вся эта информация уже сведена на едином дашборде — ситуацию можно оценить с одного взгляда, а функционал сервиса позволяет после каждого обновления данных автоматически генерировать оптимальные цены относительно конкурентов (репрайсинг). Репрайсинг-индекс покажет, насколько собственная цена отличается от рекомендуемой (относительно конкурентов, в %) — чем выше индекс, тем больше необходимость в корректировке цен.

Точное сопоставление товаров напрямую влияет на качество мониторинга, данные которого становятся основой для важных бизнес-решений.

Источник