Как слушать музыку на айфоне в вк в фоновом режиме: Ограничение музыки в ВК в фоновом режиме

Архитектура и алгоритмы индексации аудио | by VK Team

Мы расскажем о поиске похожих треков среди всех аудиозаписей ВКонтакте.

Зачем это нужно?
У нас много музыки, более 400 миллионов записей, что в сумме составляет 4 ПБ. Это как если бы вы скачали всю музыку из ВК на 64-гигабайтные айфоны, а затем сложили их один поверх другого, в результате чего получилась башня выше Эйфелевой башни. Каждый день нужно добавлять еще 25 айфонов, или 150 000 новых записей общим объемом 1,5 ТБ.

Конечно, не все эти файлы уникальны. В каждом файле есть данные об исполнителе и названии (иногда текст и жанр), которые пользователь вводит при загрузке песни на сайт. Так как премодерации нет, к нам приходят разные названия, ремиксы, концертные и студийные записи одних и тех же песен, а также совершенно неназванные записи.

Если мы достаточно узнаем о том, как найти одинаковые (или очень похожие) записи, это можно использовать себе во благо, например:

• Не дублировать одну запись с разными названиями в результатах поиска.
• Рекомендовать слушать любимые песни в HQ.
• Добавьте обложки и слова ко всем вариантам песен.
• Улучшить механизм рекомендаций.
• Улучшить работу с требованиями владельцев контента.

Пожалуй, первое, что приходит на ум, это ID3-теги. Каждый файл .mp3 имеет набор метаданных и мы можем учитывать эту информацию как более приоритетную, чем то, что указал пользователь в интерфейсе сайта при загрузке записи. Это самое простое решение, хотя и не самое лучшее. Теги можно редактировать вручную, и они не обязательно должны соответствовать содержимому.

Таким образом, вся информация, связанная с файлом, которая у нас есть, зависит от людей и может быть недостоверной. Это означает, что нам нужно работать с самим файлом.

Таким образом, мы поставили перед собой задачу определить одинаковые или похожие по звучанию записи, анализируя только содержимое файла.

Кажется, это уже кто-то делал?

Поиск похожих аудиозаписей — очень популярная история. Использование акустических отпечатков пальцев — уже классическое решение, которым пользуются все — от Shazam до биологов, изучающих волчий вой.

Акустические отпечатки — это представление звукового сигнала в виде набора значений, описывающих его физические свойства.

Проще говоря, отпечаток содержит некоторую информацию о звуке. Причем эта информация компактна, намного меньше исходного файла. Песни, которые звучат одинаково, будут иметь похожие отпечатки пальцев, и, наоборот, песни с разным звучанием будут иметь контрастные отпечатки пальцев.

Мы начали с попытки использовать одно из существующих решений на C++ для создания акустических отпечатков пальцев. Прикрутив его к нашему поиску и протестировав на реальных файлах, мы поняли, что на большей части выборки результаты плохие. Этот же трек успешно «маскируется» эквалайзерами при добавлении лишнего фонового шума или джинглов, или микшировании с другим треком.

Во всех этих случаях человек легко понимает, что это одна и та же песня. У нас много файлов с подобными искажениями, поэтому важно уметь получать для них хорошие результаты. Стало ясно, что нам необходимо создать собственный код для генерации отпечатков пальцев.

Генерация отпечатков пальцев

Представьте, что у нас есть аудиофайл .mp3. Как мы можем преобразовать его в компактную печать?

Для начала нам нужно раскодировать звуковой сигнал, который был запакован в файл. MP3 представляет собой цепочку кадров (блоков), содержащих закодированные данные об аудио в формате PCM (импульсно-кодовая модуляция). Это несжатый цифровой звук.

Чтобы получить PCM из MP3, мы использовали библиотеку libmad на C и собственную оболочку на Go. Позже мы выбрали прямое использование ffmpeg.

Так или иначе, в итоге мы имеем звуковой сигнал в виде массива значений, описывающих зависимость амплитуды от времени. Можно представить это в виде графика:

Это звук, который слышат наши уши. Человек может воспринимать его как единое целое, но на самом деле звуковая волна представляет собой совокупность множества звуковых волн, состоящих из волн разной частоты. Это сродни музыкальному аккорду, который состоит из нескольких нот.

Мы хотим знать, какие частоты присутствуют в нашем сигнале, особенно какие из них наиболее характерны для него. Давайте попробуем канонический способ получения таких данных, который использует алгоритм быстрого преобразования Фурье (БПФ).

В нашей реализации мы используем пакет GO-DSP (Digital Signal Processing), в частности github.com/mjibson/go-dsp/fft — собственно FFT и github.com/mjibson/go-dsp/window для Hann оконная функция.

В конце мы получаем набор комплексных чисел, который при переносе на плоскость называется спектрограммой.

Спектрограммы являются визуальным представлением всех трех акустических параметров сигнала: времени, частоты и амплитуды. Он определяет амплитуду для конкретной частоты в определенный момент времени.

Например:

Время измеряется по оси X, а ось Y представляет частоту. Амплитуда изображается интенсивностью цвета пикселя. На иллюстрации приведена спектрограмма, показывающая «опорный» сигнал с одинаково возрастающей частотой. Для средней песни спектрограмма выглядит так:

Это достаточно подробный «портрет» звуковой дорожки, по которому можно (с определенным приближением) восстановить исходную дорожку. Учитывая ресурсы, хранить «портрет» в натуральную величину невыгодно. В нашем случае для этого потребуется не менее 10 ПБ памяти.

Мы выбираем ключевые точки на спектрограмме (исходя из интенсивности спектра), чтобы сохранить только наиболее характерные значения этого трека. В результате объем данных уменьшается примерно в 200 раз по сравнению с первоначальным размером.

Осталось собрать эти данные в удобном формате. Каждое пикирование однозначно определяется двумя числами: частотой и временем. Включая все пики трека в один массив, мы получаем искомый акустический отпечаток.

Сравнение отпечатков пальцев

Предположим, мы выполнили все предыдущие шаги для двух гипотетических песен, и теперь у нас есть их отпечатки пальцев. Возвращаясь к первоначальной задаче сравнения этих следов с помощью отпечатков пальцев, чтобы определить, похожи они или нет.

Каждый отпечаток представляет собой массив значений, и мы пытаемся сопоставлять их элементы, перемещая песни по временной шкале относительно друг друга (ход нужен, например, чтобы учесть тишину в начале или конце песня). В одних случаях в отпечатках пальцев будет больше совпадений, в других меньше.

Выглядит примерно так:

Вроде правильно. Для треков с общим фрагментом фрагмент найден и напоминает пик ряда совпадений в определенный момент. Результатом этого сравнения является «коэффициент подобия», который зависит от количества совпадений после учета систематической ошибки.

Программная реализация библиотеки Go для создания и сравнения отпечатков пальцев доступна на GitHub. Вы можете увидеть графики и результаты для ваших собственных примеров.

Теперь надо все интегрировать в нашу инфраструктуру и посмотреть, как пойдет.

Архитектура

Механизм генерации отпечатков пальцев работает на каждом сервере, который загружает аудио (сейчас их около 1000). Он берет .mp3-файл, обрабатывает его (декодирует, БПФ, выделяет пики спектра) и создает акустический отпечаток этого звука.

Загрузка распараллеливается на файловом уровне, где каждая дорожка обрабатывается отдельной горутиной. Для средней песни продолжительностью 5–7 минут обработка занимает 2–4 секунды. Это время обработки увеличивается линейно в зависимости от продолжительности звука.

Акустические отпечатки всех треков, хоть и с некоторой потерей четкости, займут около 20 ТБ памяти. Весь объем этих данных нужно где-то хранить и быстро применить, чтобы найти что-то внутри. Эту задачу решает отдельный индекс и поисковая система.

Движок хранит данные об отпечатках в виде обратных индексов:

Для достижения скорости и экономии памяти мы используем собственную структуру отпечатка. Отпечаток — это массив, и мы можем рассматривать его отдельные элементы (хеши), что, если вы помните, соответствует пикам спектра.

Вместо хранения соответствия «дорожка» → «отпечаток» мы разбиваем каждый отпечаток на хэши и сохраняем соответствие «хеш» → «список дорожек, где он находится в отпечатках». Индекс уничтожается, и 20 ТБ отпечатков пальцев в качестве индекса занимают около 100 ГБ.

Как это работает на практике? В поисковик приходит запрос с аудиозаписью и необходимо найти все похожие треки. Затем из репозитория загружается звуковой отпечаток для этой дорожки, а строки, содержащие хэши этого отпечатка, собираются в индексе. Из соответствующих строк выбираются часто выбираемые записи для сканирования отпечатков пальцев из репозитория. Эти отпечатки сравниваются с отпечатками исходного файла. В результате возвращаются наиболее похожие записи с соответствующими совпавшими фрагментами и относительным «коэффициентом сходства».

Индекс и поисковая система работают на 32 машинах и написаны на чистом Go. Именно здесь по максимуму используются горутины, внутренние воркер-пулы и параллельная работа как с сетью, так и с глобальным индексом.

Теперь, когда вся необходимая логика готова, можно собирать отпечатки пальцев, индексировать их и работать с ними. Но сколько времени это займет?

Начали индексировать, потом подождали пару дней и прикинули сроки. В итоге весь процесс займет около года. Такой долгий срок недопустим, поэтому надо что-то менять.

Внедрение sync.Pool везде, где это возможно, сокращает продолжительность на два месяца, оставляя в общей сложности 10 месяцев, что все еще слишком долго.

Оптимизация типа данных — то есть выбор песен по их индексу — выполнена путем слияния массива. Использование вместо этого контейнера/кучи экономит еще шесть месяцев. Но может ли быть лучше?

Настройка контейнера/кучи для работы с нашим типом данных вместо стандартных интерфейсов дает нам дополнительный месяц. Но этого все еще недостаточно.

Мы настроили stdlib, сделав собственную реализацию для container/heap, зарабатывает еще два месяца, тем самым доведя нас до трех. В четыре раза меньше первоначальной сметы!

И, наконец, обновление Go с 1.5 до 1.6.2 привело нас к конечному результату в 2,5 месяца, количество времени, необходимое для создания индекса.

Что случилось?

Производственные испытания выявили несколько случаев, которые мы не приняли во внимание изначально. Например, копия трека с немного измененной скоростью воспроизведения:

Для слушателя это почти идентично — небольшое ускорение не воспринимается как существенное отличие. К сожалению, наш алгоритм сравнения отпечатков считал такое редактирование совсем другим.

Чтобы исправить это, был добавлен дополнительный объем предварительной обработки. Это поиск самой длинной общей подпоследовательности в двух отпечатках пальцев. Если амплитуда и частота не изменяются, то в этом случае изменяется только соответствующее значение времени, а общий порядок точек, следующих друг за другом, сохраняется.

Нахождение LCS позволяет определить коэффициент «сжатия» или «растяжения», влияющий на шкалу времени сигнала. Далее отпечатки сравнивались обычным образом с применением найденного коэффициента.

Использование алгоритма поиска LCS значительно улучшило результаты за счет успешной обработки многих треков, которые ранее не искались по отпечаткам пальцев.

Еще один интересный случай — совпадение фрагментов, например запись любительского вокала поверх инструментала популярной песни.

Мы разложили результаты сравнения по времени и оценили количество совпадений на каждую секунду трека. На картинке выше пример любительской записи поверх инструментальной дорожки. Интервалы без совпадений — вокал, пики совпадений — молчат (т.е. явно похожи на исходную запись). В этой ситуации учитывалось количество фрагментов с совпадениями и по количеству совпадений рассчитывался условный «коэффициент сходства».

После объединения похожих треков отдельные кластеры оказались намного больше остальных. Почему? Бывают интересные ситуации, которые не очень понятны относительно того, как их правильно рассматривать. Например, все знают «С днем ​​рождения тебя». Существуют десятки вариантов этой песни, которые отличаются только именем получателя. Считать их разными или нет? То же самое касается версий песни на других языках.

Если не считать таких редких исключений, наше решение оказалось жизнеспособным. Песни могут быть найдены при ускорении, вокал удален, указан под вымышленными именами и вставлены джинглы. Задача выполнена, и, несомненно, еще не раз пригодится для дальнейшей доработки сервиса рекомендаций, поиска музыки и аудиораздела в целом.

Откройте для себя новую музыку — Chosic

Перейти к содержимому

Воспользуйтесь нашими бесплатными онлайн-инструментами, чтобы открыть для себя новую музыку, которая вам понравится!

• Поиск похожих песен

  Создайте плейлист на основе того, что вам нравится

• Средство выбора случайных песен

  Получить случайный список песен многих жанров/десятилетий

• Поиск музыкальных жанров

  Найдите жанр песни или исполнителя и откройте для себя жанры

• Поиск списка воспроизведения

  Найдите списки воспроизведения, содержащие вашу любимую музыку

• Найти песню по тексту

  Поиск песен по частичному тексту

• Поиск названия песни

  Поиск песен с определенным словом в названии

• Музыкальные жанры Исследуйте

  Исследуйте музыкальные жанры и поджанры с плейлистами

• Поиск песен по теме

  Списки песен на любую тему или тему

• Поиск похожих исполнителей

  Найдите исполнителей, похожих на вашего любимого

• Лучшие плейлисты Spotify

  Самые популярные плейлисты, сгруппированные по жанрам, отсортированные по подписчикам

• Программа для создания плейлистов для тренировок

  Создайте отличный плейлист для тренировки или бега

• Поиск новых релизов

  Найдите новую музыку вашего любимого исполнителя и похожих исполнителей

• Генератор случайных жанров

  Просто выберите случайный музыкальный жанр при каждом нажатии.