Перейти к основному содержимому

06-04-03 Сведение аудио из разных источников

06-04-03

В профессиональных видеокомплексах, студийных установках и системах мультикамерной съёмки редко бывает, что звук приходит с одного источника. Чаще всего требуется комбинировать несколько аудиопотоков: например, звук с основной камеры, внешняя петличка спикера, микрофон на сцене, аудио от удалённых участников или фоновая музыка. FFMPEG предоставляет встроенные инструменты для базового, но эффективного микширования аудиодорожек — как из файлов, так и из сетевых потоков.

В этом разделе мы рассмотрим, как с помощью FFMPEG объединить несколько аудиоисточников в один выходной поток, какие проблемы могут возникнуть при этом и как их решать.

Основы аудиомикширования в FFMPEG​

FFMPEG использует специальный фильтр amix (audio mix), который позволяет объединить несколько аудиопотоков в один. Этот фильтр работает в рамках filter_complex — механизма, позволяющего создавать сложные аудио- и видеографы.

Простой пример микширования двух файлов​

Рассмотрим базовую команду:

ffmpeg -i cam_audio.wav -i mic.wav -filter_complex "[0:a][1:a]amix=inputs=2:normalize=1" -c:a aac out.m4a

Разберём её по частям:

  • -i cam_audio.wav — первый аудиоисточник (например, запись с камеры);
  • -i mic.wav — второй источник (например, внешний микрофон);
  • -filter_complex "[0:a][1:a]amix=inputs=2:normalize=1" — указывает, что нужно применить фильтр amix к аудиодорожкам первого [0:a] и второго [1:a] входа;
  • inputs=2 — явно указывает, что микшируется два потока;
  • normalize=1 — включает автоматическую нормализацию громкости, чтобы итоговый сигнал не превышал допустимый уровень (предотвращает клиппинг);
  • -c:a aac — кодек для выходного аудио;
  • out.m4a — имя выходного файла.

💡 Примечание: В FFMPEG нотация [0:a] означает «аудиодорожку из первого входа», [1:a] — из второго. Это важно при построении сложных фильтров.

Микширование сетевых аудиопотоков​

Тот же подход работает и с потоковыми источниками. Например, вы можете принимать аудио по RTMP, SRT или RTP и микшировать их:

ffmpeg \
  -i rtmp://server/app/cam_audio \
  -i srt://192.168.1.100:1234?mode=listener \
  -filter_complex "[0:a][1:a]amix=inputs=2:normalize=1" \
  -c:a aac -f flv rtmp://cdn/live/mixed_audio

Здесь:

  • Первый источник — RTMP-поток с аудио с камеры;
  • Второй — SRT-поток с внешнего микрофона;
  • Оба микшируются и отправляются на CDN в формате FLV.

Такой сценарий типичен для трансляций с несколькими участниками, где каждый говорит в свой микрофон, а FFMPEG объединяет все звуки в один выходной поток.

Проблема 1: Задержка между источниками​

Одна из главных трудностей при работе с несколькими аудиоисточниками — рассинхронизация по времени. Это может происходить по разным причинам:

  • Разные задержки в сетевых каналах;
  • Разное время запуска источников;
  • Разная обработка на стороне отправителя (буферизация, кодирование);
  • Разный путь передачи (например, Wi-Fi vs. кабель).

Пример рассинхронизации​

Представим:

  • Петличка включили на 1.5 секунды позже, чем камера;
  • В результате голос спикера отстаёт от видео.

Такой эффект раздражает зрителей и делает трансляцию некачественной.

Решение: выравнивание с помощью adelay​

FFMPEG предоставляет фильтр adelay, позволяющий задать задержку (в миллисекундах) для конкретного аудиопотока.

Пример коррекции:

ffmpeg \
  -i cam_audio.wav \
  -i mic.wav \
  -filter_complex "
    [1:a]adelay=1500|1500[mic_delayed]; 
    [0:a][mic_delayed]amix=inputs=2:normalize=1
  " \
  -c:a aac out.m4a

Разберём:

  • [1:a]adelay=1500|1500[mic_delayed] — добавляет задержку в 1500 мс (1.5 секунды) к левому и правому каналу второго источника (петлички);
  • Результат сохраняется в метке [mic_delayed];
  • Затем [0:a] (камера) и [mic_delayed] микшируются.

⚠️ Важно: adelay требует указания задержки для каждого канала. В моно — adelay=1500, в стерео — adelay=1500|1500.

Проблема 2: Разная громкость и клиппинг​

Другая частая проблема — разный уровень громкости источников. Например:

  • Петличка может быть слишком громкой;
  • Звук с камеры — тихий;
  • При сложении двух громких сигналов итоговый уровень может превысить максимум (0 dBFS), что вызовет клиппинг — искажение звука.

Решение 1: Нормализация (normalize=1)​

Параметр amix=normalize=1 автоматически подбирает коэффициенты смешивания так, чтобы итоговый уровень не превышал допустимый. Это простое, но эффективное решение для большинства случаев.

Решение 2: Ручное управление громкостью с volume​

Для более точного контроля можно использовать фильтр volume, чтобы изменить уровень отдельного источника.

Пример: сделать петличку тише на 6 дБ:

ffmpeg \
  -i cam_audio.wav \
  -i mic.wav \
  -filter_complex "
    [1:a]volume=0.5[mic_quiet]; 
    [0:a][mic_quiet]amix=inputs=2:normalize=0
  " \
  -c:a aac out.m4a

Здесь:

  • volume=0.5 — уменьшает громкость на ~6 дБ (так как 0.5 по амплитуде ≈ -6 dB);
  • normalize=0 — отключает автоматическую нормализацию, так как мы сами контролируем уровни.

💡 Совет: Значения volume:

  • 1.0 — без изменений;
  • 0.5 — -6 дБ;
  • 0.25 — -12 дБ;
  • 2.0 — +6 дБ (осторожно: может вызвать клиппинг!).

Практические рекомендации​

При работе с аудиомикшированием в реальных условиях полезно придерживаться следующих правил:

РекомендацияПояснение
Проверяйте синхронизацию заранееИспользуйте тестовые запуски с метками времени или визуальными индикаторами (например, хлопок в ладоши перед началом).
Нормализуйте или контролируйте уровниДаже если normalize=1 используется, лучше заранее измерить уровни с помощью ffmpeg -i file.wav -af volumedetect -f null -.
Учитывайте задержку сетиПри работе с SRT/RTMP/RTP — задавайте adelay на основе измерений, а не на глаз.
Используйте моно, если не нужен стереоЭто упрощает микширование и снижает нагрузку.
Тестируйте на реальном оборудованииЗадержки и уровни могут отличаться в зависимости от камеры, сети и сервера.

Заключение​

Аудио — не менее важная часть медиапотока, чем видео. Некачественный звук, рассинхрон или искажения могут испортить даже идеальное изображение.

FFMPEG, несмотря на свою репутацию «инструмента для видео», предоставляет мощные и гибкие средства для базового аудиомикширования. С помощью фильтров amix, adelay и volume можно решать типичные задачи:

  • Объединение звука с камеры и петлички;
  • Сведение аудио от нескольких участников;
  • Подготовка звукового фона для трансляции.

Хотя FFMPEG не заменит профессиональный цифровой микшер, он отлично справляется с задачами среднего уровня сложности — особенно в автоматизированных и сетевых видеосистемах.

🎯 Ключевая мысль: аудио в FFMPEG требует такого же внимания, как и видео. Используйте фильтры для контроля синхронизации и громкости — и ваша трансляция будет звучать профессионально.

::: warn Когда занимаются видеотрансляцией и даже записью, основное внимание уделяют картинке: композиция, свет, качество потока... а звук -- что с ним может случиться? Но на практике основные проблемы обычно возникают как раз со звуком.

Зритель простит вам подвисшую картинку или тусклый свет, но не пропавший или неразличимый голос спикера, треск электрической наводки или трущийся об одежду микрофон.

:::