Перейти к основному содержимому

Протокол реального времени (RTP) – это сетевой протокол транспортного уровня, предназначенный для передачи мультимедийных данных (видео, аудио) через IP-сети в реальном времени. Он был стандартизирован IETF в RFC 3550 и используется для потоковой передачи медиа в таких приложениях, как VoIP, видеоконференции, интернет-телевидение и другие сервисы, требующие синхронизации и доставки мультимедиа с минимальными задержками.

Основные характеристики RTP:

  • Порт: Обычно использует порты UDP в диапазоне от 16384 до 32767, хотя может работать и с TCP при необходимости.
  • Формат пакета: Пакет RTP состоит из заголовка длиной 12 байт и полезной нагрузки, содержащей данные медиа-потока. Заголовок включает:
    • Версию (2 бита)
    • Бит P (Padding, заполнение, 1 бит)
    • Бит X (Extension, расширение, 1 бит)
    • Бит CC (CSRC Count, количество источников смешанного потока, 4 бита)
    • Бит M (Marker, маркер начала новой единицы медиа-данных, 1 бит)
    • Тип полезного груза (Payload Type, 7 бит)
    • Номер последовательности (Sequence Number, 16 бит)
    • Временная метка (Timestamp, 32 бита)
    • Идентификатор источника синхронной связи (SSRC Identifier, 32 бита)
  • Тип полезного груза (PT): Поле Payload Type определяет формат кодирования медиа-данных. Например, PT=0 означает использование формата PCMU (G.711 μ-law), а PT=8 указывает на использование формата PCMA (G.711 A-law).
  • Синхронизация: Для синхронизации медиа-потоков используются временные метки (timestamps), которые позволяют ресиверу восстанавливать исходный временной порядок кадров даже после их возможной переупорядочивания в сети. Подробнее о синхронизации -- в конце этой статьи.
  • Потеря пакетов: Потери пакетов могут происходить в сетях, но благодаря использованию временных меток и номеров последовательностей приемники могут корректно обрабатывать пропущенные пакеты и выполнять интерполяцию или маскировку потерь.

Области применения RTP

Видеоконференцсвязь и VoIP​

В системах видеоконференций и телефонии RTP используется для передачи аудио- и видеоинформации между участниками. Например, в системе SIP (Session Initiation Protocol) сигналы управления вызовами передаются через SIP, а сами медиа-потоки идут через RTP поверх UDP.

Интернет-телевидение (IPTV)​

Для трансляции телевизионных каналов через интернет часто используют RTP в сочетании с RTCP (Real-time Transport Control Protocol) для контроля качества передачи.

Мультимедийный контент в мобильных устройствах​

RTP широко применяется в мобильных платформах для передачи голосовых сообщений, видео-звонков и потокового контента.

Программная поддержка RTP

Программы и библиотеки, поддерживающие создание, коммутацию, воспроизведение и запись потоков RTP:

  • FFmpeg: Популярная библиотека для работы с медиа-контентом, включая кодирование/декодирование, трансляцию и запись RTP-потоков.
  • GStreamer: Фреймворк для создания приложений обработки мультимедиа, который поддерживает работу с RTP.
  • libSRTP: Библиотека для защиты RTP-потоков с использованием SRTP (Secure Real-time Transport Protocol).
  • VLC Media Player: Поддерживает передачу и приём RTP-потоков, а также их запись.
  • WebRTC: Технология для веб-браузеров, которая позволяет передавать аудио и видео через RTP, используя механизмы WebSocket и ICE для установления соединений.

Работа в сети

RTP обычно работает поверх UDP, поскольку этот транспортный протокол обеспечивает меньшую задержку и простоту реализации, чем TCP. Однако, при передаче через интернет возможны проблемы с маршрутизацией и пропускной способностью. Поэтому часто применяются дополнительные технологии:

  • NAT** Traversal**: NAT-пробросы и механизмы вроде STUN/TURN помогают обходить ограничения межсетевых экранов и устройств NAT.
  • QoS** (Quality of Service)**: Механизмы обеспечения качества обслуживания, такие как дифференциация сервисов (DiffServ) и управление очередями (CBWFQ), помогают улучшить качество передачи мультимедиа потоков.
  • Jitter Buffers: Буферы джиттера на стороне получателя сглаживают неравномерность поступления пакетов, обеспечивая плавное воспроизведение.

Взаимодействие с другими протоколами

RTSP (Real Time Streaming Protocol)​

Используется для управления потоковым контентом, таким как начало, пауза, остановка и перемещение внутри медиафайла. RTP отвечает за доставку самого медиа-потока, тогда как RTSP управляет сессией.

SMPTE ST 2110​

Стандарт для профессиональной вещательной индустрии, который описывает методы передачи несжатых видео- и аудиопотоков по IP-сетям. В этом стандарте RTP используется для передачи медиа-данных, обеспечивая высокую точность синхронизации и низкое время задержки.

RTMP (Real-Time Messaging Protocol)​

Применяется для передачи видео и аудио в Adobe Flash Player и некоторых других платформах. Хотя RTMP сам по себе является транспортным протоколом, он может использовать RTP для улучшения доставки мультимедиа.

Таким образом, RTP играет ключевую роль в современных мультимедийных технологиях, предоставляя гибкий механизм для передачи данных в реальном времени, и поддерживается множеством библиотек и фреймворков, облегчающих разработку мультимедийных приложений.

Синхронизация

Поскольку в нестабильной сетевой среде синхронизация видеопотоков -- это серьезное испытание для видеопроизводственного комплекса, рассмотрим эту тему подробнее.

Синхронизация нескольких видеопотоков RTP в сети осуществляется несколькими ключевыми методами, которые обеспечивают правильное временное согласование между различными источниками данных. Вот основные подходы к синхронизации:

1. Использование временных меток (timestamp)​

Каждый пакет RTP содержит временную метку (timestamp), которая отражает момент времени, когда данный фрагмент медиа-данных был захвачен источником. Эта метка помогает приемнику восстановить правильный временной порядок кадров независимо от порядка получения пакетов в сети.

Пример использования временных меток:

  • Источник передает кадры видео с интервалом 30 мс, начиная с временной метки 0.
  • Первый кадр имеет временную метку 0, второй — 30000 (30 мс × 1000 = 30 000 мкс), третий — 60000 и так далее.
  • Приемник восстанавливает последовательность кадров согласно этим меткам, даже если пакеты приходят в другом порядке.

2. Синхронизация по идентификаторам SSRC (Synchronization Source Identifier)​

Каждому источнику данных присваивается уникальный 32-битный идентификатор SSRC, который указывается в заголовке каждого RTP-пакета. Этот идентификатор позволяет приемникам различать разные источники и правильно группировать входящие пакеты по соответствующим потокам.

Пример использования SSRC:

  • Один источник передает видео с SSRC = 12345678, другой — с SSRC = 87654321.
  • Приемник может легко разделить эти два потока и обработать каждый из них отдельно.

3. Протокол управления передачей в реальном времени (RTCP)​

RTCP (Real-time Transport Control Protocol) дополняет RTP и предоставляет информацию о качестве передачи, такую как потеря пакетов, задержка и джиттер. RTCP-сообщения отправляются периодически всеми участниками сессии и содержат сведения об отправленных и полученных пакетах.

Основные функции RTCP:

  • Отправитель сообщает о количестве отправленных пакетов и байтов.
  • Получатель отправляет отчеты о потерянных пакетах и задержках.
  • Эти данные помогают адаптироваться к изменениям в сети и поддерживать синхронизацию потоков.

4. Jitter buffers (буферизация джиттера)​

Буферы джиттера на стороне получателя сглаживают неравномерность поступления пакетов, вызванную задержкой и вариацией задержки (джиттером) в сети. Джиттер-буфер накапливает пакеты в течение определенного времени, чтобы обеспечить плавное воспроизведение без рывков и прерываний.

Пример работы jitter buffer:

  • Если первый пакет приходит с задержкой 50 мс, а следующий — через 20 мс, буфер будет удерживать оба пакета некоторое время, прежде чем передать их на воспроизведение, чтобы избежать скачков в воспроизведении.

5. Межпоточная синхронизация (Inter-stream synchronization)​

Когда необходимо синхронизировать несколько потоков (например, видео и аудио), используется межпоточная синхронизация. Она основана на сопоставлении временных меток разных потоков. Аудио и видео могут передаваться отдельными RTP-потоками, но приемник должен учитывать временные метки обоих потоков, чтобы воспроизвести их одновременно.

Пример межпоточной синхронизации:

  • Видео и аудио имеют одинаковые временные метки для одного и того же момента времени.
  • Приемник сравнивает метки и воспроизводит соответствующие фрагменты видео и аудио вместе.

Вложения​