Системные требования¶
Поддерживаемые операционные системы:¶
- Windows 10 (версия 1903 или более поздняя) / Windows 11 (64 бит)
- Windows Server 2019/2022 (64 бит)
- Ubuntu 22.04/24.04 (64 бит)
- Debian 12 (64 бит)
- Mint 21/22 (64 бит)
- РЕД ОС 8 (64 бит)
- Astra Linux 1.8 (64 бит)
ARM64 (64-бит)¶
- Debian 12 (ARM64)
- Ubuntu 22.04 (ARM64)
Примечание: Для ARM-платформ поддерживается работа в режиме сервера распознавания; запуск графического клиента на том же устройстве не рекомендуется из-за высокой нагрузки на CPU и GPU.
Программные зависимости¶
- .NET 8.0 SDK и ASP.NET Core Runtime 8.0 (доступны для 64 и ARM64)
- PostgreSQL 16 (СУБД) (только для версии с базой данных)
Для Windows:¶
- DirectML — встроенный компонент Windows (доступен в Windows 10 версии 1903 и выше)
- DirectX 12 — совместимая видеокарта
Для Linux:¶
- Поддержка X11 или framebuffer
- Установка через пакеты .deb (Debian/Ubuntu/Mint/Astra) или .rpm (РЕД ОС)
Аппаратные требования¶
Рекомендуемые параметры компьютера:¶
- Процессор с поддержкой инструкций AVX2.0 (для всех методов CPU)
- Для обработки каждого видеоканала рекомендуется выделять не менее одного ядра CPU (при использовании CPU-методов)
- Оперативная память: 2 ГБ на 1 видеокамеру (рекомендуется)
- Свободный USB-разъем для ключа защиты
- Монитор с разрешением 1920×1080 или выше
- Важно! Очень часто встречается БРАК ЦПУ семейства Intel Core-13xxK и Core-14xxK. Выглядит как закрытие ПО Автомаршал с ошибкой, синий экран, зависание, внезапная перезагрузка компьютера. Проблемы Intel Core-13xxK и Core-14xxK можно решить выключением турбо-режима и занижением напряжения на ЦПУ. Обязательно обновите прошивку BIOS материнской платы.
Поддерживаемые методы ускорения ONNX Runtime:¶
| Метод | Платформа | Требования к оборудованию |
|---|---|---|
| CPU (AVX2) | Windows / Linux | Любой процессор с AVX2 (Intel, AMD) |
| OpenVINO | Windows / Linux | Только процессоры Intel (6-го поколения и новее, Xeon, Core Ultra) |
| CUDA | Windows / Linux | NVIDIA GPU новее RTX 20-й серии; требуется CUDA 12.x |
| DirectML | Windows | DirectX 12-совместимое GPU: NVIDIA (Kepler+), AMD (GCN 1+), Intel (Haswell+) |
| CPU (ARM64, NEON) | Linux (ARM64) | Любой ARMv8 процессор с NEON (Raspberry Pi 5, Orange Pi и др.) |
| NPU RockChip | Linux (ARM64) | RockChip RK3566, RK3588 и совместимые (требуется драйвер NPU) |
Важные ограничения¶
- Графический интерфейс (GUI-клиент) не рекомендуется запускать на том же ARM-устройстве — это создаёт чрезмерную нагрузку на CPU, вызывает сильные тормоза и может привести к сбоям.
- Архитектура клиент-сервер: Автомаршал 3 поддерживает раздельный запуск сервиса распознавания (на ARM) и клиента (на отдельной рабочей станции). Это позволяет использовать ARM-устройство исключительно как вычислительный узел.
- Для ARM-платформ недоступны методы OpenVINO, CUDA и DirectML.
Рекомендации по выбору оборудования для разного количества каналов (для x64)¶
Ниже приведены минимальные конфигурации, которые гарантируют стабильную работу без потери кадров при средней интенсивности 350 распознаваний в минуту на канал (скорость автомобилей до 30 км/ч). Для более высоких скоростей (150 и 270 км/ч) требуется повышенная частота кадров и экспозиция, что может снизить производительность, поэтому данные рекомендации являются базовыми.
1. Метод OpenVINO (только Intel CPU)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 350 | Intel Core i3-12100 | 4/8 | ~12 200-15 700 |
| 2 | 700 | Intel Core i3-12100 | 4/8 | ~12 200-15 700 |
| 4 | 1 400 | Intel Core i3-13100 | 4/8 | ~15 500 |
| 6 | 2 100 | Intel Core i3-13100 | 4/8 | ~15 500 |
| 8 | 2 800 | Intel Core i5-13400 | 10/16 | ~22 000 |
| 10 | 3 500 | Intel Core i5-14400 | 10/16 | ~20 200 |
| 12 | 4 200 | Intel Core i5-14500 | 14/20 | ~25 000 |
| 16 | 5 600 | Intel Core i7-14700 | 20/28 | ~36 700 |
| 24 | 8 400 | Intel Core i7-14700 | 20/28 | ~36 700 |
| 26 | 9 100 | Intel Core i9-14900K | 24/32 | ~60 000 |
| 30+ | 10 500+ | Intel Core i9-14900K (с осторожностью) | 24/32 | ~60 000 |
Примечание: OpenVINO оптимизирован для Intel, на процессорах AMD работать не будет или будет крайне нестабильно. Для больших нагрузок (более 30 каналов) рекомендуется использовать серверные процессоры Intel Xeon.
2. Метод DirectML (NVIDIA или AMD, только Windows)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 350 | NVIDIA RTX 3050 8GB | ~25 000 |
| 2 | 700 | NVIDIA RTX 3050 8GB | ~25 000 |
| 4 | 1 400 | NVIDIA RTX 3050 8GB | ~25 000 |
| 8 | 2 800 | NVIDIA RTX 3050 8GB | ~25 000 |
| 10 | 3 500 | NVIDIA RTX 3050 8GB | ~25 000 |
| 12 | 4 200 | NVIDIA RTX 3050 8GB | ~25 000 |
| 16 | 5 600 | NVIDIA RTX 4060 8GB / AMD Radeon RX 7600 8GB | ~35 000 / ~30 000 |
| 20 | 7 000 | NVIDIA RTX 4060 8GB | ~35 000 |
| 24 | 8 400 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 28 | 9 800 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 32 | 11 200 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 36 | 12 600 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 40 | 14 000 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 44 | 15 400 | NVIDIA RTX 4070 Super 12GB | ~80 000 |
| 48 | 16 800 | NVIDIA RTX 4070 Ti Super 16GB | ~95 000 |
| 50 | 17 500 | NVIDIA RTX 4080 16GB | ~138 000 |
Примечания по DirectML:
- На видеокартах AMD DirectML может работать, но требуется тщательное тестирование, так как стабильность и производительность могут отличаться.
- Для максимальной производительности на Windows рекомендуется использовать видеокарты NVIDIA с DirectML.
3. Метод CUDA (NVIDIA GPU)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 350 | NVIDIA RTX 3050 8GB | ~25 000 |
| 2 | 700 | NVIDIA RTX 3050 8GB | ~25 000 |
| 4 | 1 400 | NVIDIA RTX 3050 8GB | ~25 000 |
| 8 | 2 800 | NVIDIA RTX 4060 8GB | ~35 000 |
| 10 | 3 500 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 12 | 4 200 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 16 | 5 600 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 20 | 7 000 | NVIDIA RTX 4070 Super 12GB | ~80 000 |
| 24 | 8 400 | NVIDIA RTX 4070 Ti Super 16GB | ~95 000 |
| 28 | 9 800 | NVIDIA RTX 4080 Super 16GB | ~138 000 |
| 32 | 11 200 | NVIDIA RTX 4080 Super 16GB | ~138 000 |
| 36 | 12 600 | NVIDIA RTX 4090 24GB | ~180 000 |
| 40 | 14 000 | NVIDIA RTX 4090 24GB | ~180 000 |
| 44 | 15 400 | NVIDIA RTX 4090 24GB | ~180 000 |
| 48 | 16 800 | Комбинированные методы ускорения / 2×RTX 4090 | от 360 000 |
| 50 | 17 500 | Комбинированные методы ускорения / 2×RTX 4090 | от 360 000 |
4. Метод CPU (AVX2)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 350 | Intel Core i3-12100 | 4/8 | ~12 200-15 700 |
| 2 | 700 | Intel Core i3-12100 | 4/8 | ~12 200-15 700 |
| 4 | 1 400 | Intel Core i5-12400 / AMD Ryzen 5 5500 | 6/12 | ~15 000 / ~9 600 |
| 6 | 2 100 | Intel Core i5-12400 / AMD Ryzen 5 5500 | 6/12 | ~15 000 / ~9 600 |
| 8 | 2 800 | Intel Core i5-13400 или AMD Ryzen 5 7600 | 10/16 или 6/12 | ~22 000 / ~15 900 |
| 10 | 3 500 | Intel Core i5-14600K или AMD Ryzen 7 7700X | 14/20 или 8/16 | ~31 900 / ~16 700 |
| 12 | 4 200 | Intel Core i7-14700 или AMD Ryzen 9 7900X | 20/28 или 12/24 | ~36 700 / ~32 700 |
| 16+ | 5 600+ | Intel Core i9-14900K или AMD Ryzen 9 7950X | 24/32 или 16/32 | ~60 000 / ~55 000 |
Важно: Для метода CPU требуется тонкая настройка распределения нагрузки между P- и E-ядрами (на гибридных процессорах Intel).
Общие рекомендации по выбору метода ускорения (х64)¶
| Сценарий | Рекомендуемый метод |
|---|---|
| Небольшие системы (до 8 каналов), бюджетный вариант | CPU (AVX2) или OpenVINO (на Intel) — без дискретной видеокарты |
| Средние системы (8–16 каналов), Windows | DirectML (NVIDIA RTX 3050/4060) |
| Средние системы (8–16 каналов), Linux | CUDA (NVIDIA RTX 4060/4070) |
| Крупные системы (16–32 канала), Windows | DirectML (RTX 4060 Ti / 4070 / 4080) |
| Крупные системы (16–32 канала), Linux | CUDA (RTX 4070 / 4080 / 4090) |
Комбинирование методов ускорения (х64)¶
ПО «Автомаршал 3» позволяет одновременно задействовать несколько методов ускорения ONNX Runtime, распределяя нагрузку между ними. Это даёт возможность утилизировать все вычислительные ресурсы системы (CPU + GPU) для достижения максимальной производительности.
Поддерживаемые комбинации¶
| Платформа | Допустимые комбинации |
|---|---|
| Windows | DirectML + OpenVINO, DirectML + CPU (AVX2), CUDA + OpenVINO, CUDA + CPU |
| Linux | CUDA + OpenVINO, CUDA + CPU, OpenVINO + CPU (не рекомендуется) |
Важно: Для комбинирования необходимо, чтобы все выбранные методы были установлены и корректно настроены в системе. Распределение нагрузки между методами выполняется автоматически внутри ПО согласно настроек сессий распознаваний, которые необходимо настроить вручную.
Оценка суммарной производительности¶
При комбинировании общая производительность системы приблизительно равна сумме производительностей каждого метода в отдельности (с учётом небольшой потери на координацию — около 5–10%). Например:
Конфигурация: Windows, Intel Core i7-14700 + RTX 4070. OpenVINO (CPU): до 6 500 распознаваний/мин. DirectML (GPU): до 16 000 распознаваний/мин.
Суммарно (при комбинировании): до 20 000–22 000 распознаваний/мин (с учётом накладных расходов).
Это позволяет обрабатывать значительно большее количество каналов, чем при использовании одного метода.
Рекомендации по выбору комбинации¶
| Сценарий | Рекомендуемая комбинация |
|---|---|
| Максимальная производительность на Windows | DirectML (основной) + OpenVINO (дополнительный) |
| Высокая производительность на Linux | CUDA (основной) + OpenVINO (дополнительный) |
| Бюджетное решение с дискретной видеокартой | DirectML или CUDA + CPU (AVX2) для догрузки ядер |
| Системы без дискретной видеокарты | OpenVINO (если Intel) или CPU (AVX2) |
Пример расчёта каналов при комбинировании¶
Для типовой конфигурации Windows + Intel Core i7-14700 + RTX 4070:
- DirectML (RTX 4070): 16 000 расп/мин ≈ 45 каналов (так как 16 000 / 350 ≈ 45,7).
- OpenVINO (i7-14700): 6 500 расп/мин ≈ 18 каналов. Общая пропускная способность: ~22 500 расп/мин ≈ 64 канала.
Таким образом, система, которая по отдельности могла бы обработать 45 (DirectML) или 18 (OpenVINO) каналов, при комбинировании способна обслуживать до 64 каналов без потери кадров.
Важные замечания¶
- Совместимость методов: OpenVINO работает только на процессорах Intel, поэтому в системах с AMD CPU использовать его нельзя. В таких случаях комбинируют DirectML/CUDA + CPU (AVX2).
- ОЗУ и VRAM: При комбинировании нагрузка на оперативную память и видеопамять суммируется. Убедитесь, что объём памяти достаточен для выбранного числа каналов (рекомендуется 2 ГБ ОЗУ + 1–2 ГБ VRAM на канал).
- Настройка: Для достижения максимальной эффективности требуется ручная настройка сессий распознаваний для каждой модели сети. Подробности см. в руководстве.
- Лицензирование: Комбинирование методов не требует дополнительных лицензий — все методы включены в базовую поставку ПО.
Данная гибкость позволяет оптимально использовать имеющееся оборудование и масштабировать систему в соответствии с растущими потребностями без замены аппаратной части.
Для скорости автомобиля до 150 км/ч (30 fps, 1 800 расп/мин на канал) (х64)¶
Важные замечания:
- Комбинирование методов ускорения распознавания - необходимость для обработки более чем 4–8 каналов на высоких скоростях.
- ОЗУ и VRAM должны быть увеличены: для 150 км/ч рекомендуется 4 ГБ ОЗУ и 2 ГБ VRAM на канал, для 270 км/ч — 6 ГБ ОЗУ и 4 ГБ VRAM на канал.
- Для 270 км/ч настоятельно рекомендуется использовать DirectML на Windows как самый производительный метод.
Метод OpenVINO (только Intel CPU)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 1 800 | Intel Core i5-14500 | 14/20 | ~25 000 |
| 2 | 3 600 | Intel Core i7-14700 | 20/28 | ~36 700 |
| 3 | 5 400 | Intel Core i9-14900K | 24/32 | ~60 000 |
| 4+ | 7 200+ | Не рекомендуется (требуется комбинирование) | — | — |
Метод CPU (AVX2)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 1 800 | Intel Core i7-14700 или AMD Ryzen 9 7900X | 20/28 или 12/24 | ~36 700 / ~32 700 |
| 2 | 3 600 | Intel Core i9-14900K или AMD Ryzen 9 7950X | 24/32 или 16/32 | ~60 000 / ~55 000 |
| 4+ | 7 200+ | Не рекомендуется (требуется комбинирование) | — | — |
Метод DirectML (NVIDIA или AMD, только Windows)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 1 800 | NVIDIA RTX 3050 8GB | ~25 000 |
| 2 | 3 600 | NVIDIA RTX 4060 8GB | ~35 000 |
| 4 | 7 200 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 6 | 10 800 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 8 | 14 400 | NVIDIA RTX 4070 Ti Super 16GB | ~95 000 |
| 10+ | 18 000+ | Требуется комбинирование или 2×GPU | — |
Метод CUDA (NVIDIA GPU)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 1 800 | NVIDIA RTX 4060 8GB | ~35 000 |
| 2 | 3 600 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 3 | 5 400 | NVIDIA RTX 4070 Super 12GB | ~80 000 |
| 4+ | 7 200+ | Не рекомендуется (требуется комбинирование) | — |
Для скорости автомобиля до 270 км/ч (50 fps, 3 500 расп/мин на канал) (х64)¶
Метод OpenVINO (только Intel CPU)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 3 500 | Intel Core i7-14700 | 20/28 | ~36 700 |
| 2 | 7 000 | Intel Core i9-14900K | 24/32 | ~60 000 |
| 3+ | 10 500+ | Не рекомендуется (требуется комбинирование) | — | — |
Метод CPU (AVX2)¶
| Каналов | Требуется расп./мин | Рекомендуемый процессор | Ядра / Потоки | Примерная цена (руб.) |
|---|---|---|---|---|
| 1 | 3 500 | Intel Core i9-14900K или AMD Ryzen 9 7950X | 24/32 или 16/32 | ~60 000 / ~55 000 |
| 2+ | 7 000+ | Не рекомендуется (требуется комбинирование) | — | — |
Метод DirectML (NVIDIA или AMD, только Windows)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 3 500 | NVIDIA RTX 3050 8GB | ~25 000 |
| 2 | 7 000 | NVIDIA RTX 4060 8GB | ~35 000 |
| 3 | 10 500 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 4 | 14 000 | NVIDIA RTX 4070 12GB | ~67 000-78 000 |
| 5 | 17 500 | NVIDIA RTX 4080 Super 16GB | ~138 000 |
| 6+ | 21 000+ | Требуется комбинирование или 2×GPU | — |
Метод CUDA (NVIDIA GPU)¶
| Каналов | Требуется расп./мин | Рекомендуемая видеокарта | Примерная цена (руб.) |
|---|---|---|---|
| 1 | 3 500 | NVIDIA RTX 4060 Ti 8GB | ~40 000-45 000 |
| 2 | 7 000 | NVIDIA RTX 4070 Super 12GB | ~80 000 |
| 3 | 10 500 | NVIDIA RTX 4080 Super 16GB | ~138 000 |
| 4+ | 14 000+ | Требуется комбинирование или 2×GPU | — |