Livre Blanc : nanoONYX-SDI + Hailo-8R pour le traitement IA

Ce white paper présente une analyse des bénéfices de l’intégration nanoONYX-SDI + Hailo-8R. Il décrit le rôle de l’accélérateur Hailo-8R, les capacités logicielles avancées de Hailo, les résultats des tests, les caractéristiques de performance, ainsi que le workflow complet de mise à jour des modèles via HEF*.

*Le modèle HEF (Hailo Executable Format) est le format de fichier exécutable utilisé par les accélérateurs IA développés par Hailo, y compris l’accélérateur IA Hailo-8R. Il contient un modèle IA compilé et optimisé pour s’exécuter directement sur la puce Hailo.

Le nanoONYX-SDI est un ordinateur embarqué ultra compact et durci, conçu pour des applications exigeantes fonctionnant dans des environnements sévères. Il combine une architecture x86 haute performance, une modularité avancée et un support natif des flux vidéo HD-SDI professionnels, tout en conservant une robustesse mécanique et thermique conforme aux contraintes militaires et avioniques.

Grâce à sa conception modulaire, ses fortes capacités de traitement et son support de l’IA embarquée via des cartes d’extension telles que le Hailo-8R, le nanoONYX-SDI constitue une plateforme idéale pour la vision temps réel, les applications critiques et le contrôle.

• Architecture x86 haute performance dans un châssis compact durci.
• Gestion native du flux vidéo HD-SDI en temps réel.
• Modularité avancée avec plusieurs slots d’extension.

Dans l’architecture nanoONYX-SDI, l’accélérateur Hailo-8R prend en charge 100% des charges d’inférence IA (détection d’objets, segmentation, classification). Le CPU Intel® reste dédié à la logique métier, à l’acquisition HD-SDI et à la supervision système.

Les résultats des tests ont montré que la charge CPU reste inchangée avec ou sans traitement IA, confirmant un offloading complet de l’IA vers le Hailo-8R.

Démontrer que des capacités IA temps réel peuvent être ajoutées à un système durci existant sans impacter la consommation électrique, le budget thermique ou l’architecture logicielle, et sans dégrader les fonctions vidéo HD-SDI.

La plupart des processeurs standards, qu’il s’agisse de CPU ou de GPU généralistes, ne sont pas particulièrement efficaces pour traiter des charges IA intensives. La principale raison est que les processeurs traditionnels sont conçus pour des calculs séquentiels ou généralistes plutôt que pour les opérations hautement parallèles requises par les algorithmes IA actuels.

Des tâches telles que les multiplications matricielles, les opérations sur tenseurs et l’inférence de réseaux neuronaux profonds nécessitent un parallélisme massif et une bande passante mémoire élevée — des capacités que les processeurs classiques ne peuvent pas exploiter pleinement. Par conséquent, l’entraînement ou l’inférence IA sur des processeurs conventionnels est souvent lent, énergivore et génère une chaleur importante, nécessitant des solutions de refroidissement lourdes.

C’est ici que le Hailo-8R démontre toute sa pertinence. Contrairement aux processeurs généralistes, le Hailo-8R est spécifiquement conçu pour les charges IA. Il intègre des unités de traitement hautement parallèles optimisées pour les calculs tensoriels, un accès mémoire à faible latence et des accélérateurs spécialisés pour les opérations IA courantes.

Sa conception est également optimisée pour l’efficacité énergétique et la gestion thermique, lui permettant de maintenir des performances élevées tout en minimisant la génération de chaleur. Cela réduit le besoin de systèmes de refroidissement volumineux, diminue la consommation énergétique et améliore la fiabilité du système.

En résumé, le Hailo-8R offre des performances IA supérieures, une utilisation efficace de l’énergie et une dissipation thermique optimisée, ce qui en fait un choix particulièrement pertinent pour les organisations souhaitant déployer l’IA à grande échelle.

Les équipements et la configuration système suivants ont été utilisés pour réaliser le benchmark fonctionnel et valider l’intégration de l’accélérateur IA dans la plateforme nanoONYX-SDI.

Le flux vidéo d’entrée est fourni par une caméra HD-SDI configurée avec les paramètres suivants :

• Résolution : 720p
• Fréquence d’images : 30 fps

La caméra fournit un signal HD-SDI continu au système via l’interface frame grabber.

Le flux vidéo traité est affiché sur un moniteur numérique via une interface DVI-D, permettant une visualisation en temps réel du pipeline vidéo et des résultats du traitement IA.

La plateforme de traitement utilisée pour l’évaluation est le système de calcul durci nanoONYX-SDI, équipé d’un module COM-Express TGU9A2 avec un processeur Intel® Core™ i7-1185GRE.
Le système comprend plusieurs slots d’extension utilisés pour la configuration fonctionnelle.

Configuration des slots d’extension :

• Slot #1 : carte frame grabber HD-SDI miniPCIe
• Slot #2 : carte interface CAN Bus
• Slot #3 : carte accélérateur IA Hailo-8 miniPCIe
• Slot #4 : non utilisé

Cette configuration permet l’acquisition en temps réel du flux vidéo HD-SDI, le traitement d’inférence IA via l’accélérateur Hailo et la visualisation du flux vidéo traité.

cd /home/ecrin/TEST/hailo-apps-infra/
source setup_env.sh
hailo-detect-simple -i /dev/video0 --arch hailo8l

Le workflow de mise à jour des modèles sur le nanoONYX-SDI se compose de trois étapes principales :

• Préparation du modèle, soit BYOD (réentraînement de réseaux du Model Zoo), soit BYOM (import de modèles ONNX ou TFLite).
• Compilation, via le Dataflow Compiler (sur PC x86) pour effectuer l’optimisation et la quantification, aboutissant à la génération d’un fichier HEF.
• Déploiement, transfert du fichier HEF vers le nanoONYX-SDI, puis chargement et exécution via HailoRT. À noter qu’il n’y a pas d’apprentissage embarqué ni de mise à jour autonome des modèles.

Le Dataflow Compiler nécessite une station de développement complète (architecture x86, environnement Python et dépendances lourdes). La compilation de modèles implique des analyses intensives, de l’optimisation et de la quantification, ce qui n’est pas adapté à un système embarqué de production.

Bonne pratique : compiler le modèle sur un PC et l’exécuter sur le nanoONYX-SDI.

Les tests réalisés avec le nanoONYX et la carte Hailo-8R démontrent que l’application de reconnaissance d’objets est pleinement opérationnelle. La charge CPU reste inchangée que le traitement IA soit activé ou non, confirmant que la charge d’inférence est entièrement déportée sur l’accélérateur Hailo-8R.

La consommation totale de la plateforme nanoONYX-SDI a été mesurée à 21,5W, tandis que le module Hailo-8R consomme environ 2,5W. Les performances temps réel sont maintenues, le flux vidéo HD-SDI étant traité sans impact sur la logique métier ni sur la réactivité globale du système.

La combinaison nanoONYX-SDI + Hailo-8R offre une solution puissante et économe en énergie pour l'IA embarquée en périphérie : inférence en temps réel, libération de ressources CPU, gestion contrôlée de la consommation électrique et robustesse industrielle.

Cette architecture est immédiatement applicable aux systèmes de défense, d'avionique, de sécurité et de l'Industrie 4.0.