Robotern kommen zunehmend in unterschiedlichsten Umgebungen wie Smart Manufacturing, Großküchen, Krankenhäusern, Lagerlogistik und Landwirtschaft zum Einsatz Der Schlüssel zur Beschleunigung der Einführung dieser neuen Technologie ist KI. In diesem Artikel von NVIDIA lernen Sie verschiedene KI-Tools kennen, die Entwickler und Ingenieure in der Robotik beim Bau intelligenter Roboter unterstützen.
Neue KI-Entwicklungsinstrumente können die Roboterentwicklung beschleunigen. Beispiele:
- NVIDIA Isaac Perceptor, ein neuer Referenz-Workflow für autonome mobile Roboter (AMRs) und fahrerlose Transportfahrzeuge (AGVs).
- NVIDIA Isaac Manipulator bietet neue Basismodelle und einen Referenz-Workflow für industrielle Roboterarme.
- NVIDIA Jetson für Robotik, mit neuen Updates in NVIDIA JetPack 6.0.
- NVIDIA Jetson für Robotik, mit neuen Updates in NVIDIA JetPack 6.0.
Video 1. Die weltweit führenden Unternehmen der Roboterentwicklung setzen NVIDIA Isaac für die Forschung, Entwicklung und Produktion von KI-fähigen Robotern der nächsten Generation ein.
Autonome mobile Roboter und fahrerlose Transportfahrzeuge sind für die Effizienz von Produktionsstraßen, Materialumschlag und Logistik im Gesundheitswesen unverzichtbar. Da diese Roboter in komplexen und unstrukturierten Umgebungen navigieren, ist die Fähigkeit, ihre Umgebung wahrzunehmen und darauf zu reagieren, von entscheidender Bedeutung.
Isaac Perceptor basiert auf dem NVIDIA Isaac Robot Operating System (ROS) und versetzt Erstausrüster (OEMs), Logistikanbieter, Softwareanbieter und das AMR-Ökosystem in die Lage, Entwicklungen im Bereich der Robotik zu beschleunigen. Teams können mobile Roboter mit Sensorfunktionen für Navigation und Hindernisvermeidung in reizarmen Umgebungen ausstatten.
Zu den ersten Partnern von Isaac Perceptor zählen Branchenführer in den Bereichen Lagerhaltung/Intralogistik, Automobilhersteller, Hersteller industrieller Roboter und Anbieter von Roboterlösungen wie ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo und Teradyne Robotics.
Hauptmerkmale von Isaac Perceptor
Isaac Perceptor bietet Funktionen zur Bereitstellung von Multikamera- und 3D-Rundumsichtfunktionen für KI-basierte autonome mobile Roboter.
KI-basierte Tiefenwahrnehmung mit mehreren Kameras
Isaac Perceptor verarbeitet 16,5 Millionen Tiefenpunkte pro Sekunde und Kamera bei 30 Hz. Die Stereodisparität wird aus einem zeitsynchronisierten Bildpaar einer Stereokamera berechnet und zur Erzeugung eines Tiefenbildes oder einer Punktwolke für eine Szene verwendet. Ein ESS-DNN (Efficient Semi-Supervised Deep Neural Network) stellt ein GPU-beschleunigtes Paket für DNN-basierte Stereo-Disparität dar.
Abbildung 1. ESS-DNN erkennt Hindernisse auf 5 m
VIO (Visual Inertial Odometry) mit mehreren Kameras
Isaac ROS Visual SLAM stellt ROS 2-Pakete für VSLAM (Visual Simultaneous Localization And Mapping) und VO (Visual Odometry) bereit. Die Lösung basiert auf der NVIDIA CUDA Visual SLAM (cuVSLAM)-Bibliothek und stellt robuste Navigationsfunktionen mit einem Positionsfehler von unter 1 % bei der Navigation in reizarmen Umgebungen bereit.
Das Navigieren in Umgebungen mit spärlichen visuellen Merkmalen oder sich wiederholenden Mustern stellt für VSLAM-Lösungen eine bekannte Herausforderung dar. Diesem Problem kann durch die Zusammenführung der Eingabedaten mehrerer Blickwinkel begegnet werden. Im neuesten Update integriert cuVSLAM die gleichzeitige visuelle Odometrieschätzung von mehreren Stereokameras.
Unsere Tests zeigten eine deutliche Verbesserung. Mithilfe mehrerer Kameras erreichten Roboter ihre Navigationsziele durchgängig, im Vergleich zu weniger als 25 % mit einer einzigen Kamera.
| VO-Methode | Laufzeit |
| cuVSLAM | 5 ms |
| FRVO, S-PTAM | 30 ms |
| ORB-SLAM2 | 60 ms |
Abbildung 2. Isaac ROS Visual SLAM mit einer Kamera im Vergleich zu zwei Kameras und dann vier Kameras
Voxel-Raster-Mapping mit mehreren Kameras in Echtzeit
Das Herzstück von Isaac Perceptor ist nvblox, die CUDA-beschleunigte 3D-Rekonstruktionsbibliothek, die Hindernisse in bis zu fünf Metern Entfernung identifizieren kann, um eine 2D-Kostenkarte bereitzustellen und in weniger als 300 ms zu aktualisieren.
Isaac ROS nvblox bietet ROS 2-Pakete für die 3D-Szenenrekonstruktion und die Generierung lokaler Hindernis-Kostenkarten für die Navigation. Dieses Paket kann für stationäre Umgebungen und Szenen mit Personen und mobilen Objekten verwendet werden.
Neu in dieser Version ist die Mehrkamera-Unterstützung für eine erweiterte Abdeckung mit bis zu drei HAWK-Kameras, die ein Sichtfeld von etwa 270° bieten.
Abbildung 3. Voxel-3D-Rekonstruktion mit Isaac ROS Nvblox, einschließlich der Rekonstruktion überhängender Hindernisse
NVIDIA Nova Orin Entwicklerkit
Dieses Entwicklerkit mit NVIDIA Jetson AGX Orin unterstützt bis zu sechs Kameras, darunter bis zu drei Stereo- und drei Fischaugenkameras, mit einer Latenz innerhalb der Kamera von unter 100 Mikrosekunden.
Die Stereokameras verfügen über eine Auflösung von 2 MP pro Kamera und ein Sichtfeld von 110 x 70, geeignet für 3D-Belegungsraster-Mapping, Tiefenwahrnehmung, visuelle Odometrie und Personenerkennung. Kaufen Sie ein Nova Orin-Entwicklerkit von Segway oder Leopard Imaging, um Isaac Perceptor zu verwenden.
Isaac Perceptor verfügt über ein Referenzraster, das in diesem Developer Kit bis zu drei Stereokameras unterstützt. Neben verbesserter Modularität mit ROS 2-Paketen bietet diese Version auch eine Referenzintegration mit Nav2 auf dem Nova Carter-Referenzroboter.
Verbesserte Kompatibilität mit Kameras und Sensoren
Isaac Perceptor bietet verbesserte Unterstützung für die Integration mit Kamera- und Sensorpartnern. Orbbec hat seine Gemini 335L-Kamera erfolgreich mit NVIDIA Isaac Perceptor-Komponenten integriert. Diese Integration wird auf dem NVIDIA Jetson AGX Orin mit Isaac ROS Visual SLAM und Nvblox demonstriert.
LIPS hat seine AE450-Kamera außerdem erfolgreich in die Isaac Perceptor-Komponente Nvblox integriert.
NVIDIA Isaac Manipulator
Isaac Manipulator ist ein Workflow aus NVIDIA-beschleunigten Bibliotheken und KI-Modellen. Es ermöglicht Entwicklern, die KI-Beschleunigung auf Roboterarme oder Manipulatoren auszuweiten, die ihre Umgebung nahtlos wahrnehmen, verstehen und mit ihr interagieren können.
Seine grundlegenden Modelle und beschleunigten Bibliotheken können als unabhängige Module oder als vollständiger Workflow in die Lösungsentwicklung integriert werden. Neben unabhängigen, modularen Komponenten werden Entwicklern auch Beispiel-Workflows (ROS 2-Startskripte) bereitgestellt, die Isaac Manipulator-Komponenten für eine vollständige End-to-End-Referenzintegration kombinieren.
Abbildung 4. Ein Beispiel für einen Isaac Manipulator-Workflow, der NVIDIA-Komponenten nutzt (grün)
Zu den ersten Kooperationspartnern von Isaac Manipulator zählen Unternehmen für Roboter-Entwicklerplattformen, OEMs und ISVs/SIs, darunter Intrinsic (ein Alphabet-Unternehmen), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention und Yaskawa.
Hauptmerkmale des Isaac-Manipulators
Isaac Manipulator bietet KI-Funktionen, um die Entwicklung von Roboterarmen zu beschleunigen.
cuMotion für schnellere Bahnplanung
Dieser GPU-beschleunigte Bewegungsplaner trägt zur Reduzierung der Zykluszeiten bei. cuMotion ist als Plug-in für MoveIt 2 verfügbar, ein als Open-Source-Projekt von einer internationalen Community – geleitet von PickNik Robotics – entwickeltes Framework für die Bewegungsplanung.
cuMotion führt die Trajektorienoptimierung für mehrere Seeds parallel aus und gibt die beste Lösung zurück.
Abbildung 5. NVIDIA cuMotion-Plug-in für MoveIt 2 von PickNik
Solomon, ein führendes Unternehmen im Bereich der fortschrittlichen Bildverarbeitungs- und Roboterlösungen, hat Isaac Manipulator bereits frühzeitig eingesetzt. Ihr durch den Isaac Manipulator cuMotion verbessertes Bin-Picking-System ermöglichte eine achtmal schnellere Pfadplanung und reduzierte das Auftreten von Pfadsingularitäten um 50 % im Vergleich zu herkömmlichen Algorithmen.
| Metrik | Verbesserungsrate (%) |
| Verbesserung der Erfolgsquote | 346.43 |
| Bewegungszeitverkürzung | 55.50 |
| Bahnlängenreduzierung | 42.27 |
| Zeitreduzierung Bahnplanung | 816.66 |
FoundationPose
FoundationPose ist ein neues einheitliches Basismodell für die einmalige 6D-Pose-Abschätzung und Verfolgung neuartiger Objekte. Dieses Modell ist für hohe Genauigkeit in Einsatzbereichen konzipiert, in denen bislang unbekannte Objekte auftreten – ohne Feinabstimmung.
FoundationPose steht derzeit an der Spitze des BOP Leaderboard 2023 für die 6D-Positionsbestimmung unbekannter Objekte. Es ist robust gegenüber Okklusionen, schnellen Bewegungen und unterschiedlichen Objekteigenschaften wie Textur und Skalierung und gewährleistet so eine zuverlässige Leistung in allen Szenarien. Entwickler können realistische Ansichten des Objekts aus jedem Winkel erzeugen. Holen Sie sich das Foundation Pose-Modell von GitHub.
Abbildung 6. Posenschätzung und -verfolgung mit NVIDIA FoundationPose
SyntheticaDETR
SyntheticaDETR besteht aus Real-Time DEtection TRansformer (DETRs)-basierten Modellen zur Objekterkennung in Einzelbildern, die mit synthetischen, mit NVIDIA Omniverse generierten Daten trainiert wurden. Es implementiert einen effizienteren Ansatz als herkömmliche Objektdetektoren, indem es mithilfe einer Transformer-Encoder-Decoder-Architektur alle Objekte gleichzeitig vorhersagt.
Abbildung 7. Objekterkennung und -verfolgung mit SyntheticaDETR
SyntheticaDETR wurde mit synthetischen und realen Daten trainiert und steht an der Spitze der BOP-Bestenliste für die 2D-Erkennung sichtbarer Objekte im YCB-Video-Datensatz (mit einer durchschnittlichen Präzision von 0,885 und einem durchschnittlichen Rückruf von 0,903).
Diese Modelle können Objekte auch als zweidimensionalen Begrenzungsrahmen für Tools wie NVIDIA FoundationPose erkennen. Laden Sie das SyntheticaDETR-Modell und den Isaac Manipulator herunter.
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 ist mit JetPack 6.0 kompatibel und wird auf allen NVIDIA Jetson Orin-Modulen und Entwicklerkits unterstützt.
Modulare, API-gestützte Services zum schnelleren und einfacheren Erstellen von Anwendungen für generative KI und Robotik werden in Kürze mit NVIDIA Jetson Platform Services verfügbar. Diese vorgefertigten und konfigurierbaren Services sollen die Entwicklung von KI-Anwendungen für NVIDIA Jetson Orin-SoM (System on a Module) beschleunigen.
NVIDIA Isaac Sim 4.0
Mit Isaac Sim können Entwickler synthetische Daten sowie virtuelle komplexe Testumgebungen für branchenführende Sensor- und Robotertests generieren. Dies ermöglicht hochrealistische Simulationen zum gleichzeitigen Testen Tausender Roboter in Echtzeit.
NVIDIA Isaac Lab
Isaac Lab ist eine schlanke Referenzanwendung, die auf der Isaac Sim-Plattform basiert und eine zentrale Rolle beim Training von Roboterbasismodellen spielt. Die Lösung unterstützt bestärkendes Lernen, Imitation Learning und Transfer Learning. Es kann eine breite Palette von Roboterausführungen trainieren, sodass Entwickler Designs und Funktionalitäten erkunden können.
Die neue Version lässt sich außerdem dank VSCode-Integration mit einem Kompatibilitätsprüfer, Multi-GPU-Unterstützung für bestärkendes Lernen, Leistungsverbesserungen durch Tiled Rendering mittels RTX-Sensor, optimiertem Cache und Shader-Management einfach einsetzen.
Zu den weiteren neuen Funktionen von Isaac Sim gehören:
- Benutzerfreundlichkeit mit PIP-Installation und einem Assistenten zum Importieren von Robotern und mehr.
- Verbesserte Leistung mit bis zu 80 % schnellerer synthetischer Datengenerierung (SDG).
- Neue SDG-Formate, die für die Pose-Schätzung das COCO-Format und benutzerdefinierte Schreibkomponenten unterstützen.
- ROS 2-Startunterstützung mit End-to-End-Workflow und mehr Leistung für bildbasierte Publisher.
- Unterstützung für weitere integrierte Roboter: einschließlich Universal Robots UR20 und UR30 und Boston Dynamics Spot. Es gibt auch eine Vielzahl von Humanoiden, darunter 1X Neo, Unitree H1, Agility Digit, Fourier Intelligence GR1, Sanctuary A1 Phoenix und XiaoPeng PX5.