Projekt Roboterapplikation mit 3D-Lageerkennung - FH Graubünden

Menu
Projekt
Roboterapplikation mit 3D-Lageerkennung
Projekt auf einen Blick

Projekt auf einen Blick

Lageerkennung von Objekten in Bild einer 3D-Kamera und Griff des Objektes mit Industrieroboter.

Ausgangslage

Ausgangslage

In der Automatisierung ist das Thema «Griff in die Kiste» («Robot Bin Picking») seit Jahren ein Trend. Statt dem Roboter alle Teile aufwändig in einer Halterung zuführen zu müssen, werden die Teile unstrukturiert in einer Kiste bereitgestellt. Mittels Sensorik wird die Lage der Objekte erkannt, ein zu greifendes Objekt ausgewählt und vom Roboter gegriffen.

Projektziel

Projektziel

Ein ABB- IRB120 Roboter hat eine Hand-montierte ToF-Kamera Basler Blaze-101. Auf dem Tisch liegen Bauklötze. Der Roboter positioniert die Kamera in Aufnahme-Position und löst die Bildaufnahme aus. Ein PC berechnet in der aufgenommenen Punktwolke die Lage der Klötze und wählt einen zu greifenden aus. Dessen Lage wird an den Roboter übertragen, der Roboter greift das Objekt mit seinem Greifer und legt es an einem Ort ab. Die Kommunikation Roboter-PC läuft über eine Ethernet-Verbindung. Klötze können auch dann detektiert und gegriffen werden, wenn sie schräg übereinander liegen.

Umsetzung

Umsetzung

Die Kamera in der Roboterhand musste kalibriert werden, um die Tooltransformation der Kamera zu bestimmen. Die Bildverarbeitung der Anwendung wurde mittels Python und Open3D umgesetzt. Nach Segmentierung der Szene und Separierung der einzelnen Objekte wird die Objektlage des zu greifenden Objekts bestimmt und dem Roboter mitgeteilt. Der Roboter wurde in der robotereigenen Programmiersprache RAPID programmiert, die Kontrolle der Abläufe bleibt beim Roboter: Der PC mit der Kamera und der Bildverarbeitungslösung arbeitet als Server, der auf Kontaktaufnahme des Roboters wartet.

Team

Team

Philipp Roebrock
Andrin Tscharner (Student Photonics)

Weiterführende Information

Weiterführende Information

Beteiligte