Trong bối cảnh sản xuất công nghiệp ngày càng yêu cầu tính tự động hóa cao, việc tích hợp các công nghệ tiên tiến như camera 3D và robot công nghiệp trở nên vô cùng quan trọng. Giải pháp camera 3D kết hợp robot công nghiệp gắp sản phẩm giúp tối ưu hóa quá trình sản xuất, tăng cường độ chính xác và hiệu suất làm việc. Các công nghệ này không chỉ nâng cao hiệu quả mà còn giảm thiểu rủi ro sai sót trong sản xuất.

1. Cấu trúc giải pháp

Hệ thống gồm camera 3D Intel RealSense, robot gắp và phần mềm điều khiển, robot. Robot thực hiện thao tác gắp. Phần mềm xử lý và điều khiển toàn bộ quy trình.

2. Camera 3D Intel RealSense

Camera 3D Intel Realsense D415

Camera cung cấp Pointcloud 3D và ảnh màu giúp robot nhận diện chính xác vật thể

3. Máy tính xử lý

Xử lý và phân tích dữ liệu Camera 3D: Máy tính mini PC công nghiệp Asus NUC rugged nhận dữ liệu từ các cảm biến như camera 3D. Sau đó, máy tính xử lý và phântích dữ liệu này để giúp robot hiểu được môi trường xung quanh, xác định vị trí, hình dạng của vật thể cần gắp, và các yếu tố quan trọng khác như khoảng cách, độ sâu, và tình trạng của vật thể.
Tính toán và lập kế hoạch đường đi: Máy tính sử dụng các thuật toán điều khiển để tính toán các chuyển động của robot, từ việc điều khiển cánh tay robot đến việc lựa chọn đường đi tối ưu để gắp vật thể mà không va chạm. Các thuật toán này đảm bảo rằng robot có thể di chuyển chính xác và linh hoạt trong không gian 3D, tránh va chạm và hoàn thành nhiệm vụ một cách hiệu quả.
Quản lý các thuật toán (Machine Learning): Máy tính tích hợp các thuật toán học máy để cải thiện khả năng nhận diện vật thể và tối ưu hóa các quy trình gắp. Ví dụ, robot có thể học từ các tác vụ trước đó để dần cải thiện khả năng lựa chọn vật thể, xác định cách gắp tốt nhất, hoặc xử lý các tình huống chưa gặp.
Tối ưu hóa hiệu suất và thời gian: Máy tính giúp hệ thống robot gắp vật thể tối ưu hóa thời gian thực hiện và hiệu suất của quá trình. Các thuật toán điều khiển và lập kế hoạch giúp robot làm việc nhanh chóng và chính xác, giảm thiểu thời gian cần thiết để thực hiện các nhiệm vụ.
Tương tác và giao tiếp với hệ thống bên ngoài: Máy tính còn có nhiệm vụ quản lý giao tiếp giữa robot và các hệ thống bên ngoài, như các hệ thống kiểm soát kho hàng, các hệ thống ERP (Enterprise Resource Planning), hoặc các hệ thống khác. Việc truyền tải dữ liệu và nhận thông tin giúp robot có thể điều chỉnh các hành động của mình dựa trên yêu cầu từ hệ thống bên ngoài.

Asus® NUC Rugged Chassis Element

4. Hệ thống robot JAKA Zu 7

Với cánh tay robot và camera 3D, chúng ta có thể thực hiện các nhiệm vụ:

Thay thế nhân công ở các công đoạn mà sản phẩm cấp vào hệ thống chưa được sắp xếp.
Giúp giảm thời gian và các công đoạn trung gian để cấp vào hệ thống tự động.
Xác định chính xác sản phẩm đựng lộn xộn trong khay.
Chương trình, camera dạng tích hợp, chỉ cần lắp vào và sử dụng giúp giảm thiểu thời gian lập trình, xử lý công đoạn.

Chu trình của robot gắp vật thể sử dụng camera 3D

Thu nhận dữ liệu hình ảnh (Image Acquisition)

Camera 3D Intel RealSense được sử dụng để chụp lại hình ảnh không gian 3 chiều của khu vực làm việc.
Dữ liệu bao gồm:
Hình ảnh màu (RGB)
Dữ liệu chiều sâu (Depth)
Điểm đám mây (Point Cloud)

Xử lý ảnh và trích xuất đặc trưng (Preprocessing & Feature Extraction)

Làm sạch dữ liệu điểm đám mây (lọc nhiễu, downsample)
Tách nền, phân đoạn vật thể cần gắp
Tính toán đặc trưng hình học (kích thước, trọng tâm, hướng…)

Nhận diện và xác định vị trí vật thể (Object Detection & Pose Estimation)

Sử dụng các kỹ thuật, thuật toán nhận diện vật thể.
Kết quả:
Xác định loại vật thể
Tọa độ 3D và góc quay (6 DOF pose)

-Thời gian nhận diện: 1-2 giây

-Kích thước vật thể gắp: 4cm x 2cm

Lập kế hoạch và điều khiển gắp (Grasp Planning & Motion Planning)

Xác định vị trí gắp tối ưu (grasp point)
Sử dụng thuật toán lập kế hoạch chuyển động (MoveIt, OMPL, RRT, TrajOpt…)

Điều khiển robot thực hiện gắp (Execution)

Gửi lệnh điều khiển đến robot
Robot thực hiện di chuyển đến vị trí gắp → kẹp/mút vật thể → di chuyển đến vị trí đích

Kiểm tra sau gắp và xử lý lỗi (Feedback & Error Handling)

Cảm biến lực, camera, hoặc hệ thống theo dõi để xác nhận đã gắp thành công
Nếu thất bại, lặp lại bước nhận diện và lập kế hoạch lại

– Thời gian 1 chu trình của robot gắp vật thể 3-5s