目標(biāo)定位：涉及無分類的目標(biāo)定位、目標(biāo)檢測和目標(biāo)實例分割，為機械臂提供目標(biāo)對象的區(qū)域信息。

目標(biāo)姿態(tài)估計：對6D目標(biāo)姿態(tài)進行估計，包括基于對應(yīng)的方法、基于模板的方法和基于投票的方法，為已知目標(biāo)生成抓取姿態(tài)。

抓取估計：包括二維平面抓取方法和6自由度抓取方法，前者被約束為從一個方向抓取。

視覺抓取中的關(guān)鍵技術(shù)

手眼標(biāo)定：確定相機和機械臂本身的位置關(guān)系，分為眼在手上和眼在手外兩種方式。

物體識別與定位：使用ROS功能包find_object_2d、TensorflowObjectDetectionAPI、object_recognition等實現(xiàn)物體的識別與定位。

抓取姿態(tài)分析：分析抓取物體的姿態(tài)，是視覺抓取中的一個難點。

視覺機械臂自主抓取全流程

相機標(biāo)定：校正相機的畸變，獲取真實的空間位置。

手眼標(biāo)定：將物體的位置從相機坐標(biāo)系轉(zhuǎn)換到機械臂坐標(biāo)系中。

物體識別與定位：通過攝像頭獲取目標(biāo)物體的位置。

抓取規(guī)劃與執(zhí)行：計算機械臂末端執(zhí)行器的位姿，規(guī)劃出合適的路徑，驅(qū)動機械臂抓取物體。

應(yīng)用實例

工業(yè)生產(chǎn)線上的應(yīng)用

MicroPos機械手視覺定位算法能實現(xiàn)高精度的高度定位和傻瓜式操作，提升了物流行業(yè)的包裹分揀效率。

ROS機械臂視覺抓取實驗

介紹了基于機器視覺的ROS機械臂抓取系統(tǒng)，強調(diào)了準(zhǔn)確識別與定位目標(biāo)物塊的重要性。