基於視覺（jiào）捕捉的網球自拾取機器人係統-機器人-數控機床市場網

您現在的位置：機器人> 技術前沿>基於視覺捕捉的網球自拾取機器人係統

基於視（shì）覺捕捉的網球自拾取機器人係統

2017-8-10 來源：江南大學機械工程學院(江蘇無錫) 作者：孫世俊平雪良曾慶（qìng）鈺董涵清官樂樂

摘（zhāi）要: 為了規避網球比（bǐ）賽的（de）風險，提高效率，開發（fā）了一套基於視覺捕捉的網球自動拾取（qǔ）機器人係統，由移（yí）動機器人平台搭載機械臂自由（yóu）移動對散落（luò）在網球場地的網球進行偵（zhēn）測並拾取。采用基於 AＲM 的硬件架構搭建移動機器人的控製係（xì）統平台，並通過網絡控製接口與機器人平台上的圖像（xiàng）采集（jí）與（yǔ）識別模塊實現（xiàn）通信; 將視覺采集捕捉到（dào）的網球的（de）位置信息傳（chuán）送給（gěi）控製器，控製移動機器人移（yí）動定位，機械臂配合（hé）實現網球拾取。經模擬（nǐ）網球場運行證明設計（jì）方案可行，視覺的引入節省了大量的人力與時間。開發的（de）網球自拾（shí）取機器人（rén）係統（tǒng）有很強的實（shí）用性，具有一定的推廣意義（yì）。

關鍵詞:移動機器（qì）人; 視覺捕（bǔ）捉; 網球識別（bié）定位; 機械（xiè）臂

日常（cháng）網球訓練（liàn）中，為了提高訓練效果，減輕運動員和（hé）教練員的負擔，在網球比賽中最大限度（dù）地規避球童受傷的風險，研究人員想到了（le）用機器人來拾取網球。一般情況下，該技術主（zhǔ）要包括以下內容:

①.機器人的路徑規劃。

路徑規劃技術是機器人控製技術研究中一個（gè）十分重要的問（wèn）題，到目前為止，研究方法主要有傳統方法和智能（néng）法 2 大類。傳統的路徑規劃方法———自由空間法、圖搜索法、刪格（gé）解耦法和人工勢場法等; 智能路（lù）徑（jìng）規劃的方（fāng）法———基於模糊（hú）邏輯的機器人路徑規劃和基於神經網絡方法的機器（qì）人路徑（jìng）規（guī）劃等［1-2］。

②.網球（qiú）的定位問題，目前市場上機器人係統的目標定（dìng）位多基於圖像處理的方法［3-4］，也有基於單目視覺的機器人定（dìng）位方法［5］，這些方法對圖（tú）像處理的要（yào）求精度較高，算（suàn）法也相對複雜，並不適（shì）用（yòng）於（yú）普通工程技術人員的編程和操作，難以實現。

③.網（wǎng）球的抓取功能，目前市場上撿球機器人所采用的夾持器以虎鉗式為（wéi）主，夾持精度（dù）不高，運（yùn）動效率低，而（ér）專業化的機械（xiè）臂價格昂貴，功能多（duō）樣化，可以完成機械（xiè）臂在非特定（dìng）環（huán）境下的自主抓取（qǔ）［6］。目前國內已（yǐ）有一部分可以拾取網球（qiú）的機器人，但還沒有基於（yú）真實環境（jìng）的機型［7］; 現有（yǒu）的機器人采用的抓取方法主要以虎鉗式為主，所用夾持器隻有 2 ～ 3個自由度，自由度（dù）不高，作業半徑小。國外現有的拾（shí）取網球機器人隻能實現半自動化，無法獨立自主找到（dào）散（sàn）落的球（qiú）並完成撿拾，而且因為體型過於龐大，無法運用於賽場。總體（tǐ）來說，國（guó）內外在通過移動平台撿拾網球上的技術還是不夠成熟，提升（shēng）空間很大，同時，它的市場前（qián）景又相當廣（guǎng）闊（kuò）［8］。針對以（yǐ）上存（cún）在的問題，本文在以（yǐ）往方法的（de）基礎上，改善網球自（zì）拾取過程的各個環（huán）節，提出一種基於（yú）視覺捕捉的網球自拾（shí）取（qǔ）方法，並（bìng）設計整體方案，搭（dā）建物理樣機，開發（fā）出一套造價低廉，控製精度較高，適（shì）用於（yú）市場的網球拾取機器人係統，即移動機器人與機（jī）械臂聯合平台，並進行效果驗證。

1. 總體方案設（shè）計

用機（jī）器人拾取網（wǎng）球，需要解決（jué）以下幾個問（wèn）題: ①機器人的路（lù）徑（jìng）規劃問題; ②機器人定位問（wèn）題，有了準確的定位，才能讓移動機器人平台進行精確地導航; ③如何實現網球的（de）抓取問題。目（mù）前國內的網球拾取機器人主要通過傳感器獲取網球的信息，利用嵌入式係統控製車身運動，搜尋（xún）網球並利用特（tè）殊的拾球（qiú）機構拾取（qǔ）網球［9］，拾取效（xiào）率低（dī），識別精度也不高。國外的網球拾取（qǔ）機器人功能結構複雜，造價昂貴，並不適用於市場的投放［10］。

本（běn）文利用一台全方（fāng）位移動平台作為機器人（rén）框架（jià）的（de）主體，係統利用紅外傳感器（qì）以及無刷電機的差速轉動實現循跡，利用超聲波傳感器進行測距，並（bìng）通過對收集到的數據（jù）信息進（jìn）行處理（lǐ）與分析而實現避障，很好地解決了機（jī）器人（rén）的（de）路徑（jìng）規（guī）劃問題。針對機器人定位（wèi）問題，本文采用圖像識別（bié）模（mó）塊作為定（dìng）位傳感器; 由於周圍環（huán）境的雜（zá）色對機器人定位算法有一（yī）定的影（yǐng）響，通過分析幾種常見的距（jù）離判斷算法，經過（guò）實驗，為機器人規劃出一塊確定的運動（dòng）與識別（bié）區域實（shí）現了機器人的定位功能。針對網球（qiú）的抓取，本文在移（yí）動機器（qì）人平（píng）台上搭載一個六自由度機械手( 為簡化算法，本文（wén）隻用了其中 3個自由度) ，根據圖像識別模塊得到的網球（qiú）中心位置的 x，y 坐標值，計算出機械手各個關節抓取網球時需要轉動的角度（dù） θ，根據串口中讀出的網球的寬度和高度計算出網球在圖像中的麵積，通過判（pàn）斷麵積的（de）大小，給機械臂發送抓取指令。具體方案如圖 1 所示。

2 .視覺捕（bǔ）捉與抓取

2． 1 視覺捕捉機器視覺

由於精確、快速和（hé）可數字化等優點被（bèi）廣泛應用，其一般工作原理為（wéi）: CCD 照相機攝取檢測圖象並轉化為數字信號，再采用先進的計算機硬（yìng）件與軟件技術對圖象數（shù）字信號進行處理，從而得到所需要的各種目標圖象特征值，並由此實現模式識（shí）別、坐標（biāo）計算、灰度分布圖等多種功能。再根據其結果顯示圖象、輸出數據、發出指令，配合執行機構完成位置調整、好壞篩選和數據統計等。

圖 1 總（zǒng）體方案

Figure 1 Overall program

本文采用圖像采集識別（bié）模塊，該模塊提供了 API函數供（gòng）係統調用，通過識別網（wǎng）球（qiú）的（de）顏色( 灰度值) ，調用相應的函數可得到網球的寬度（dù）、高度、中心點的 x，y坐（zuò）標。本文設定視窗捕捉範圍 x 方（fāng）向為（wéi） 0 ～ 360 mm，y方向 0 ～ 200 mm，通過串口監視器可以觀察到所獲得的位置信息，如圖（tú） 2 所示。

圖 2 獲得的位置信息

Figure 2 Position information obtained

2．2 自動抓取

圖像處理後小車可以實現對網（wǎng）球的實時追蹤。由於距離的不同，視野中各個網球的麵積不是一個定值，網球與機器人距離較遠時，計（jì）算得到的網球麵積較（jiào）小，距離較近（jìn）時，計算得到的網球麵積較大。通過計算識別得到網球的（de）麵積，同時判斷（duàn）小車與（yǔ）網球的距離（lí），當（dāng）網球麵積達到設定值，調動機械手實現網（wǎng）球的抓取，如圖3 ～ 4 所示。

圖 3 抓取（qǔ）網球示意圖

Figure 3 Crawl tennis schemati

圖 4 運動原理圖

Figure 4 Schematic of motion

3 .實驗係統開發

3．1 硬件開發

為實現網球機器人在球場中的移（yí）動，本文參照自主研發的全方位移動平台，采用基於 AＲM 的機器（qì）人控製硬（yìng）件體（tǐ）係結構; 為了使機器人快速、準確地（dì）識別目標，采用（yòng）高性能的圖像采集（jí）識別模塊; 網球抓取采用（yòng）簡易機械臂實現（xiàn）。機（jī）器人通過網（wǎng）絡控製接口與移動平（píng）台上的圖像采（cǎi）集與識別模塊實現通（tōng）信，將捕捉到的位置信息傳輸到係統（tǒng）控製移動平（píng）台，使機（jī）械臂實現移動定位和網球拾取。係統硬件主要由基於 AＲM Cortex-M3 的 32 位微處理器 STM32F103ZET6 芯片組成，該芯片主頻 72 MHz，擁有 256 k B Flash，48 k B SＲAM，且外設資源豐富，擁有多種（zhǒng）定時器，支持 SPI，I2C，USAＲT，USB，CAN 等接口; 係統還選（xuǎn）用 Pixy Cmu Cam5 圖像識別模塊並搭載了超聲波傳感器、紅外傳感器、藍牙模塊和 Wi Fi 控製模塊等，機器人總體硬件結構如圖 5所示。

圖 5 機器人硬件結構（gòu）

Figure 5 Ｒobot hardware structure

機器人移動平台選用兩輪獨立驅動（dòng）方式，驅動電機為無（wú）刷直流電機，由 BLCD-5015A 驅動器控製，機械手選用 AＲEXX 的六自由度機械手，可實現多角度抓取( 本文僅用其中 3 個（gè）自由度; PixyCmuCam5 是一個開源的圖像識別傳感器，支持多物體多色彩的顏色識別，支持 SPI，I2C 等多（duō）種通信方式，其搭載的圖像識別模塊可以以（yǐ） 1 MB /s 的速度發送塊信（xìn）息給 ArduinoUNO 板，每秒可以（yǐ）發送（sòng）超過6 000 個識別的物體或每幀 135 個被識別的物體。

3． 2 軟件開發

本文軟件的（de）組成大（dà）體可以分（fèn）為 3 個（gè）部分:

1) 基（jī）於 STM32 的移動機器人控製軟件。主要解決機器人的路徑規劃、超（chāo）聲波壁障及 Wi Fi 和藍牙控製等（děng）; 整個係統的工作模式是上位機通過 SPI 將無線模塊 NＲF24L01 接入 AＲM 處理器，同時將搖（yáo）杆 ADC 控製（zhì）模塊初始化。AＲM 處理器（qì）可以對操作（zuò）人員在液晶顯（xiǎn）示屏上輸入的指（zhǐ）令進行分析與識別，並將指令傳送給下位，同時還可以通過 USAＲT 串口與計算機通信。

2) 圖像（xiàng）識別模塊。通過 Pixy Cmu Cam5 攝像頭可以（yǐ）直接獲取網球的位置（zhì）信息( 網球中心位置的 x 和 y坐標，被識別網（wǎng）球的寬度、高度) ，並將獲取的信息通過 ISCP 通（tōng）信端口發送到 Arduino IDE 開（kāi）發板。

3) Arduino IDE 開發板與 STM32F103ZET6 芯片的通信。由於本文（wén）的 2 塊開（kāi）發板（bǎn）類型不同，故通過 ArduinoIDE 開發板的 TX，ＲX 通信端口實現 2 塊板子的通信。圖 6 為主程序流程圖。

圖 6 主程序流程圖

Figure 6 Main program flow chart

3． 3 實驗驗證與分析

本文搭建了移動機器人樣（yàng）機，並在多種（zhǒng）場合進行了測（cè）試，機器人可以精確地識別網球的位置並反饋給機械手; 在視野中如果沒有發現網球，攝像頭會自動調用子程序轉動舵機尋（xún）找各個方位網球的位置，實現了網球的（de）高效、精準地抓取，如圖 7 ～ 8 所示。

圖 7 成（chéng）功捕捉到網球

Figure 7 Tennis successfully captured

圖 8 實驗室測試

Figure 8 Laboratory tests

雖然市麵上已經出現網球（qiú）撿拾（shí）機器人（rén），但國內大多數是運用傳感器（qì）進行識別，紅外線進行定位，由於識別距離有限，響應速度有一（yī）定的延遲。國外運用高精度 CCD 攝像頭進行識別的（de）網球撿拾機器人，雖然精度高，但是價格昂貴，使用成本太（tài）高，不適合投入市場大量運用。而本文所搭建的機器人小（xiǎo）車運用的 PixyCmu Cam5 攝像頭，價格適中（zhōng），性價比高，並且可以做（zuò）到快速識別（bié）。同時本文沒有采用常規的真空吸取、依靠慣性等撿取網球的方式，而是運用了機械手，雖然增加了成本，但大大提高了撿球效率，可以高效而又精準地實現抓取動作。

4 .結語

本（běn）文設計開發的基於視覺捕捉（zhuō）的網球自動拾取機器人（rén）係統，解決了耗費人力資源而且人工（gōng）撿球效率低的問題。在研究過程中（zhōng），機器（qì）人的路徑規劃問題一直是一個難點。機器人在運行（háng）過程中有時會偏離運行軌跡，要提高機（jī）器人運動精度，需要軟件和硬件協調配（pèi）合，這在後期的工作中需（xū）要進一步（bù）加強。本係統具有廣闊（kuò）的應用前景，可以用在任（rèn）意網（wǎng）球場地。經技術完善後，可以在標準化的網球場上（shàng）的 4個角落放（fàng）置 4 台機器人，組成一個撿拾網球的（de）局域網係統，通過一個中央處理（lǐ）器計算（suàn）整合，可高效而又準確地完成（chéng）撿拾網球並退回原位等一係（xì）列動作（zuò）。

參考文獻:

［1］張穎，吳成東，原寶龍．機器人路徑規劃方法綜述［J］．控（kòng）製工程，2003，10( 增刊（kān） 1) : 152 － 155

［2］趙曉東，鮑方．清潔機器人路徑規劃算法研究綜述［J］．機電工程，2013，30( 11) : 1440 － 1444．

［3］張俊強，張（zhāng）華．基於圖像處理（lǐ）的移動機器人對目標（biāo）的識別和定位［J］．計算機測量與控製，2006，14( 5) : 673 － 675．

［4］彭惠青，李海燕．機器人視覺定位（wèi）的圖像處理［J］．計算技術與自動化，2004，23( 1) : 74 － 76．

［5］於乃功，黃燦，林佳．基於（yú）單目視覺的機器人目標定位（wèi）測距方法（fǎ）研究［J］．計算機測量與控製（zhì），2012，20( 10) : 2654 － 2656．

［6韓崢，劉華平，黃文炳，等．基於 Kinect 的機械臂目標抓取［J］．智能（néng）係統學報，2013，8( 2) : 149 － 155．

［7］席澤生．網球場撿（jiǎn）球機器人係統設計［J］．機械製造與自動化，2012，41( 2) : 140 － 141．

［8］唐瑩．智能網球拾取機器人的（de）市場分析: 以創睿（ruì）智能網球機器人有限公司為例［J］．職業，2012( 17) : 148 － 149．

［9］於剛，唐小川．智能拾取（qǔ）網球機器人［C］/ /第二屆全（quán）國大學生創新論壇論文集．南京: 東南（nán）大學出版社，2009．

［10］ MAO Yanbing． Design of tennis picking intelligent robot orientationsystem［J］． Machine building ＆ automation，2009，38( 2) : 54．

投稿箱：
如果您（nín）有機床行業、企業（yè）相關新聞稿件發表，或（huò）進行資訊合作（zuò），歡（huān）迎聯係本（běn）網編（biān）輯部（bù），郵箱：skjcsc@vip.sina.com

更多相關信息

名企推薦（jiàn）

業界視點

| 更多

行業數據

| 更多

博文選（xuǎn）萃

| 更（gèng）多

數控（kòng）機床