ＬｅａｐＭｏｔｉｏｎ體感（gǎn）控製器的智能（néng）移動機械（xiè）臂控製係統-機器人-數控機（jī）床市場網

您現在的位置：機器人> 技術前沿>ＬｅａｐＭｏｔｉｏｎ體感控製器的（de）智能移動機（jī）械臂控製係統（tǒng）

ＬｅａｐＭｏｔｉｏｎ體感控（kòng）製器的智能移動機械臂控製（zhì）係統

2017-3-17 來源：北京理工大學（xué）珠海學院作者（zhě）：羅回彬，劉春麗，董思奇，陳錫柯，楊哲宇

摘要（yào）：設計一（yī）種新（xīn）型的移動機械臂控製係統，可以利用（yòng）Ｌｅａｐ　Ｍｏｔｉｏｎ體感控製器替（tì）代傳（chuán）統的人機交互方式，進行手部數據采集，將其識別到的手勢動作經過計算機分析處（chù）理後，通過ＷｉＦｉ傳輸（shū）給開發板，進而控製機械臂模仿人手的動作，同時由於（yú）機械臂的載體是一個加載（zǎi）攝（shè）像頭的移動小車，可以很好地結合機械臂執行各（gè）種遠程遙控任務。實驗結果表明，該移動機械臂便（biàn）捷靈活（huó）、操作簡單，能很好地應用在各種領域。

關鍵詞：ｌｅａｐ　ｍｏｔｉｏｎ；手（shǒu）勢識別；移動機械臂

0.引言

機器人是一種（zhǒng）能夠進行編程並（bìng）在自動化控製下執行某些（xiē）操作和移（yí）動作業任務的機（jī）械裝置，在工業、醫學、農業、建（jiàn）築業甚至軍事等領域中均有重要用途［１－２］。目（mù）前機器人很（hěn）少是通過體感操控的［３－４］，人機交互通常都是（shì）依靠鼠標、鍵盤（pán）、觸摸屏（píng）。因此，人與機（jī）器人交互方式不（bú）夠直接和簡單。基於這點提出（chū）了一種新的（de）機器人控製方式———體感控製，即操作者可（kě）以通（tōng）過（guò）手勢對機器人進行控製，讓人直接用自己的手（shǒu）來指揮機器人進行動作，完（wán）成需要人機協作才能完成的任務。本項目研究的智能移動機械臂可通過Ｌｅａｐ　Ｍｏｔｉｏｎ控製，實現機械（xiè）臂模仿人類所做的手勢動作的功能（néng），同時小車搭（dā）載攝像頭模塊更方便地實現機械臂的可操作性，實現機器人控製方式上的創（chuàng）新和更加自然的人機交互（hù）。

１.總體（tǐ）結構與原理

本項目主要利用Ｌｅａｐ　Ｍｏｔｉｏｎ的小巧而且識別度精準的特（tè）性，通過其對手（shǒu）勢的（de）動作進（jìn）行分析轉化，並在機械臂及小車自帶搭載的ＷｉＦｉ環境下，進行對機械臂（bì）的控（kòng）製，如圖１所示。

圖１　整體效果示意圖

本係統主要由上位機（jī）係（xì）統和下位機係統（tǒng）組成，上位機係統由ＰＣ機、Ｌｅａｐ通過（guò）ＷｉＦｉ把控製指令（lìng）傳送給（gěi）Ａｒｄｕｉｎｏ開發板（bǎn）；而（ér）Ａｒｄｕｉｎｏ開發根據不同的指令控製機械臂各關節的旋轉（zhuǎn）角度和小車的運動，從而完成預期的動（dòng）作。同時，ＰＣ端和手機端也（yě）可（kě）以通過按鍵方式進行相應的命令操作，控製機（jī）械臂（bì）和小車完成預（yù）期（qī）的動作。

圖２　係統結構框圖

２.主要硬件模塊選型與設計

２．１ＬｅａｐＭｏｔｉｏｎ體感（gǎn）控製器

Ｌｅａｐ　Ｍｏｔｉｏｎ是當下（xià）流（liú）行的以手部運動捕獲為主（zhǔ）的體感設備（bèi），利用紅外成像的原理獲取手的運動圖像，檢測並跟蹤手、手指和類似手指的工具，可（kě）以實時獲取它們的位置、手勢和動作，並將這些靜態與動態（tài）信息提供（gòng）給操作者。利用ＬｅａｐＭｏｔｉｏｎ根據每（měi）幀和前幀檢測到的數據所（suǒ）生成的運動數（shù）據（jù），捕獲不（bú）同手勢和手勢的運（yùn）動變化信息［５］。Ｌｅａｐ　Ｍｏｔｉｏｎ采用了笛（dí）卡爾坐標係（Ｃａｒｔｅｓｉａｎ　ｃｏｏｒｄｉｎａｔｅｓ），坐標的原點是設備的中心，坐標的Ｘ軸平行（háng）於設備，Ｙ軸指向上方，Ｚ軸指向（xiàng）背離屏幕的方向，單位為真實世界的ｍｍ［６－８］，如圖３所示。

圖３　Ｌｅａｐ　Ｍｏｔｉｏｎ的笛卡爾（ěr）坐標係

Ｌｅａｐ　Ｍｏｔｉｏｎ檢（jiǎn）測到手掌或者手指等目標對象的時候，其軟件係統還會自動（dòng）為這個對象分配一個獨一（yī）無二的標識符（fú），在設備的視野範圍內如果持續檢測到目（mù）標對象存在，這個標識符就（jiù）保持不（bú）變。如（rú）果目標超出有效視野範圍，整個追蹤過程出現丟失或者失而複得的情況，ＬｅａｐＭｏｔｉｏｎ便會重新為（wéi）目標對（duì）象分配一個新的標識符，同時使舊的標識符（fú）失效。

２．２機械臂模塊

如圖４所示，機械臂主要由大臂、小臂、舵機（jī）和機械臂爪組成。當（dāng）手勢信（xìn）息或按鍵命令傳給Ａｒｄｕｉｎｏ控製器後，它就先解析出動作指令再操控機械臂的舵機，讓機械臂做出相應的（de）動（dòng）作，具體功（gōng）能描述如（rú）表１所列。

圖４　機械臂結構圖

表１　機械臂功能描述

２．３Ａｒｄｕｉｎｏ開發板

Ａｒｄｕｉｎｏ開發板具有開源，模塊化組（zǔ）裝，簡單實（shí）用等特性［９－１１］，本項目就是利用它的這些特性控製機械臂的舵機和小車的馬達，從而實現對（duì）小（xiǎo）車和機械臂的控製，大（dà）大地縮（suō）短了開發的周期。

３.軟（ruǎn）件設計及實現

３．１整體軟件設計及（jí）實（shí）現

本項目在軟件設計與實現中，ＰＣ端采（cǎi）用Ｗｉｎｄｏｗｓ係統（tǒng）、Ｃ＃語言，手機（jī）端（duān）采用Ａｎｄｒｏｉｄ係（xì）統、Ｊａｖａ語言（yán）。如圖５所示，主程序啟動後，進行Ｌｅａｐ　Ｍｏｔｉｏｎ操作和按鍵操作的選擇界麵（miàn），當（dāng）操作者執行一個手勢或者一個按鍵操（cāo）作後，ＰＣ端或手機端會有相應的函數對操作進行解析，再（zài）通過ＷｉＦｉ通信發送給Ａｒｄｕｉｎｏ開發板（bǎn），然後Ａｒｄｕｉｎｏ開發板就會控製機械臂的舵機或者小車（chē）的馬達，從而讓它（tā）們運動（dòng）。

３．２手勢識別

手勢動作具有以下三個特點：

① 時間可變（biàn）性：完成同一個（gè）手勢所用的時間不一致。

② 空間可（kě）變性：完成同一個手勢的空間差異性。

③ 完整可（kě）變性：缺少信息或出現重複信（xìn）息。

這些特點決定了動態手勢的識別難度，開發人員無法（fǎ）抽樣或將其作為一個整體來（lái）識別。因此，本項目主要通過對一隻手手指的運動來進（jìn）行捕（bǔ）獲，再轉換為指定的（de）字母，化繁為簡（jiǎn），來控製機械臂和小車。

圖５　總（zǒng）體流程圖

在手勢（shì）轉換過（guò）程中，函數ＯｎＦｒａｍｅ（）為最核心的函數。在這個函數中，主（zhǔ）要利用Ｌｅａｐ　Ｍｏｔｉｏｎ　ＳＤＫ開發包的函數Ｅｘｔｅｎｄｅｄ（）對獲得數據進行處理，提取手部的運（yùn）動（dòng）特征。本係統可（kě）識別兩類手勢：一種是手指在（zài）空間運動，獲得手指數（shù）量；另一種是（shì）手（shǒu）指在平麵內畫圈，包括順時針畫圈和逆時針畫圈（quān）。隨後，通過一個Ｓｗｉｔｃｈ（）語句對手指數量的判斷來轉換為（wéi）相應的字母（mǔ）命令，每一個字母都有自己的指示動作，然後（hòu）通（tōng）過ＳｅｎｄＤａｔａ（）函數將字母傳送到Ａｒｄｕｉｎｏ開發板，具體流（liú）程如圖（tú）６所示。

圖６　手勢轉換過程流程圖（tú）

３．３小車（chē）與機（jī）械臂控製

進（jìn）行手勢識別和轉換後，ＰＣ端將數據通過ＷｉＦｉ傳（chuán）送（sòng）至Ａｒｄｕｉｎｏ，Ａｒｄｕｉｎｏ開發板會通過調用Ｓｅｒｉａｌ．ｒｅａｄ（）函數和ｗｉｔｃｈ（）語（yǔ）句進一步判斷和指定機械臂或小車做出相應的動作，具體流程如圖７所示。

圖７　Ａｒｄｕｉｎｏ控製機（jī）械臂或小車操作的流程圖

３．４ＷｉＦｉ通信

在Ｉｎｔｅｒｎｅｔ中，ＴＣＰ／ＩＰ使用一個網（wǎng）絡地（dì）址和一（yī）個服（fú）務端口號來唯一標識設備。其中，網絡ＩＰ地址用於（yú）標識網絡上的特定設備（bèi）；端（duān）口號用於標（biāo）識要連（lián）接到的該設（shè）備上的特定服務。根據上述原理，本項目的服務（wù）器（qì）可以理解為ＰＣ端和手機端，而客戶端（duān）則是Ａｒｄｕｉｎｏ開發板。利用Ａｒ－ｄｕｉｎｏ開發板自帶的串口（kǒu）ＷｉＦｉ模塊構建ＷｉＦｉ局域網，將電腦或手機連接到已經（jīng）搭建的（de）ＷｉＦｉ環境中，實現（xiàn）Ｓｏｃｋｅｔ連接及（jí）通信（xìn）。

在本項目中（zhōng），用指定的（de）地址（zhǐ）和端口號初始化（huà）ＩＰＥｎｄ－Ｐｏｉｎｔ類（lèi）的新實例，然後通過Ｓｏｃｋｅｔ編程就可以（yǐ）實現（xiàn）連接並通信。其中（zhōng），設置的ＩＰ為１９２．１６８．８．１，端（duān）口號（hào）為２００１，協（xié）議是ＴＣＰ／ＩＰ，ＩＰＥｎｄＰｏｉｎｔ類主要有服務器的ＩＰ地址（zhǐ）和端口信息，實現（xiàn）客戶端（duān）到服務器端的（de）連接（jiē）。Ｓｏｃｋｅｔ編程的基本過程如（rú）下：

① 創建一（yī）個Ｓｏｃｋｅｔ實例對象。

② 運用Ｃｏｎｎｅｃｔ（）方法將Ｓｏｃｋｅｔ實例對（duì）象連（lián）接到ＩＰＥｎｄＰｏｉｎｔ。

③ 接收並發送信息。

④ 最後用（yòng）Ｃｌｏｓｅ（）方法來關閉Ｓｏｃｋｅｔ。

４.實驗結果

本項目在Ｗｉｎｄｏｗｓ７係統和（hé）Ａｎｄｒｏｉｄ智能手機進行實驗，實驗演示過程具體如下：

① Ｌｅａｐ　Ｍｏｔｉｏｎ體感控製器將手部信息發給ＰＣ端，ＰＣ端經過數據處理識別出手勢和手掌的運動軌跡（jì），並將（jiāng）處理後的結果傳輸給Ａｒｄｕｉｎｏ，小車（chē）接收命令（lìng）和數據，然（rán）後做出（chū）相應的動作，如（rú）圖８所示。

② 手機（jī）端通過按鍵操作命令，將相（xiàng）應的命令（lìng）數據傳輸給Ａｒｄｕｉｎｏ，機械臂和小車根據接收的命令和數據做出（chū）相應的動作，如圖９所示。