IoT+Robot=ILife 清華電機孫民團隊打造智能家居

 

在現有的智慧家庭系統(例如：Amazon Echo、Google Home……等)中，使用者可以用聲控的方式或者手機App控制生活環境中連接的IoT家庭用具；但是，在這樣的系統中，使用者仍需要不斷的控制這些裝置，這樣的系統並沒有辦法替使用者省下太多的時間或能源。因此，一個智能家庭系統若是能透過觀察使用者的生活習慣，了解使用者的需求，從而主動地提供協助，就能夠讓使用者享受更多的便利性。為了觀察並記錄使用者的生活習慣，清華電機視覺科學實驗室(VSLab)設計了一套穿戴式裝置—手部攝影機，藉由了解居家者的生活習慣來打造智能家居系統。

 

清華電機視覺科學實驗室(VSLab)穿戴式裝置—手部攝影機之模擬圖。

 

實驗室主持人孫民助理教授說：「透過手部視角，一個人在一天中所使用的所有物品都能夠被記錄下來，這提供了我們很大的線索去了解一個人的生活習慣。」了解使用者生活習慣對於智能家居系統非常重要，舉例來說，如果使用者每次出門都會帶錢包、手機及鑰匙，並關閉電燈及冷氣，當系統偵測到使用者沒有帶鑰匙，沒有關冷氣就開門的情況下，就會提醒使用者是不是忘了帶鑰匙，忘了關冷氣。

 

手部視角物件辨識demo影片(由VSLab提供)，在影片中，穿戴式系統能夠即時的辨識與使用者互動的物品。

 

在智慧家庭中，家用機器人也扮演著相當重要的角色，它能夠為使用者提供IoT家電無法達到、具有更大自由度的服務，像是拿目標物品到使用者面前、根據使用者的描述尋找遺失於家中某處的物件、或是在特定時段幫使用者達成某項任務......等，簡而言之，家用機器人相當於具備人工智慧的機器管家。

 

要打造一個功能齊全的家用機器人需要大量不同領域的研究，為了建立人與機器的溝通，家用機器人必須具備音訊處理、語者辨識和自然語言處理的相關能力；為了將使用者的描述對應到現實生活的物件和狀態，家用機器人必須具備觀察與理解周遭環境的能力，這方面大量仰賴電腦視覺的技術；為了能夠自由的移動於家中以達成使用者指派的任務，家用機器人還必須具備自動導航的能力；最後，為了能夠與周遭環境互動並且改變環境的狀態，家用機器人必須具備移動或操作物件的能力，這牽涉到機械控制的相關演算法。以上僅提列家用機器人的幾項核心技術。

 

在這個議題上，孫民團隊目前專注於打造更加人性化的家用機器人自動導航系統。一個完整的自動導航系統大致上可以分為避障和導航：避障的能力讓機器人不會在行進過程中撞到其他物體，進而導致機器人或是環境物件的損壞或不期望的移動；導航則是在環境中從一點移動到另一點的能力，像是家用機器人能夠自動的從房間走到廚房。在家用機器人的應用上，後者通常比較具有挑戰性，機器人除了需要能夠找出正確的移動路徑外，還必須將位置連結上語意上的意義，例如：位置(20, 30, 10)大約位在廚房水槽前；另外，導航一般都會有一項前置作業：環境建模，簡單來說，就是讓機器人認識周遭環境。

 

傳統的環境建模方法需要機器人很仔細的掃描周遭環境，然而孫民希望人性化的自動導航系統能夠模擬生活中帶人認識新環境一般，使用者只需在一開始帶領機器人在家中繞一圈，便能夠達成環境建模而且同時賦予環境模型語意上的意義，以達成家用機器人的自動導航能力。

 

虛擬家居場景(圖由VSLab提供)，圖為虛擬環境中模擬一般家庭房子的圖片，第1列為正常視野，第2列為360度全景視野。由於採用深度學習的演算法，因此需要大量的訓練資料，這時虛擬環境中，資料獲得的自由度和方便性就帶來極大的好處。

 

虛擬環境建模demo影片(由VSLab提供)，影片為SLAM（Simultaneous Localization and Mapping）在虛擬環境中建模，右上角視窗為模擬機器人於家中移動並建模，綠點為特徵點，用於建立3D模型和定位；左下角視窗為正在建立的3D模型，藍框代表機器人相機的姿態，紅點為映射到3D環境的特徵點。

 

孫民實驗室目前使用的機器人，配有NVDIA TX1作為主要運算，上方圓球狀為360相機，前方另外安裝了一個webcam。

 

孫民助理教授畢業於美國密西根大學，在學術領域上表現傑出，在電腦視覺、深度學習、人工智慧的各項國際頂尖會議CVPR、ICCV、ECCV、AAAI、CHI等皆有論文發表，是臺灣少數能於這些會議發表的學者。

 

【IoT and Robot 團隊學生】

詹誠盛、巫姿瑩、簡廷安、胡展維、王尊玄、黃泓睿、林沅廷

【孫民助理教授研究團隊網站】

https://aliensunmin.github.io/

【影片連結】

手部視角物件辨識demo影片 https://www.youtube.com/watch?v=riqZNuH02kg&feature=youtu.be

虛擬環境建模demo影片 https://www.youtube.com/watch?v=nda4MDXaT_8