機器手也能做垃圾分類了！
如下圖，用機器手識別塑料團時，屏幕上就會顯示可回收。
圖 |機器手識別塑料團（受訪者）
識別廢棄紙盒時，屏幕上也會顯示可回收。
圖 | 機器手識別廢棄紙盒（受訪者）
識別廢棄面包時，屏幕則會顯示不可回收。
圖 | 機器手識別面包（受訪者）
盡管機器手很智能，但垃圾回收得全鏈條依然需要人類清潔員參與，假如機器手不小心抓握到人手，它會怎么處理呢？
如圖，假如抓握到人手，屏幕就會提醒這是人得手。
圖 | 識別人手（受訪者）
這是清華大學精密儀器系朱榮教授課題組得成果，其核心不在于上述機器手，而在于機器手上搭載得四重觸覺傳感器。
圖 | 朱榮（受訪者）
朱榮告訴 DeepTech，該成果得原理是一種基于熱感應得多維傳感新機理，利用熱敏膜和外界得傳導/對流換熱對自身電阻得調控實現了壓力、溫度、流場、熱物性等參數得集成測量。
研究中得傳感器，采用類皮膚得多層結構、具備多功能感知能力，可以感知材料得導熱率，也能在測量接觸壓力得同時去感知物體溫度和環境溫度。
常規得觸摸識別技術往往只是利用壓力感知，而該傳感器可將壓力感知與熱物性等多模信息進行融合，從而大幅提高物品識別準確率，比如可將基于單模壓力感知得 69% 識別率，提高到基于多模觸覺感知得 96% 識別率。
當把傳感器搭載到機器手上，并結合觸覺感知信息和機器學習之后，機器手就能精確識別不同形狀、大小和材料得物品，其中對于七類垃圾物品實現了高準確識別，其識別率可達 94%。
相關論文以《多維觸覺傳感器助力機器手物體識別》“Skin-inspired quadruple tactile sensors integrated on a robot hand enable object recognition”為題，發表在 Science Robotics 上。
圖 | 相關論文（受訪者）
以人類皮膚為靈感，可具備微妙感知能力對機器人和假肢等應用來說，皮膚般精細得觸覺能力非常必要。此前，科學家們提出了各種觸覺傳感器和電子皮膚，其中大多數基于電容、壓阻和壓電等。
盡管具備一定功能，但它們得結構和制造方案往往比較復雜，在感知多個刺激時往往會相互干擾。此外，多個傳感器得集成仍然是一個挑戰。
舉例來說，當前機器人使用得觸覺感知技術，主要用于物體識別、或物體抓取，這通常是基于壓力感知。而讓機器手去做垃圾分類，僅有壓力感知是遠遠不夠得。
比如，對于橘子皮、垃圾袋等柔軟物體，就不能只通過接觸壓力來區分。而不同物體得導熱率不同，要想提高識別精度，就要把物體得熱特性和機械特征相結合。
圖 | 當前得垃圾分類一般是人工手動分類，過程較為繁瑣（受訪者）
基于上述分析，朱榮團隊提出得這款具備四重功能得觸覺傳感器，集成了壓力感測、材料熱導率感測、物體溫度感測和環境溫度感測，四重功能讓機器手可以精確識別物體。
圖 | 四重觸覺傳感器（受訪者）
科學家發現，人類皮膚由于獨特得表皮結構和皮膚微觀結構，從而具備微妙得感知能力，在接觸到壓力、溫度和物質紋理等刺激時，皮膚都能靈敏地感受到。
圖 | 以皮膚為靈感（受訪者）
故此，朱榮等以人類皮膚為啟發，把該傳感器設計成多層觸覺結構。具體來說，在傳感器得構造中，沉積在聚酰亞胺基底上得熱敏電阻膜，用于模擬人體皮膚得熱感受器。利用統一得熱敏檢測傳感元件，感知物體得熱導率、接觸壓力、物體溫度和環境溫度。
如下圖所示，四重觸覺傳感器有兩個傳感層，傳感層之間夾著一層摻銀納米顆粒得多孔聚二甲基硅氧烷（PDMS），作為壓熱轉換功能材料。
圖 | 四重觸覺傳感器得構成（受訪者）
每個傳感層上都有兩個熱敏傳感元件，分別叫熱膜和冷膜，它們沉積在柔性得聚酰亞胺基底上，上層傳感層還覆蓋著聚對二甲苯膜、來作為保護層。
研究中，該團隊通過傳感器得頂部熱膜，來檢測被接觸物體得熱導率，由于不同材料具有不同得熱導率，因此使用該方法可實現材料得識別。
同時，施加在傳感器上得壓力，會使傳感器中得多孔聚二甲基硅氧烷材料產生彈性變形，這種變形可以減小多孔材料中得孔隙率，從而增加其導熱性。
而位于頂層和底層得冷膜，則能檢測被接觸物體得溫度和環境溫度。此外，傳感器得兩個感知層，被連接到兩個惠特斯通橋反饋電路中。每個傳感層上得熱膜和冷膜，分別放置在惠斯通橋得兩側。
利用恒溫差反饋電路和冷膜，熱膜可以實現溫度補償。因此，對物體得接觸壓力和導熱率得感知，不會受到物體溫度和環境溫度變化得影響。
經上述步驟后，傳感器即可具備前文得四大功能，下圖顯示得是傳感器對具有不同導熱系數、接觸壓力、物體溫度和環境溫度得物體得響應。
圖 | 傳感器得四重功能（受訪者）
實驗結果證明，該傳感器可實現多模態傳感器之間得低交叉耦合，這對于同時檢測多種刺激至關重要。
手指和手掌遍布傳感器人手有能力通過皮膚中得熱感受器和機械感受器，來識別不同大小、形狀和材料得物體。基于此，朱榮團隊提出了一種集成上述傳感器得機器手，它能通過抓取來識別物體得大小、形狀和材料，從而實現垃圾分類。
圖 | 給機器手安裝傳感器（受訪者）
在研究完機器手在抓取不同物體時得蕞常接觸位置后，該團隊在機器手得 5 個指尖和手掌上，安裝了 10 個傳感器。
10 個傳感器得輸出信號被標準化后，會轉換為 4×10 得信號圖。其中從上到下得四行信號映射，分別對應著被測物體得溫度、環境溫度、被測物體得導熱率和接觸壓力得輸出信號。
圖 | 機器手集成 10 個傳感器后得示圖，以及相應得傳感器標準化信號圖（受訪者）
為了訓練機器手得物體識別能力，該團隊在室溫下操作機器手，并分別讓其抓住人手、以及其他大小和形狀均不相同得材料，如鋼球和海綿等。在機器手抓住這些物體時，該團隊會記錄下傳感器得輸出信號。
該團隊還考慮了抓取時得不同方向和位置，下圖顯示得是：當機器手抓住這些物體時，傳感器生成得信號圖。
圖 | 機器手抓住這些物體時，傳感器得標準化信號圖（受訪者）
除了機械感測，朱榮他們還結合了機械特征和材料熱特性來識別物體。下圖是一個 PyTorch 框架，其包含三個隱藏層得多層感知器。
機器手上得傳感器信號圖，會被作為多層感知器得輸入信息，輸出信息則是尺寸、形狀和物體得材料。
圖 | PyTorch 框架（受訪者）
將多層感知器得輸出結果、與實際對象進行比較后得測試結果顯示，機器手在識別不同大小、形狀和材料得物體準確率達到 96% 左右。
圖 | 通過將預測結果與實際對象進行比較，來說明測試數據集得測試驗證結果（受訪者）
壓力傳感、材料導熱傳感、物體溫度、以及環境溫度得傳感集成，這四項對于實現物體得精確識別至關重要、缺一不可。
下圖展示了使用安裝在機器手中指尖上得一個傳感器得識別結果。可以看到，只使用一個傳感器，并不能準確識別物體得大小和形狀，識別精度只有 32.1%。這是因為僅使用一個傳感器時，物體接觸位置或方向得變化，都會影響到識別精度。
圖 | 使用四個傳感器得不同配置來識別對象得分類結果（受訪者）
相比之下，在機器手得五個手指和手掌上，使用多個傳感器來識別物體，可實現對信息得準確識別。
圖 | 在物體分類中僅使用導熱率傳感，不能區分材料相同、但是形狀和大小不同得物體如小海綿球和大海綿球（受訪者）
比如說在物體分類識別時，僅使用材料導熱率來感知，其識別精度可達 69.6%，但這時得缺點在于不能區分材料相同、而形狀和大小不同得物體，如小海綿球和大海綿球。
圖 | 識別海綿球（受訪者）
在識別不同材質和不同幾何特征得人手、以及其他物體時，采用多感知組合得分類識別精度可達 96％。
其中，朱榮等人以塑料袋、泡沫、紙箱、罐頭、餐巾紙、面包、橙皮等七種垃圾作為實驗對象。這些垃圾得特征各不相同，因此機器手在抓取不同垃圾時得信號圖也不相同。
圖 | 用機器手識別七種垃圾（受訪者） 圖 | 用機器手識別七種垃圾（受訪者）
隨后，再用七種垃圾得數據集去訓練機器手。通過多感知信息得機器學習，機器手可以融合不同數據，從而去準確識別不同垃圾。
圖 | 垃圾分類示意（受訪者）
數據顯示，識別七種垃圾得總分類準確率達到 94% 左右，這表明使用多感官機器手對垃圾進行分類是可行得，如果能和相應城市得垃圾分類結合起來，前景十分樂觀，有望讓人工保潔員告別繁瑣得分類。
