基準測試和數(shù)據集對于研究和科學進步非常重要，通過競技及可量化、可重復性結果推動關鍵研究L域進步。機器人操作目前缺乏在同等規(guī)模及重要L域被廣泛接受的基準，例如計算機視覺中的同步定位和映射（SLAM）和目標檢測。曾經提出的操作基準和挑戰(zhàn)需要訪問昂貴的平臺和專門的環(huán)境（即FetchIt、Amazon Picking Challenge等），使用特有對象來評估系統(tǒng)的能力，限制了整個研究L域的發(fā)展。機器人操作方面研究在仿真環(huán)境中進行具備優(yōu)勢包括：（1）有助于獲得可重復的結果，（2）允許訪問潛在的不可用平臺，（3）本質上是安全的，（4）不會磨損或損壞物理系統(tǒng)，并且（5）除了并行運行許多實例之外，還可以比實時運行更快。然而，物理模擬的不足也很明顯，在仿真環(huán)境中生成的控制器在轉移到現(xiàn)實世界時往往是不可靠的。現(xiàn)實差距的現(xiàn)象是眾所周知的，但很少有人能量化這一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS發(fā)表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基準和附屬數(shù)據集旨在幫助研究人員和開發(fā)人員量化現(xiàn)實差距，特別是與機械臂的物理交互任務，從而推動仿真到現(xiàn)實（sim2real）的轉換，以及物理引擎，模擬器和它們的參數(shù)化方面的進展。通過使用仿真和量化指標，使基準測試能夠通用于許多操作L域，但又足夠具體，能夠提供系統(tǒng)的有關信息。他們的主要貢獻包括：（1）開發(fā)了一個將仿真與真實世界記錄進行比較的程序；（2）一個由機械手執(zhí)行的地面真實標記操作任務的數(shù)據集，該操作任務使用G精度的運動捕捉系統(tǒng)進行記錄；（3）在再現(xiàn)真實方面用于描述模擬器成功量的子集（圖1）。作者們希望隨著時間的推移來擴展這個數(shù)據集，以覆蓋更多的任務，并應用于更多的機械手。

1、基準測試

操作基準由三個部分組成：運動捕捉任務的真實世界數(shù)據集；定義在選定的模擬環(huán)境中要模擬的任務；評估地面真實性和模擬解決方案之間性能的指標。

A.  任務

該基準目前由10個簡單的任務組成，這些任務被選中是因為它們提供了基本運動和接觸的良好初始起點。這些任務演示了如何使用基準并充當更G級任務的先驅。通過調整模擬器來準確地模擬簡單的任務，推斷這些相同的參數(shù)將擴展到共享底層關聯(lián)的更復雜的場景。基準將被擴展到包括更G級的任務，這些任務與實際操作場景具有更G的相關性。表1列出了任務以及簡短的描述以及它們包含的子組。

B、數(shù)據集

數(shù)據集是在CSIRO的Qualisys運動捕捉系統(tǒng)中收集的，將其作為實時G精度地面真實數(shù)據提交。該系統(tǒng)包括24個攝像頭，安裝在8×8×4米的龍門架上。校準為<1 mm的殘余值，系統(tǒng)記錄頻率為100 Hz。系統(tǒng)的延遲取決于以下幾個變量：標記數(shù)、攝像機數(shù)和計算機設置。數(shù)據從主機PC（接收延遲小于6毫秒的數(shù)據）流到運行機器人操作系統(tǒng)（ROS）的第三方PC。手臂配備有Robotiq FT300力扭矩傳感器，安裝在手臂手腕和夾持器之間，使用兩個如圖2所示的3D打印底座（底座的網格文件可以在基準網站上找到）。安裝支架采用剛性和輕質的ABS塑料進行3D打印，這滿足了作為系統(tǒng)終環(huán)節(jié)的設計要求，包括重量小于1.2 kg的夾持器。在記錄數(shù)據集之前，Robotiq FT300用Kinova夾具進行了校準。該數(shù)據集的目的是在未來通過一系列的機器人操作器完成額外的任務。基準測試的用戶不必記錄任務，目的是用戶應用所提供的數(shù)據集對其模擬環(huán)境進行基準測試。

C、模擬器設置

要使用文中的基準測試系統(tǒng)對模擬器進行基準測試，需要遵循以下準則。任何未列為受控變量的參數(shù)都可以用來改進仿真。一般來說，場景、機器人和機器人的控制都設置為不可變，而大多數(shù)其他參數(shù)都是用戶可定義的。文中的基準適用于任何模擬器。制造商統(tǒng)一機器人描述格式（URDF）與網格文件可以一起在基準的網站上下載，作為機器人機械手的描述。如果模擬器本身不支持URDF，則機器人可以按照URDF或制造商規(guī)范導入剛體網格，在選定的仿真環(huán)境中進行組裝。

D、性能指標

沒有一個指標能夠客觀地評估模擬器在所有任務中的性能，因此提出了一系列的指標。在推導合適的性能指標時，注意到平均一個具有相同起點和終點的對象的軌跡是可能的，特別是對于遵循相同控制軌跡的對象，如機械手。然而，對于具有不同末端姿態(tài)的物體，求其軌跡的平均值不是一個有效的計算方法，因此建議分析這些物體末端姿態(tài)的分布。由于在遵循物理原理的同時，由于從一個共同的開始姿勢到結束姿勢的過程中，可行方法是有限的，通過分析可操縱物體的末端結構，我們發(fā)現(xiàn)這是一個有效的度量標準。此外，還使用進一步的度量來表征這些對象的運動。

圖3 二元正態(tài)分布概率密度函數(shù)的三維繪圖

E、報告績效

組合基準和數(shù)據集的網站旨在托管基準用戶的結果。由于包含可操作對象的任務有23個度量（不包含對象的任務有15個度量），因此有太多的度量無法公開顯示和比較，因此可能會使用錯誤。任務根據主題劃分為多個子組，并報告子組的結果。子組的報告結果顯示更具有針對性比完成所有任務和只報告單個任務更有效率。

2、模擬器性能示例及結論

文中應用了兩個符合機器人性能的模擬器V-Rep和PyBullet。它們也是機器人L域常用的模擬器。運行此基線的代碼可以在基準網站上找到。V-Rep有一系列物理引擎，可以通過抽象層應用，因此能夠對以下模擬器和物理引擎組合進行基準測試。仿真機器人操作基準通過在仿真和地面真實數(shù)據集之間繪制度量來驗證仿真環(huán)境。23個指標多面描述了現(xiàn)實差距造成的差異，并有助于對仿真環(huán)境的結果進行基準測試。該數(shù)據集提供了有價值的信息，包括6自由度姿態(tài)的運動捕捉、關節(jié)扭矩以及在機械手手腕處的力和力矩。同時比較了兩種常用的機器人模擬器V-Rep和PyBullet在一般參數(shù)設置下的性能，基于度量分析了模擬器在完成數(shù)據集任務時的精度，證明了所選度量的實用性。