“智行-W4AT”
配套的實(shí)驗(yàn)課程：《嵌入式單片機(jī)》、《電機(jī)與控制》、《嵌入式Linux操作系統(tǒng)》、《機(jī)器人編程（C++）》、《機(jī)器人編程（Python）》、《數(shù)字圖像處理基礎(chǔ)》、《機(jī)器人操作系統(tǒng)》、《機(jī)器人感知傳感》、《機(jī)器視覺(jué)與AI》、《機(jī)器人學(xué)》、《機(jī)器人定位導(dǎo)航》、《機(jī)器人建模與仿真》、《語(yǔ)音大模型綜合實(shí)踐》、《具身智能綜合實(shí)踐》、《智能機(jī)器人拆裝綜合實(shí)踐》、《服務(wù)機(jī)器人綜合實(shí)踐（家用場(chǎng)景）》、《服務(wù)機(jī)器人綜合實(shí)踐（商業(yè)場(chǎng)景）》、《服務(wù)機(jī)器人綜合實(shí)踐（工業(yè)場(chǎng)景）》、《智能機(jī)器人建模仿真綜合實(shí)踐》。
對(duì)應(yīng)的競(jìng)賽：兩個(gè)白名單大賽的3個(gè)項(xiàng)目，及一個(gè)機(jī)器人競(jìng)賽指數(shù)榜單大賽的2個(gè)項(xiàng)目。
“智行-W4AT”是一款面向機(jī)器人工程、人工智能、自動(dòng)化類、機(jī)械類、電子信息類等新工科專業(yè)開(kāi)展實(shí)驗(yàn)教學(xué)的模塊化機(jī)器人套件，可搭建出一臺(tái)包含各類傳感器的四輪全向底盤(pán)+5軸串聯(lián)機(jī)械臂的復(fù)合機(jī)器人。采用嵌入式AI處理器和嵌入式單片機(jī)控制器的雙腦架構(gòu)，AI處理器的核心是瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強(qiáng)大且均衡。專為教學(xué)設(shè)計(jì)的嵌入式控制器，接口豐富，配備各種按鍵、指示燈及顯示屏，可對(duì)spi、iic、uart、adc等不同通訊接口的各類傳感器及舵機(jī)、電機(jī)進(jìn)行單獨(dú)的調(diào)試和數(shù)據(jù)展示。配套仿真軟件，提供外觀一致，激光雷達(dá)、深度視覺(jué)相機(jī)、IMU、超聲傳感器、輪式里程計(jì)等傳感器位置一致的仿真模型，配置多個(gè)仿真場(chǎng)景。AI處理器搭載機(jī)器人操作系統(tǒng)與各種傳感器驅(qū)動(dòng)軟件，內(nèi)置主流AI推理框架與預(yù)訓(xùn)練模型，既可以通過(guò)API直接獲取AI推理結(jié)果，又可以通過(guò)代碼加載預(yù)訓(xùn)練模型，還可以根據(jù)實(shí)驗(yàn)教程自己訓(xùn)練優(yōu)化各種AI模型。
配套的實(shí)驗(yàn)課程大綱如下：
|
機(jī)器人嵌入式Linux操作系統(tǒng)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
Linux系統(tǒng)簡(jiǎn)介 |
為什么學(xué)習(xí)Linux，如何學(xué)習(xí)Linux，Linux特點(diǎn)，機(jī)器人與Linux的關(guān)系。 |
2 |
|
2 |
體驗(yàn)機(jī)器人上Linux |
使用圖像采集卡或HDMI連接屏幕，連接外設(shè)，WIFI連接，介紹桌面功能。 |
2 |
|
3 |
體驗(yàn)Linux遠(yuǎn)程連接與終端 |
遠(yuǎn)程軟件準(zhǔn)備，配置電腦網(wǎng)絡(luò)，終端初始體驗(yàn)，軟件安裝與卸載。 |
2 |
|
4 |
了解Linux命令行 |
打開(kāi)終端，命令提示符，命令行體驗(yàn)，命令格式與幫助，常用命令。 |
2 |
|
5 |
用戶與文件 |
了解用戶與用戶組，文件系統(tǒng)，chmod命令，操作Linux文件目錄。 |
2 |
|
6 |
Linux系統(tǒng)下的機(jī)器人程序 |
通過(guò)Git管理程序，程序編譯。 |
2 |
|
7 |
Vscode便捷調(diào)試開(kāi)發(fā) |
Vscode下載與配置使用，查詢機(jī)器人IP地址，vscode遠(yuǎn)程連接機(jī)器人。 |
2 |
|
8 |
Makefile簡(jiǎn)介 |
了解編譯工具，介紹MakeFile，使用MakeFile編譯多個(gè)文件。 |
2 |
|
9 |
網(wǎng)絡(luò)通信 |
了解網(wǎng)絡(luò)通信在機(jī)器人軟件中的應(yīng)用，安裝網(wǎng)絡(luò)調(diào)試助手，了解Linux系統(tǒng)中的UDP通信，TCP通信，通過(guò)socket實(shí)現(xiàn)網(wǎng)絡(luò)通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在機(jī)器人系統(tǒng)中的應(yīng)用，安裝串口調(diào)試助手，了解Linux系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
嵌入式單片機(jī)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
嵌入式ARM系統(tǒng) |
講解MCU、ARM處理器的概念，熟悉實(shí)驗(yàn)箱嵌入式系統(tǒng)架構(gòu)，講解嵌入式系統(tǒng)在機(jī)器人中的核心應(yīng)用框架，使用Keil模板建立嵌入式開(kāi)發(fā)工程。 |
2 |
|
2 |
點(diǎn)亮LED實(shí)驗(yàn) |
基于嵌入式實(shí)驗(yàn)箱的單片機(jī)芯片，學(xué)習(xí)如何操作GPIO，使用寄存器、庫(kù)函數(shù)點(diǎn)亮LED。 |
2 |
|
3 |
ADC模數(shù)轉(zhuǎn)換實(shí)驗(yàn) |
了解模數(shù)轉(zhuǎn)換數(shù)據(jù)采集的原理，基于傳感器接口板，學(xué)習(xí)如何配置引腳的GPIO為模擬輸入，獲取模擬量傳感器的數(shù)據(jù)信息。 |
2 |
|
4 |
定時(shí)器中斷實(shí)驗(yàn) |
學(xué)習(xí)嵌入式單片機(jī)定時(shí)器原理，學(xué)習(xí)如何實(shí)現(xiàn)定時(shí)器中斷。基于定時(shí)器終端按照不同頻率實(shí)現(xiàn)LED燈循環(huán)閃爍。 |
2 |
|
5 |
按鍵響應(yīng) |
學(xué)習(xí)嵌入式單片機(jī)如何監(jiān)控按鍵輸入，基于初級(jí)狀態(tài)機(jī)實(shí)現(xiàn)消除抖動(dòng)，實(shí)現(xiàn)單片機(jī)監(jiān)控按鍵長(zhǎng)按、雙擊等高級(jí)按鍵功能。 |
2 |
|
6 |
狀態(tài)機(jī)綜合實(shí)驗(yàn) |
基于LED、按鍵、定時(shí)器寫(xiě)一個(gè)綜合的狀態(tài)機(jī)實(shí)驗(yàn)、讓4個(gè)LED按順時(shí)針或逆時(shí)針的方向“跑”，實(shí)現(xiàn)按鍵控制跑馬燈的速度和方向，強(qiáng)化對(duì)于狀態(tài)機(jī)的理解。 |
2 |
|
7 |
串口通信實(shí)驗(yàn) |
了解串口通信的原理，串口的硬件通信連接與接口定義，學(xué)習(xí)如何基于嵌入式單片機(jī)進(jìn)行串口通信，串口收發(fā)數(shù)據(jù)，基于串口調(diào)試并控制總線式數(shù)字舵機(jī)，控制舵機(jī)轉(zhuǎn)動(dòng)。通過(guò)串口獲取總線式傳感器數(shù)據(jù)。 |
2 |
|
8 |
SPI通信實(shí)驗(yàn) |
學(xué)習(xí)SPI原理，SPI硬件通信連接與接口定義，實(shí)現(xiàn)嵌入式單片機(jī)通過(guò)SPI通信的方式控制TFT屏幕顯示不同的內(nèi)容。 |
2 |
|
9 |
IIC通信實(shí)驗(yàn) |
學(xué)習(xí)IIC原理，IIC硬件通信連接與接口定義，實(shí)現(xiàn)嵌入式單片機(jī)通過(guò)IIC通信的方式獲取溫度傳感器信息。 |
2 |
|
10 |
通信綜合實(shí)驗(yàn) |
綜合通信實(shí)驗(yàn)，在SPI通信的液晶屏幕上顯示串口總線式傳感器數(shù)據(jù)與IIC讀取的溫度傳感器信息。 |
2 |
|
電機(jī)與控制（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
嵌入式ARM系統(tǒng) |
講解MCU、ARM處理器的概念，熟悉實(shí)驗(yàn)平臺(tái)的嵌入式系統(tǒng)架構(gòu)，講解嵌入式系統(tǒng)在機(jī)器人中的核心應(yīng)用框架，使用Keil建立嵌入式開(kāi)發(fā)工程模板。 |
2 |
|
2 |
定時(shí)器中斷實(shí)驗(yàn) |
學(xué)習(xí)嵌入式單片機(jī)定時(shí)器原理，學(xué)習(xí)如何實(shí)現(xiàn)定時(shí)器中斷。 |
2 |
|
3 |
串口通信實(shí)驗(yàn) |
了解串口通信的原理，串口硬件通信連接與接口定義，學(xué)習(xí)如何基于嵌入式單片機(jī)進(jìn)行串口通信，串口收發(fā)數(shù)據(jù)。通過(guò)串口獲取總線式傳感器數(shù)據(jù)。 |
2 |
|
4 |
舵機(jī)控制實(shí)驗(yàn) |
了解總線式數(shù)字舵機(jī)的原理，通過(guò)串口控制總線式數(shù)字舵機(jī)轉(zhuǎn)動(dòng)。 |
2 |
|
5 |
有刷直流電機(jī) |
學(xué)習(xí)有刷直流電機(jī)運(yùn)行原理與應(yīng)用場(chǎng)景，基于嵌入式單片機(jī)芯片驅(qū)動(dòng)電機(jī)。 |
2 |
|
6 |
有刷直流電機(jī)測(cè)速法 |
通過(guò)讀取電機(jī)編碼器數(shù)據(jù)，學(xué)習(xí)M測(cè)速法、T測(cè)速法、M/T測(cè)速法的使用，對(duì)比測(cè)速波形，分析不同測(cè)速法的應(yīng)用場(chǎng)景。 |
2 |
|
7 |
電機(jī)速度控制實(shí)驗(yàn) |
基于嵌入式單片機(jī)芯片驅(qū)動(dòng)電機(jī)讀取編碼器數(shù)據(jù)，測(cè)量電機(jī)轉(zhuǎn)速并根據(jù)反饋進(jìn)行速度控制。 |
2 |
|
8 |
差分運(yùn) |
了解差分運(yùn)動(dòng)模型，基于差分運(yùn)動(dòng)模型實(shí)現(xiàn)移動(dòng)底盤(pán)的運(yùn)動(dòng)控制。 |
2 |
|
9 |
全向運(yùn) |
了解全向運(yùn)動(dòng)模型，基于全向運(yùn)動(dòng)模型實(shí)現(xiàn)移動(dòng)底盤(pán)的運(yùn)動(dòng)控制。 |
2 |
|
10 |
避障小車實(shí)現(xiàn) |
在四輪機(jī)器人身側(cè)部署搭建超聲傳感器，實(shí)現(xiàn)基于超聲傳感器的障礙感知與避障。 |
2 |
|
機(jī)器人編程（C++）（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
機(jī)器人中的C++ |
了解機(jī)器人中的C++應(yīng)用，了解為什么C++是機(jī)器人很重要的開(kāi)發(fā)語(yǔ)言。 |
2 |
|
2 |
C++編譯原理 |
編譯器，編譯過(guò)程，CMake語(yǔ)法，使用IDE配置C++編譯工程。 |
2 |
|
3 |
C++的數(shù)據(jù)結(jié)構(gòu) |
在機(jī)器人的處理器中，開(kāi)發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
4 |
C++的運(yùn)算符 |
在機(jī)器人的處理器中，開(kāi)發(fā)C++應(yīng)用程序，學(xué)習(xí)C++中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
5 |
C++的控制結(jié)構(gòu) |
在機(jī)器人的處理器中，開(kāi)發(fā)C++應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
6 |
C++的函數(shù)與指針 |
在機(jī)器人的處理器中，開(kāi)發(fā)C++應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
7 |
C++的面向?qū)ο缶幊?span style="display:none">eGh北京博創(chuàng)尚和科技有限公司 |
在機(jī)器人處理器中，開(kāi)發(fā)C++應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">eGh北京博創(chuàng)尚和科技有限公司 |
2 |
|
8 |
常用機(jī)器人C++庫(kù) |
C++中機(jī)器人開(kāi)發(fā)常用的標(biāo)準(zhǔn)庫(kù)，關(guān)聯(lián)容器等知識(shí)。 |
2 |
|
9 |
C++進(jìn)程管理 |
了解進(jìn)程的概念，基于C++開(kāi)發(fā)機(jī)器人程序進(jìn)程。 |
2 |
|
10 |
C++線程管理 |
了解線程的概念，基于C++開(kāi)發(fā)機(jī)器人程序多線程。 |
2 |
|
機(jī)器人編程（Python）（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
Python簡(jiǎn)介 |
了解機(jī)器人中的Python應(yīng)用，了解為什么Python是機(jī)器人很重要的開(kāi)發(fā)語(yǔ)言，使用vscode配置Python開(kāi)發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運(yùn)算符 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運(yùn)算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">eGh北京博創(chuàng)尚和科技有限公司 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">eGh北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
常用機(jī)器人Python庫(kù) |
Python中機(jī)器人開(kāi)發(fā)常用的標(biāo)準(zhǔn)庫(kù)，如Numpy，MatPlotlib等知識(shí)，在機(jī)器人的嵌入式AI處理器中進(jìn)行庫(kù)的使用。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫(kù)pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機(jī)進(jìn)行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫(xiě)UI程序，查詢機(jī)器人處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在機(jī)器人系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開(kāi)發(fā)工具Jupyter |
了解Jupyter開(kāi)發(fā)工具，在機(jī)器人系統(tǒng)中安裝Jupyter并進(jìn)行交互式Python開(kāi)發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
OpenCV簡(jiǎn)介 |
了解機(jī)器視覺(jué)與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫(kù)OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開(kāi)并配置相機(jī)，進(jìn)行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，生成圖像，并對(duì)圖像進(jìn)行操作。 |
2 |
|
4 |
圖像濾波 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，實(shí)現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的點(diǎn)特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在機(jī)器人的處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的像素計(jì)算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運(yùn)算 |
在機(jī)器人的嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行對(duì)圖像的腐蝕膨脹與開(kāi)閉運(yùn)算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在機(jī)器人的嵌入式AI處理器中基于圖像像素顏色閾值進(jìn)行分割。 |
2 |
|
機(jī)器人操作系統(tǒng)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
機(jī)器人操作系統(tǒng)入門(mén) |
了解什么是ROS機(jī)器人操作系統(tǒng)，ROS的系統(tǒng)組成，ROS的運(yùn)行原理，配置在個(gè)人PC上安裝虛擬機(jī)，在虛擬機(jī)安裝ROS操作系統(tǒng)，啟動(dòng)小烏龜，建立一個(gè)工作空間，創(chuàng)建一個(gè)功能包，實(shí)現(xiàn)一個(gè)ROS節(jié)點(diǎn)。 |
2 |
|
2 |
主題與消息 |
了解ROS的主題與消息機(jī)制，基于C++和Python實(shí)現(xiàn)主題與消息，實(shí)現(xiàn)自定義主題與消息。 |
2 |
|
3 |
服務(wù)Service |
了解ROS的服務(wù)機(jī)制，基于C++和Python實(shí)現(xiàn)服務(wù)的服務(wù)端與客戶端，實(shí)現(xiàn)自定義服務(wù)。 |
2 |
|
4 |
參數(shù)與動(dòng)態(tài)參數(shù) |
了解ROS的參數(shù)機(jī)制，基于C++和Python實(shí)現(xiàn)參數(shù)的增、刪、改、查。了解ROS中的高級(jí)功能-動(dòng)態(tài)參數(shù)原理和運(yùn)行機(jī)制，實(shí)現(xiàn)使用動(dòng)態(tài)參數(shù)調(diào)節(jié)小烏龜運(yùn)動(dòng)速度。 |
2 |
|
5 |
動(dòng)作Action |
了解ROS的動(dòng)作機(jī)制，基于C++和Python實(shí)現(xiàn)動(dòng)作的服務(wù)端與客戶端，實(shí)現(xiàn)自定義Action。 |
2 |
|
6 |
ROS中的調(diào)試與仿真工具 |
了解ROS工具箱中的RViz工具與rqt工具，了解ROS的日志系統(tǒng)，掌握調(diào)試ROS程序的方法。在虛擬機(jī)中安裝配置Gazebo仿真系統(tǒng)，在仿真中運(yùn)行UPROS機(jī)器人模型。在仿真中運(yùn)行機(jī)器人定位導(dǎo)航，體會(huì)ROS的功能。 |
2 |
|
7 |
機(jī)器人坐標(biāo)與TF變換 |
理解機(jī)器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會(huì)使用TF包，編寫(xiě)TF發(fā)布與接收程序。 |
2 |
|
8 |
機(jī)器人運(yùn)動(dòng)控制與輪式里程計(jì) |
了解機(jī)器人雙腦架構(gòu)，了解機(jī)器人運(yùn)動(dòng)模型，在機(jī)器人中編寫(xiě)節(jié)點(diǎn)，控制機(jī)器人底盤(pán)運(yùn)動(dòng)，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
9 |
ROS與機(jī)器人定位導(dǎo)航 |
體驗(yàn)機(jī)器人的定位導(dǎo)航功能，了解SLAM與路徑規(guī)劃技術(shù)，編寫(xiě)一個(gè)節(jié)點(diǎn)，發(fā)布目標(biāo)點(diǎn)控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
10 |
ROS與機(jī)器視覺(jué) |
體驗(yàn)ROS系統(tǒng)中的機(jī)器視覺(jué)功能，編寫(xiě)程序訂閱攝像頭的信息，并控制機(jī)器人進(jìn)行決策。 |
2 |
|
機(jī)器人感知傳感（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
碰撞傳感器 |
了解接觸式碰撞傳感器的工作原理，讀取碰撞傳感器的數(shù)據(jù)，學(xué)習(xí)并開(kāi)發(fā)碰撞傳感器ROS通訊接口，根據(jù)碰撞傳感器實(shí)現(xiàn)障礙感知。 |
2 |
|
2 |
超聲/TOF傳感器 |
了解超聲/TOF傳感器的工作原理，讀取超聲/TOF傳感器數(shù)據(jù)，學(xué)習(xí)并開(kāi)發(fā)超聲/TOF傳感器通訊接口，根據(jù)傳感器消息實(shí)現(xiàn)避障。 |
2 |
|
3 |
慣性測(cè)量單元傳感器 |
學(xué)習(xí)慣性測(cè)量單元（IMU）的原理，通過(guò)IMU讀取機(jī)器人當(dāng)前的姿態(tài)，角速度，加速度，根據(jù)IMU數(shù)據(jù)控制機(jī)器人姿態(tài)。 |
2 |
|
4 |
激光雷達(dá)傳感器 |
學(xué)習(xí)激光雷達(dá)的工作原理，對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行濾波處理， 根據(jù)激光雷達(dá)數(shù)據(jù)進(jìn)行避障。 |
2 |
|
5 |
視覺(jué)傳感器 |
學(xué)習(xí)相機(jī)的工作原理，獲取視覺(jué)信息并根據(jù)視覺(jué)信息控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
6 |
深度視覺(jué)傳感器 |
學(xué)習(xí)深度相機(jī)的工作原理，處理深度圖像與深度點(diǎn)云，對(duì)環(huán)境進(jìn)行三維感知。 |
2 |
|
7 |
機(jī)器人輪式里程計(jì) |
了解編碼器的概念，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
8 |
多傳感器融合-EKF里程計(jì)算 |
融合輪式里程計(jì)與IMU的信息，進(jìn)行里程計(jì)的融合計(jì)算。 |
2 |
|
9 |
多傳感器融合-激光SLAM |
融合輪式里程計(jì)與IMU信息，了解三者信息如何融合，利用激光SLAM技術(shù)感知機(jī)器人周圍環(huán)境。 |
2 |
|
10 |
多傳感器融合-協(xié)同避障 |
融合激光雷達(dá)與深度相機(jī)信息，激光雷達(dá)進(jìn)行大范圍障礙感知，深度相機(jī)進(jìn)行眼前補(bǔ)盲，學(xué)習(xí)不同類型傳感器在障礙感知的作用。 |
2 |
|
機(jī)器視覺(jué)與AI（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
視覺(jué)傳感器 |
學(xué)習(xí)相機(jī)的工作原理，獲取視覺(jué)信息并根據(jù)視覺(jué)信息控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
2 |
AprilTag識(shí)別 |
學(xué)習(xí)如何基于ROS圖像提取AprilTag，輔助機(jī)器人進(jìn)行視覺(jué)定位。 |
2 |
|
3 |
顏色識(shí)別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，進(jìn)行顏色識(shí)別，并根據(jù)顏色進(jìn)行交通燈識(shí)別與運(yùn)動(dòng)。 |
2 |
|
4 |
形狀識(shí)別 |
學(xué)習(xí)如何基于ROS圖像提取顏色，并根據(jù)顏色獲取出的形狀特征使用霍夫變換的方法提取特定的形狀，對(duì)形狀進(jìn)行跟隨。 |
2 |
|
5 |
視覺(jué)巡線功能 |
學(xué)習(xí)提取視野中的線條，并實(shí)現(xiàn)基于視覺(jué)的巡線功能。 |
2 |
|
6 |
人臉識(shí)別 |
學(xué)習(xí)如何基于ROS識(shí)別人臉，提取人臉特征，采集人臉信息，訓(xùn)練模型識(shí)別人臉。 |
2 |
|
7 |
表情識(shí)別 |
學(xué)習(xí)如何定位出人臉的多個(gè)特征點(diǎn)，并依據(jù)人臉特征，采用機(jī)器學(xué)習(xí)的方法識(shí)別表情，并作出對(duì)應(yīng)動(dòng)作。 |
2 |
|
8 |
手勢(shì)識(shí)別與交互 |
學(xué)習(xí)MediaPipe框架，如何基于該框架識(shí)別手勢(shì)控制機(jī)器人。 |
2 |
|
9 |
深度學(xué)習(xí)目標(biāo)檢測(cè) |
了解深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)如何基于機(jī)器人的嵌入式AI芯片進(jìn)行目標(biāo)檢測(cè)。 |
2 |
|
10 |
視覺(jué)傳感器位姿估計(jì) |
了解視覺(jué)SLAM的方法，學(xué)習(xí)如何基于視覺(jué)傳感器估計(jì)機(jī)器人的移動(dòng)。 |
2 |
|
機(jī)器人學(xué)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
機(jī)械臂關(guān)節(jié)控制 |
了解智能機(jī)械臂的工作原理，基于ROS接口驅(qū)動(dòng)機(jī)械臂關(guān)節(jié)運(yùn)動(dòng)，基于ROS接口驅(qū)動(dòng)機(jī)械臂夾爪開(kāi)合。 |
2 |
|
2 |
機(jī)械臂關(guān)節(jié)校準(zhǔn) |
了解機(jī)械臂產(chǎn)生零偏誤差的原理，標(biāo)記機(jī)械臂關(guān)節(jié)零篇誤差，實(shí)現(xiàn)機(jī)械臂關(guān)節(jié)校準(zhǔn)功能。 |
2 |
|
3 |
機(jī)械臂正逆運(yùn)動(dòng)學(xué)解析 |
了解五自由度機(jī)械臂正逆運(yùn)動(dòng)學(xué)分析解算，測(cè)量機(jī)械臂各個(gè)關(guān)節(jié)，控制各個(gè)關(guān)節(jié)的角度，計(jì)算不同角度下機(jī)械臂末端的期望位置，并對(duì)實(shí)際位置進(jìn)行測(cè)量計(jì)算誤差，對(duì)機(jī)械臂進(jìn)行逆運(yùn)算計(jì)算。 |
2 |
|
4 |
機(jī)械臂YZ平面逆運(yùn)算控制 |
根據(jù)末端位置進(jìn)行YZ平面逆運(yùn)算計(jì)算，并控制機(jī)械臂到達(dá)指定末端，與理論值對(duì)比思考誤差產(chǎn)生的原因。 |
2 |
|
5 |
根據(jù)TOF傳感器控制機(jī)械臂抓取 |
根據(jù)機(jī)械臂前方TOF傳感器信息獲取待抓取物塊距離，根據(jù)逆運(yùn)動(dòng)學(xué)計(jì)算出各個(gè)關(guān)節(jié)角度，完成抓取與放置，調(diào)整參數(shù)增加成功率。 |
2 |
|
6 |
機(jī)械臂XYZ立體逆運(yùn)算控制 |
根據(jù)末端位置進(jìn)行XYZ立體環(huán)境的逆運(yùn)算計(jì)算，并控制機(jī)械臂到達(dá)指定末端，與理論值對(duì)比思考誤差產(chǎn)生的原因。 |
2 |
|
7 |
視覺(jué)感知抓取 |
根據(jù)機(jī)械臂前方的深度視覺(jué)傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對(duì)位置，根據(jù)逆運(yùn)動(dòng)學(xué)計(jì)算出各個(gè)關(guān)節(jié)角度，完成抓取與放置。 |
2 |
|
8 |
連續(xù)感知分揀 |
根據(jù)機(jī)械臂前方的深度視覺(jué)傳感器依據(jù)物塊上的Tag信息獲取待抓取物塊的絕對(duì)位置，根據(jù)逆運(yùn)動(dòng)學(xué)計(jì)算出各個(gè)關(guān)節(jié)角度，完成連續(xù)分揀。 |
2 |
|
9 |
Moveit!配置 |
初步了解強(qiáng)大的ROS的機(jī)械臂功能包Moveit!，于Moveit!配置機(jī)械臂運(yùn)動(dòng)規(guī)劃。 |
2 |
|
10 |
Moveit!編程 |
編寫(xiě)代碼，實(shí)現(xiàn)指定關(guān)節(jié)、指定末端位置、指定動(dòng)作組的運(yùn)動(dòng)規(guī)劃與執(zhí)行。 |
2 |
|
機(jī)器人定位導(dǎo)航（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
坐標(biāo)系與坐標(biāo)變換 |
理解機(jī)器人坐標(biāo)系原理，熟悉TF變換工具，學(xué)會(huì)使用TF包，編寫(xiě)TF發(fā)布與接收程序。 |
2 |
|
2 |
機(jī)器人輪式里程計(jì) |
了解編碼器的概念，學(xué)習(xí)輪式里程計(jì)數(shù)據(jù)協(xié)議，基于輪式里程計(jì)控制機(jī)器人運(yùn)動(dòng)。 |
2 |
|
3 |
激光雷達(dá) |
學(xué)習(xí)激光雷達(dá)的工作原理，對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行濾波處理， 根據(jù)激光雷達(dá)數(shù)據(jù)進(jìn)行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解強(qiáng)大的ROS定位導(dǎo)航功能包MoveBase，基于MoveBase配置機(jī)器人定位導(dǎo)航與路徑規(guī)劃系統(tǒng)。 |
2 |
|
5 |
MoveBase編程開(kāi)發(fā) |
了解MoveBase的通信接口，控制機(jī)器人移動(dòng)到指定位置，實(shí)現(xiàn)通過(guò)MoveBase接口編程開(kāi)發(fā)。 |
2 |
|
6 |
柵格地圖 |
了解機(jī)器人SLAM系統(tǒng)的原理，學(xué)習(xí)概率柵格地圖，了解如何發(fā)布和構(gòu)建概率柵格地圖 |
2 |
|
7 |
激光雷達(dá)地圖拼接 |
驅(qū)動(dòng)激光雷達(dá)，基于激光雷達(dá)傳感器與里程計(jì)拼接出概 率柵格地圖。 |
2 |
|
8 |
地圖構(gòu)建與定位 |
使用Gmapping建立和保存地圖； |
2 |
|
9 |
路徑規(guī)劃系統(tǒng)實(shí)驗(yàn) |
了解機(jī)器人代價(jià)地圖與路徑規(guī)劃系統(tǒng)原理，配置代價(jià)地圖， 全局規(guī)劃和局部規(guī)劃器，實(shí)現(xiàn)簡(jiǎn)單的A*全局路徑規(guī)劃算法和DWA局部路徑規(guī)劃算法。編寫(xiě)一個(gè)簡(jiǎn)單的規(guī)劃與控制器CoreMove，更深入的體會(huì)MoveBase的運(yùn)行邏輯。 |
2 |
|
10 |
MoveBase插件機(jī)制學(xué)習(xí)與開(kāi)發(fā) |
了解MoveBase的插件機(jī)制，學(xué)習(xí)基于插件實(shí)現(xiàn)禁區(qū)虛擬墻、TEB 規(guī)劃器、脫困恢復(fù)行為的功能。 |
2 |
|
機(jī)器人建模與仿真（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
Gazebo環(huán)境搭建與基礎(chǔ)操作 |
了解Gazebo的基本配置，Gazebo界面介紹與基本操作，建立Gazebo模型。 |
2 |
|
2 |
機(jī)器人建模 |
了解Urdf與Xacro語(yǔ)法，了解機(jī)器人的連桿與關(guān)節(jié)，搭建機(jī)器人模型，配置機(jī)器人模型參數(shù)。 |
2 |
|
3 |
激光雷達(dá)模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加激光雷達(dá)，并配置傳感器的參數(shù)和位置。 |
2 |
|
4 |
IMU模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加IMU，并配置傳感器的參數(shù)和位置。 |
2 |
|
5 |
視覺(jué)傳感器模型添加與參數(shù)配置 |
學(xué)習(xí)在機(jī)器人模型上，添加視覺(jué)傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
6 |
超聲傳感器 |
學(xué)習(xí)在機(jī)器人模型上，添加超聲傳感器，并配置傳感器的參數(shù)和位置。 |
2 |
|
7 |
機(jī)器人運(yùn)動(dòng)控制 |
ROS通過(guò)Gazebo插件控制仿真場(chǎng)景中的機(jī)器人運(yùn)動(dòng)，編寫(xiě)機(jī)械臂驅(qū)動(dòng)，在Gazebo中控制機(jī)械臂。 |
2 |
|
8 |
自定義機(jī)器人運(yùn)動(dòng)插件編寫(xiě) |
編寫(xiě)全向移動(dòng)插件，在Gazebo中實(shí)現(xiàn)全向移動(dòng)機(jī)器人。 |
2 |
|
9 |
自定義模型開(kāi)發(fā) |
利用Gazebo的地形編輯工具和模型庫(kù)，創(chuàng)建一個(gè)復(fù)雜的仿真環(huán)境，在場(chǎng)景中部署指定紋理。 |
2 |
|
10 |
仿真中的定位導(dǎo)航機(jī)器人 |
在自定義場(chǎng)景中加載自行搭建配置的機(jī)器人，部署在仿真場(chǎng)景中移動(dòng)并完成任務(wù)。 |
2 |
|
機(jī)器人自然對(duì)話與大模型交互（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析當(dāng)前機(jī)器人接入大模型的應(yīng)用場(chǎng)景，剖析機(jī)器人接入大模型的技術(shù)路線和技能方法，了解如何通過(guò)ROS系統(tǒng)為機(jī)器人接入大模型，學(xué)會(huì)使用機(jī)器人開(kāi)發(fā)。 |
2 |
|
2 |
機(jī)器人硬件驅(qū)動(dòng) |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)，可控制機(jī)器人移動(dòng)，控制機(jī)械臂運(yùn)動(dòng)。 |
2 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
2 |
|
4 |
機(jī)器人定位導(dǎo)航 |
調(diào)用機(jī)器人搭載的MoveBase框架，可編寫(xiě)節(jié)點(diǎn)發(fā)布Action實(shí)現(xiàn)機(jī)器人自主定位導(dǎo)航。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機(jī)器人上麥克風(fēng)信息，使得麥克風(fēng)接入ROS系統(tǒng)，可實(shí)現(xiàn)語(yǔ)音獲取。 |
2 |
|
6 |
語(yǔ)音轉(zhuǎn)文字 |
基于離線AI模型，實(shí)現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語(yǔ)音 |
基于離線AI模型，實(shí)現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語(yǔ)音信息并通過(guò)揚(yáng)聲器播放。 |
2 |
|
8 |
大模型問(wèn)答 |
注冊(cè)大模型AI工具，編寫(xiě)程序通過(guò)大模型API，調(diào)用Json實(shí)現(xiàn)智能問(wèn)答。 |
2 |
|
9 |
語(yǔ)義理解 |
分析語(yǔ)音識(shí)別的文字，并提取其中的意圖和序列，實(shí)現(xiàn)語(yǔ)音控制機(jī)器人。 |
2 |
|
10 |
大模型機(jī)器人集成 |
串聯(lián)上述知識(shí)點(diǎn)，編寫(xiě)接口程序，實(shí)現(xiàn)可語(yǔ)音控制并語(yǔ)音交互的大模型接入機(jī)器人。 |
2 |
|
服務(wù)機(jī)器人綜合實(shí)踐-家用場(chǎng)景（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析當(dāng)前家用機(jī)器人場(chǎng)景，以掃地機(jī)器人為案例，剖析家用機(jī)器人的的技術(shù)路線和技能方法，了解ROS在家用機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會(huì)使用機(jī)器人開(kāi)發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動(dòng) |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)，可控制機(jī)器人移動(dòng)，控制機(jī)械臂運(yùn)動(dòng)。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫(xiě)節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺(jué)系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識(shí)別 |
在ROS環(huán)境下，使用攝像頭識(shí)別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置。 |
4 |
|
8 |
全覆蓋路徑生成 |
了解掃地機(jī)器人最常用的全覆蓋路徑規(guī)劃技術(shù)，實(shí)現(xiàn)生成若干點(diǎn)位覆蓋目標(biāo)清潔區(qū)域。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)識(shí)別一個(gè)目標(biāo)，自主導(dǎo)航到指定區(qū)域，并執(zhí)行全覆蓋路徑規(guī)劃。 |
4 |
|
10 |
多片路徑清掃 |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多片清潔區(qū)域的串聯(lián)，優(yōu)化路徑長(zhǎng)度，在完成清掃任務(wù)同時(shí)，效率最高。 |
4 |
|
服務(wù)機(jī)器人綜合實(shí)踐-商用場(chǎng)景（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析當(dāng)前商用機(jī)器人場(chǎng)景，以配送機(jī)器人為案例，剖析視覺(jué)移動(dòng)抓取機(jī)器人的的技術(shù)路線和技能方法，了解ROS在商用機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會(huì)使用機(jī)器人開(kāi)發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動(dòng) |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)，可控制機(jī)器人移動(dòng)，控制機(jī)械臂運(yùn)動(dòng)。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫(xiě)節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺(jué)系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識(shí)別 |
在ROS環(huán)境下，使用攝像頭識(shí)別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺(jué)抓取調(diào)試 |
機(jī)器人通過(guò)AprilTag確定待抓取物體與機(jī)器人的位置關(guān)系，控制機(jī)械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)導(dǎo)航到一個(gè)目標(biāo)點(diǎn)，抓取待識(shí)別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多個(gè)物體的聯(lián)合抓取與投放，優(yōu)化路徑長(zhǎng)度，在完成抓取投放任務(wù)同時(shí)，效率最高。 |
4 |
|
服務(wù)機(jī)器人綜合實(shí)踐-工業(yè)場(chǎng)景（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析當(dāng)前工業(yè)用移動(dòng)機(jī)器人場(chǎng)景，以復(fù)合AMR機(jī)器人為案例，剖析視覺(jué)移動(dòng)抓取機(jī)器人的的技術(shù)路線和技能方法，了解ROS在工業(yè)機(jī)器人領(lǐng)域的應(yīng)用，學(xué)會(huì)使用機(jī)器人開(kāi)發(fā)。 |
4 |
|
2 |
機(jī)器人硬件驅(qū)動(dòng) |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)，可控制機(jī)器人移動(dòng)，控制機(jī)械臂運(yùn)動(dòng)。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
使用Gmapping建立和保存地圖； |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫(xiě)節(jié)點(diǎn)發(fā)布Action，機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
視覺(jué)系統(tǒng)調(diào)試 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人攝像頭信息，保存并處理圖像，在圖像上繪制標(biāo)注信息。 |
4 |
|
7 |
AprilTag識(shí)別 |
在ROS環(huán)境下，使用攝像頭識(shí)別AprilTag，并根據(jù)AprilTag獲取的信息控制機(jī)器人導(dǎo)航到不同位置。 |
4 |
|
8 |
視覺(jué)抓取調(diào)試 |
機(jī)器人通過(guò)AprilTag確定待抓取物體與機(jī)器人的位置關(guān)系，控制機(jī)械臂完成抓取與放置。 |
4 |
|
9 |
業(yè)務(wù)邏輯串聯(lián) |
串聯(lián)前面的各項(xiàng)技術(shù)，實(shí)現(xiàn)導(dǎo)航到一個(gè)目標(biāo)點(diǎn)，抓取待識(shí)別物體，并放置到指定位置。 |
4 |
|
10 |
連續(xù)任務(wù)串聯(lián) |
在單流程基礎(chǔ)上，實(shí)現(xiàn)多個(gè)物體的聯(lián)合抓取與投放，優(yōu)化路徑長(zhǎng)度，在完成抓取投放任務(wù)同時(shí)，效率最高。 |
4 |
|
智能機(jī)器人建模仿真綜合實(shí)踐（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析仿真環(huán)節(jié)在機(jī)器人軟件與算法開(kāi)發(fā)、驗(yàn)證過(guò)程中的重大作用，學(xué)習(xí)ROS與仿真場(chǎng)景的結(jié)合，通過(guò)一個(gè)路徑規(guī)劃算法的實(shí)踐案例，了解仿真算法聯(lián)合開(kāi)發(fā)流程。 |
4 |
|
2 |
機(jī)器人仿真啟動(dòng) |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)驅(qū)動(dòng)仿真場(chǎng)景中的機(jī)器人運(yùn)動(dòng)，可控制機(jī)器人移動(dòng)，控制機(jī)械臂關(guān)節(jié)運(yùn)動(dòng)，理解ROS的硬件驅(qū)動(dòng)抽象。 |
4 |
|
3 |
機(jī)器人傳感器獲取 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取仿真場(chǎng)景中機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息。 |
4 |
|
4 |
機(jī)器人建圖與定位 |
在仿真場(chǎng)景中使用Gmapping建立和保存地圖，使用AMCL在保存的地圖上連續(xù)定位，使用坐標(biāo)變換獲取在地圖上的位置。 |
4 |
|
5 |
機(jī)器人導(dǎo)航 |
編寫(xiě)節(jié)點(diǎn)發(fā)布Action，在仿真場(chǎng)景中機(jī)器人可在地圖上標(biāo)定點(diǎn)進(jìn)行連續(xù)導(dǎo)航。 |
4 |
|
6 |
算法驗(yàn)證軟件使用 |
了解算法驗(yàn)證軟件的使用方法，了解算法驗(yàn)證軟件如何通過(guò)算法判斷路徑規(guī)劃軌跡的質(zhì)量，了解算法驗(yàn)證軟件如何支撐算法驗(yàn)證。 |
4 |
|
7 |
仿真接口開(kāi)發(fā) |
在仿真系統(tǒng)中，根據(jù)仿真接口和算法驗(yàn)證軟件接口開(kāi)發(fā)程序，使得算法可接入驗(yàn)證系統(tǒng)。 |
4 |
|
8 |
開(kāi)發(fā)柵格法路徑規(guī)劃 |
通過(guò)柵格法，開(kāi)發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過(guò)算法驗(yàn)證系統(tǒng)計(jì)算得分。 |
4 |
|
9 |
開(kāi)發(fā)深度優(yōu)先搜索路徑規(guī)劃 |
通過(guò)路徑優(yōu)先搜索法，開(kāi)發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過(guò)算法驗(yàn)證系統(tǒng)計(jì)算得分。 |
4 |
|
10 |
掃描線法路徑規(guī)劃 |
通過(guò)掃描線法，開(kāi)發(fā)算法遍歷路徑，在仿真環(huán)境中運(yùn)行，并通過(guò)算法驗(yàn)證系統(tǒng)計(jì)算得分，思考幾種算法得分不同的原因，并思考優(yōu)化方法在驗(yàn)證系統(tǒng)中驗(yàn)證。 |
4 |
|
具身智能綜合實(shí)踐（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析具身智能技術(shù)使用場(chǎng)景，當(dāng)前熱點(diǎn)方向，了解如何結(jié)合ROS機(jī)器人操作系統(tǒng)開(kāi)發(fā)具身智能應(yīng)用，具身智能的概念、發(fā)展歷程和應(yīng)用領(lǐng)域。 |
4 |
|
2 |
ROS基礎(chǔ)入門(mén) |
ROS 的核心概念：節(jié)點(diǎn)、話題、服務(wù)、參數(shù)服務(wù)器，編寫(xiě)簡(jiǎn)單的 ROS 節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)之間的消息通信。 |
4 |
|
3 |
機(jī)器人平臺(tái)介紹 |
機(jī)器人的機(jī)械結(jié)構(gòu)和模塊組成，機(jī)器人的傳感器和執(zhí)行器的工作原理，了解機(jī)器人的電氣連接和通信接口，學(xué)習(xí)如何基于機(jī)器人處理器平臺(tái)進(jìn)行開(kāi)發(fā)。 |
4 |
|
4 |
機(jī)器人感知與建模 |
在ROS環(huán)境下，開(kāi)發(fā)節(jié)點(diǎn)獲取機(jī)器人當(dāng)前的各傳感器通信接口，讀取各傳感器信息，建立和保存地圖，在保存的地圖上連續(xù)定位使用坐標(biāo)變換獲取在地圖上的位置。 |
4 |
|
5 |
機(jī)器人運(yùn)動(dòng)控制 |
編寫(xiě) ROS 節(jié)點(diǎn)，實(shí)現(xiàn)機(jī)器人的基本運(yùn)動(dòng)控制，如前進(jìn)、后退、轉(zhuǎn)彎，計(jì)簡(jiǎn)單的軌跡規(guī)劃算法，讓機(jī)器人按照指定的路徑運(yùn)動(dòng)。 |
4 |
|
6 |
機(jī)器視覺(jué)系統(tǒng) |
采集深度傳感器信息，獲取深度圖像和彩色圖像，采集圖像數(shù)據(jù)并保存在本地。 |
4 |
|
7 |
具身算法實(shí)踐-上 |
在 ROS 環(huán)境下，使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
8 |
具身算法實(shí)踐-下 |
在 ROS 環(huán)境下，使用強(qiáng)化學(xué)習(xí)算法訓(xùn)練機(jī)器人完成特定任務(wù)，如導(dǎo)航、抓取等。 |
4 |
|
9 |
項(xiàng)目實(shí)踐與小組討論-上 |
根據(jù)機(jī)器人平臺(tái)和 ROS 設(shè)計(jì)并實(shí)現(xiàn)一個(gè)具身智能項(xiàng)目，如自主探索、目標(biāo)識(shí)別與抓取等。 |
4 |
|
10 |
項(xiàng)目實(shí)踐與小組討論-下 |
根據(jù)機(jī)器人平臺(tái)和 ROS 設(shè)計(jì)并實(shí)現(xiàn)一個(gè)具身智能項(xiàng)目，如自主探索、目標(biāo)識(shí)別與抓取等。 |
4 |
|
智能機(jī)器人拆裝綜合實(shí)踐（40課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱 |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
智能機(jī)器人認(rèn)知 |
分析模塊化機(jī)器人的設(shè)計(jì)理念，了解安全規(guī)范，學(xué)習(xí)停止操作、電池管理、運(yùn)動(dòng)部件防護(hù)，了解調(diào)試工具。 |
4 |
|
2 |
硬件認(rèn)知 |
學(xué)習(xí)底盤(pán)、主處理器、主控板、傳感器模塊、電機(jī)驅(qū)動(dòng)、編碼器、超聲TOF傳感器、接口。 |
4 |
|
3 |
底盤(pán)配置安裝 |
差速、全向驅(qū)動(dòng)原理、齒輪箱傳動(dòng)比計(jì)算、電路連接規(guī)范、電源分配、安裝電機(jī)、編碼器、減震結(jié)構(gòu)，在底盤(pán)層安裝嵌入式控制器調(diào)試底盤(pán)運(yùn)動(dòng)。 |
4 |
|
4 |
底盤(pán)傳感器配置安裝 |
在底盤(pán)層組裝碰撞傳感器，并配置ID，接入到嵌入式控制器，測(cè)試激光雷達(dá)信息，并安裝在指定位置，激光雷達(dá)調(diào)平，安裝支撐機(jī)構(gòu)，記錄測(cè)量記錄激光雷達(dá)屏蔽角度。 |
4 |
|
5 |
機(jī)械臂配置安裝 |
裝配五自由度機(jī)械臂，機(jī)械爪，旋轉(zhuǎn)云臺(tái)，配置機(jī)械臂關(guān)節(jié)舵機(jī)ID，測(cè)試各關(guān)節(jié)運(yùn)動(dòng)性能。 |
4 |
|
6 |
核心層傳感器安裝配置 |
在核心層安裝并配置超聲TOF傳感器，設(shè)置ID，安裝并配置IMU，安裝并配置深度相機(jī)，安裝并測(cè)試語(yǔ)音模塊。 |
4 |
|
7 |
AI處理器安裝配置 |
機(jī)器人主處理器定義，使用特定軟件給AI處理器燒錄系統(tǒng)鏡像，連接各項(xiàng)接口，點(diǎn)亮處理器，進(jìn)入系統(tǒng)，可遠(yuǎn)程連接系統(tǒng)。 |
4 |
|
8 |
集成完成，測(cè)試各模塊 |
將底盤(pán)層與核心層組裝在一起，在AI處理器端測(cè)試各模塊工作正常。 |
4 |
|
9 |
軟件功能驗(yàn)證 |
在AI處理器端運(yùn)行各個(gè)軟件，測(cè)試定位導(dǎo)航，避障，視覺(jué)抓取等功能正常。 |
4 |
|
10 |
拆卸 |
將機(jī)器人恢復(fù)成模塊化狀態(tài)，并進(jìn)行收納管理。 |
4 |