“探智-VS”
配套的實(shí)驗(yàn)課程：《機(jī)器視覺(jué)與AI》、《機(jī)器視覺(jué)綜合實(shí)踐》、《人工智能綜合實(shí)踐》、《具身智能綜合實(shí)踐》、《語(yǔ)音大模型綜合實(shí)踐》。
對(duì)應(yīng)的競(jìng)賽：一個(gè)白名單大賽的2個(gè)項(xiàng)目，及一個(gè)機(jī)器人競(jìng)賽指數(shù)榜單大賽的2個(gè)項(xiàng)目。
“探智-VS”是一款面向人工智能專(zhuān)業(yè)及其他涉及Python編程、機(jī)器視覺(jué)、自然語(yǔ)言處理、人工智能、機(jī)械臂控制、人機(jī)自然交互等課程的工科專(zhuān)業(yè)的實(shí)驗(yàn)教學(xué)平臺(tái)。處理器搭載瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強(qiáng)大且均衡，視覺(jué)與語(yǔ)音識(shí)別模型均在本地進(jìn)行邊緣計(jì)算部署，符合人工智能技術(shù)在智能硬件產(chǎn)品上的應(yīng)用趨勢(shì)。配置桌面工業(yè)級(jí)機(jī)械臂、攝像頭、麥克風(fēng)、揚(yáng)聲器、觸摸交互顯示屏等模塊，將機(jī)械臂控制、機(jī)器視覺(jué)、人工智能、人機(jī)交互等技術(shù)結(jié)合起來(lái)，圍繞上述知識(shí)點(diǎn)，聚焦智能分揀應(yīng)用場(chǎng)景，設(shè)計(jì)了大量的實(shí)驗(yàn)，配套不同的調(diào)試與開(kāi)發(fā)軟件。算法高度封裝，支持一行Python代碼直接調(diào)用獲取推理結(jié)果，或通過(guò)Python編程讀取預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，也可以對(duì)神經(jīng)網(wǎng)絡(luò)模型與算法重新訓(xùn)練與優(yōu)化，滿(mǎn)足不同層次的教學(xué)需求。
配套的實(shí)驗(yàn)課程大綱如下：
|
Python智能硬件編程（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
Python簡(jiǎn)介 |
了解智能硬件中的Python應(yīng)用，了解為什么Python是機(jī)器人很重要的開(kāi)發(fā)語(yǔ)言，使用vscode配置Python開(kāi)發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類(lèi)型。 |
2 |
|
3 |
Python運(yùn)算符 |
在嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類(lèi)數(shù)字邏輯運(yùn)算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類(lèi)控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">SxU北京博創(chuàng)尚和科技有限公司 |
在嵌入式AI處理器中，開(kāi)發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">SxU北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
AI+硬件常用Python庫(kù) |
Python中機(jī)器人開(kāi)發(fā)常用的標(biāo)準(zhǔn)庫(kù)，如Numpy，MatPlotlib等知識(shí)，嵌入式AI處理器中開(kāi)發(fā)案例調(diào)用標(biāo)準(zhǔn)庫(kù)。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫(kù)pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機(jī)進(jìn)行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類(lèi)socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機(jī)進(jìn)行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫(xiě)UI程序，查詢(xún)嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開(kāi)發(fā)工具Jupyter |
了解Jupyter開(kāi)發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進(jìn)行交互式Python開(kāi)發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
OpenCV簡(jiǎn)介 |
了解數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫(kù)OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開(kāi)并配置相機(jī)，進(jìn)行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，生成圖像，并對(duì)圖像進(jìn)行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，實(shí)現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的平移旋轉(zhuǎn)縮放等各類(lèi)操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的點(diǎn)特征和線(xiàn)特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行圖像的像素計(jì)算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序進(jìn)行各類(lèi)顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運(yùn)算 |
在嵌入式AI處理器中，開(kāi)發(fā)OpenCV應(yīng)用程序，進(jìn)行對(duì)圖像的腐蝕膨脹與開(kāi)閉運(yùn)算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開(kāi)發(fā)程序基于圖像像素顏色閾值進(jìn)行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開(kāi)發(fā)程序?qū)崿F(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開(kāi)發(fā)程序，基于霍夫變換提取出直線(xiàn)，線(xiàn)段，圓形特征。 |
2 |
|
機(jī)器視覺(jué)技術(shù)（24課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實(shí)現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線(xiàn)條、文字等操作。 |
2 |
|
2 |
相機(jī)內(nèi)參標(biāo)定 |
理解相機(jī)成像模型，使用Python和OpenCV實(shí)現(xiàn)經(jīng)典的張正友標(biāo)定法相機(jī)標(biāo)定。 |
2 |
|
3 |
機(jī)械臂運(yùn)動(dòng)控制 |
了解機(jī)械臂運(yùn)動(dòng)控制，了解機(jī)械臂的正逆運(yùn)算，了解機(jī)械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機(jī)械臂執(zhí)行動(dòng)作。 |
2 |
|
4 |
手眼標(biāo)定 |
了解物理坐標(biāo)系與像素坐標(biāo)系的關(guān)系按步驟部署相機(jī)，標(biāo)定攝像頭與機(jī)械臂的相對(duì)位置。 |
2 |
|
5 |
二維碼識(shí)別 |
了解如何使用Python和OpenCV的庫(kù)檢測(cè)定位二維碼位置并識(shí)別二維碼信息。 |
2 |
|
6 |
AprilTag檢測(cè)與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機(jī)械臂實(shí)現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
7 |
顏色識(shí)別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運(yùn)算等處理方法，基于Python+OpenCV實(shí)現(xiàn)顏色目標(biāo)檢測(cè)與分類(lèi)，結(jié)合顏色識(shí)別實(shí)現(xiàn)抓取放置。 |
2 |
|
8 |
形狀識(shí)別 |
了解霍夫變換的原理，基于霍夫變換實(shí)現(xiàn)形狀識(shí)別，結(jié)合形狀識(shí)別實(shí)現(xiàn)抓取放置。 |
2 |
|
9 |
長(zhǎng)度測(cè)量 |
了解如何基于像素結(jié)果判斷物體長(zhǎng)度，并以此檢測(cè)作物大小是否合格。 |
2 |
|
10 |
面積測(cè)量 |
了解如何基于像素結(jié)果判斷物體面積，并以此檢測(cè)作物大小是否合格。 |
2 |
|
11 |
表盤(pán)讀數(shù) |
通過(guò)機(jī)器視覺(jué)算法提取儀表盤(pán)的指針終點(diǎn)與圓心，通過(guò)刻度分析當(dāng)前儀表盤(pán)數(shù)值。 |
2 |
|
12 |
缺陷檢測(cè) |
基于顏色直方圖的方法識(shí)別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術(shù)（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
視覺(jué)與AI框架簡(jiǎn)介 |
了解機(jī)器視覺(jué)的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫(kù)OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的原理和通用框架。 |
2 |
|
2 |
Conda入門(mén) |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過(guò)Conda管理各個(gè)功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
3 |
Jupyter入門(mén) |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡(jiǎn)單的Python開(kāi)發(fā)與調(diào)試。 |
2 |
|
4 |
機(jī)械臂運(yùn)動(dòng)控制 |
了解機(jī)械臂運(yùn)動(dòng)控制，了解機(jī)械臂的正逆運(yùn)算，了解機(jī)械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機(jī)械臂執(zhí)行動(dòng)作。 |
2 |
|
5 |
圖像采集與相機(jī)標(biāo)定 |
熟悉實(shí)驗(yàn)設(shè)備，打開(kāi)并配置相機(jī)，進(jìn)行圖像拍攝與保存，標(biāo)定攝像頭與機(jī)械臂的相對(duì)位置。 |
2 |
|
6 |
人臉識(shí)別 |
使用機(jī)器學(xué)習(xí)的Haar特征實(shí)現(xiàn)人臉檢測(cè)識(shí)別，使用深度學(xué)習(xí)模型實(shí)現(xiàn)基于A(yíng)I的人臉檢測(cè)與識(shí)別，體驗(yàn)深度學(xué)習(xí)邊緣計(jì)算的優(yōu)勢(shì)，開(kāi)發(fā)基于人臉識(shí)別的考勤系統(tǒng)。 |
2 |
|
7 |
目標(biāo)跟蹤 |
使用機(jī)器學(xué)習(xí)KCF目標(biāo)跟蹤方法實(shí)現(xiàn)目標(biāo)跟蹤，使用深度學(xué)習(xí)實(shí)現(xiàn)目標(biāo)跟蹤，體驗(yàn)深度學(xué)習(xí)邊緣計(jì)算的優(yōu)勢(shì)，開(kāi)發(fā)基于目標(biāo)跟蹤的抓取搬運(yùn)系統(tǒng)。 |
2 |
|
8 |
深度學(xué)習(xí)目標(biāo)檢測(cè) |
基于Yolo-V5卷積神經(jīng)網(wǎng)絡(luò)模型，部署在A(yíng)I處理器上，實(shí)現(xiàn)目標(biāo)檢測(cè)與分類(lèi)，結(jié)合機(jī)械臂完成任務(wù)。 |
2 |
|
9 |
表情識(shí)別的人機(jī)交互 |
基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)表情識(shí)別的人機(jī)交互系統(tǒng)。 |
2 |
|
10 |
手勢(shì)識(shí)別的人機(jī)交互 |
使用MediaPipe實(shí)現(xiàn)手勢(shì)識(shí)別，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)手勢(shì)識(shí)別的人機(jī)交互系統(tǒng)。體會(huì)不同類(lèi)型深度學(xué)習(xí)算法的不同應(yīng)用。 |
2 |
|
機(jī)器視覺(jué)綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實(shí)現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線(xiàn)條、文字等操作。 |
2 |
|
2 |
機(jī)械臂運(yùn)動(dòng)控制 |
了解機(jī)械臂運(yùn)動(dòng)控制，了解機(jī)械臂的正逆運(yùn)算，了解機(jī)械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機(jī)械臂執(zhí)行動(dòng)作。 |
2 |
|
3 |
手眼標(biāo)定 |
了解物理坐標(biāo)系與像素坐標(biāo)系的關(guān)系按步驟部署相機(jī)，標(biāo)定攝像頭與機(jī)械臂的相對(duì)位置。 |
2 |
|
4 |
AprilTag檢測(cè)與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機(jī)械臂實(shí)現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
顏色識(shí)別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運(yùn)算等處理方法，基于Python+OpenCV實(shí)現(xiàn)顏色目標(biāo)檢測(cè)與分類(lèi)，結(jié)合顏色識(shí)別實(shí)現(xiàn)抓取分揀。 |
2 |
|
6 |
標(biāo)記排序位置 |
確定排序規(guī)則，將AprilTag物塊按照ID排序，確定分揀規(guī)則，將顏色塊按照顏色分揀到不同區(qū)域，將待分揀區(qū)域標(biāo)記在圖像位置。 |
2 |
|
7 |
進(jìn)程管理 |
學(xué)習(xí)Python下的進(jìn)程管理與進(jìn)程間通信，為實(shí)現(xiàn)分揀任務(wù)做好基礎(chǔ)，將分揀動(dòng)作封裝成進(jìn)程函數(shù)可調(diào)用。 |
2 |
|
8 |
線(xiàn)程管理 |
學(xué)習(xí)Python下的線(xiàn)程管理與線(xiàn)程通信，為實(shí)現(xiàn)分揀任務(wù)做好基礎(chǔ)，將通信等封裝成線(xiàn)程函數(shù)。 |
2 |
|
9 |
AprilTag排序碼垛 |
結(jié)合多進(jìn)程，多線(xiàn)程，實(shí)現(xiàn)AprilTag按照ID順序排序碼垛。 |
2 |
|
10 |
顏色識(shí)別分揀 |
結(jié)合多進(jìn)程，多線(xiàn)程，實(shí)現(xiàn)將不同顏色的物塊分揀到不同位置。 |
2 |
|
人工智能綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機(jī)器視覺(jué)與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫(kù)OpenCV，了解機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個(gè)人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開(kāi)發(fā)環(huán)境，為后續(xù)實(shí)驗(yàn)打下基礎(chǔ)。 |
2 |
|
3 |
Conda入門(mén) |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過(guò)Conda 管理各個(gè)功能環(huán)境，進(jìn)行版本隔離。 |
2 |
|
4 |
Jupyter入門(mén) |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進(jìn)行簡(jiǎn)單的Python開(kāi)發(fā)與調(diào)試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實(shí)驗(yàn)設(shè)備，打開(kāi)并配置相機(jī)，進(jìn)行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標(biāo)注 |
在WSL2中安裝Label-Studio，進(jìn)行數(shù)據(jù)標(biāo)注，生成Yolo格式的標(biāo)注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強(qiáng)與數(shù)據(jù)集劃分 |
了解為什么要進(jìn)行數(shù)據(jù)增強(qiáng)，在Jupyter中進(jìn)行數(shù)據(jù)增強(qiáng)，將增強(qiáng)的數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。 |
2 |
|
8 |
模型訓(xùn)練 |
基于Yolo-V5模型，在Pytorch下訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。 |
2 |
|
9 |
模型轉(zhuǎn)化 |
將Pytorch訓(xùn)練出的pt模型轉(zhuǎn)化為onnx中間模型，再轉(zhuǎn)化為可硬件推理的rknn模型，邊緣計(jì)算芯片可部署推理。 |
2 |
|
10 |
深度學(xué)習(xí)分揀 |
結(jié)合機(jī)械臂，實(shí)現(xiàn)水果分揀案例，將不同類(lèi)型的水果分揀到不同位置。 |
2 |
|
語(yǔ)音與大模型綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
場(chǎng)景分析 |
分析當(dāng)前機(jī)器人接入大模型的應(yīng)用場(chǎng)景，剖析機(jī)器人接入大模型的技術(shù)路線(xiàn)和技能方法，了解如何通過(guò)Python為機(jī)器人接入大模型，學(xué)會(huì)使用機(jī)器人開(kāi)發(fā)。 |
2 |
|
2 |
機(jī)械臂驅(qū)動(dòng) |
了解機(jī)械臂運(yùn)動(dòng)控制，了解機(jī)械臂的正逆運(yùn)算，了解機(jī)械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機(jī)械臂執(zhí)行動(dòng)作。 |
2 |
|
3 |
圖像采集 |
基于Python+OpenCV實(shí)現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線(xiàn)條、文字等操作。 |
2 |
|
4 |
AprilTag檢測(cè)與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機(jī)械臂實(shí)現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機(jī)器人上麥克風(fēng)信息，使得麥克風(fēng)接入系統(tǒng)，可實(shí)現(xiàn)語(yǔ)音獲取。 |
2 |
|
6 |
語(yǔ)音轉(zhuǎn)文字 |
基于離線(xiàn)AI模型，實(shí)現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語(yǔ)音 |
基于離線(xiàn)AI模型，實(shí)現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語(yǔ)音信息并通過(guò)揚(yáng)聲器播放。 |
2 |
|
8 |
語(yǔ)義理解 |
分析語(yǔ)音識(shí)別的文字，并提取其中的意圖和序列，實(shí)現(xiàn)語(yǔ)音控制機(jī)器人。 |
2 |
|
9 |
場(chǎng)景理解 |
為機(jī)器人接入視覺(jué)大模型，理解看到的場(chǎng)景，并通過(guò)語(yǔ)音播報(bào)出來(lái)。 |
2 |
|
10 |
具身智能綜合案例 |
串聯(lián)上述知識(shí)點(diǎn)，編寫(xiě)接口程序，實(shí)現(xiàn)可語(yǔ)音控制機(jī)械臂分揀，根據(jù)指定的指令讓機(jī)械臂將看到的物體分揀到各個(gè)位置。 |
2 |
|
具身智能綜合實(shí)踐（20課時(shí)） |
|||
|
編號(hào) |
實(shí)驗(yàn)名稱(chēng) |
實(shí)驗(yàn)內(nèi)容 |
學(xué)時(shí) |
|---|---|---|---|
|
1 |
具身智能分析 |
了解什么是具身智能，了解具身智能的基本原理與應(yīng)用場(chǎng)景。 |
2 |
|
2 |
機(jī)械臂驅(qū)動(dòng) |
了解機(jī)械臂運(yùn)動(dòng)控制，了解機(jī)械臂的正逆運(yùn)算，了解機(jī)械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機(jī)械臂執(zhí)行動(dòng)作。 |
2 |
|
3 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機(jī)器人上麥克風(fēng)信息，使得麥克風(fēng)接入系統(tǒng)，可實(shí)現(xiàn)語(yǔ)音獲取。 |
2 |
|
4 |
機(jī)器人定位導(dǎo)航 |
調(diào)用機(jī)器人搭載的MoveBase框架，可編寫(xiě)節(jié)點(diǎn)發(fā)布Action實(shí)現(xiàn)機(jī)器人自主定位導(dǎo)航。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機(jī)器人上麥克風(fēng)信息，使得麥克風(fēng)接入ROS系統(tǒng)，可實(shí)現(xiàn)語(yǔ)音獲取。 |
2 |
|
6 |
語(yǔ)音轉(zhuǎn)文字 |
基于離線(xiàn)AI模型，實(shí)現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語(yǔ)音 |
基于離線(xiàn)AI模型，實(shí)現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語(yǔ)音信息并通過(guò)揚(yáng)聲器播放。 |
2 |
|
8 |
大模型問(wèn)答 |
注冊(cè)大模型AI工具，編寫(xiě)程序通過(guò)大模型API，調(diào)用Json實(shí)現(xiàn)智能問(wèn)答。 |
2 |
|
9 |
語(yǔ)義理解 |
分析語(yǔ)音識(shí)別的文字，并提取其中的意圖和序列，實(shí)現(xiàn)語(yǔ)音控制機(jī)器人。 |
2 |
|
10 |
大模型機(jī)器人集成 |
串聯(lián)上述知識(shí)點(diǎn)，編寫(xiě)接口程序，實(shí)現(xiàn)可語(yǔ)音控制并語(yǔ)音交互的大模型接入機(jī)器人。 |
2 |