?

我司與汽車職業(yè)學(xué)校合作hololens混合現(xiàn)實(shí)開(kāi)發(fā)汽車發(fā)動(dòng)機(jī)輔助檢修項(xiàng)目。

概述

該軟件旨在通過(guò)學(xué)校自身的師資力量和教學(xué)場(chǎng)地及現(xiàn)有教學(xué)裝備，構(gòu)建現(xiàn)代職業(yè)教育體系，加快學(xué)校發(fā)展現(xiàn)代職業(yè)教育，培養(yǎng)適合本市經(jīng)濟(jì)發(fā)展需要的技術(shù)技能人才。通過(guò)MR（混合現(xiàn)實(shí)）技術(shù)為發(fā)動(dòng)機(jī)檢修專業(yè)提供一個(gè)虛擬仿真教學(xué)課程研究與開(kāi)發(fā)、教學(xué)研究與實(shí)驗(yàn)實(shí)踐的平臺(tái)。

目標(biāo)

• 特色性：根據(jù)專業(yè)學(xué)習(xí)對(duì)口企業(yè)崗位的實(shí)際生產(chǎn)需要設(shè)計(jì)軟件，來(lái)進(jìn)行MR教學(xué)。
• 實(shí)用性：通過(guò)虛實(shí)結(jié)合、強(qiáng)化訓(xùn)練提高教學(xué)效率。
• 創(chuàng)新性：利用最新的MR技術(shù)手段，使學(xué)生耳目一新，積極主動(dòng)的掌握知識(shí)點(diǎn)和技能。
• 數(shù)據(jù)性：利用軟件教學(xué)，方便采集教學(xué)數(shù)據(jù)，使教學(xué)結(jié)果有直觀的體現(xiàn)，為教學(xué)分析和研究打下基礎(chǔ)。

方案簡(jiǎn)析

• 使用微軟的MR頭顯HoloLens，將軟件安裝其中后使用。
• MR教學(xué)場(chǎng)景，合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境，產(chǎn)生的虛擬對(duì)象為全息圖像，例如三維模型，窗口、菜單等。
• 通過(guò)頭部凝視虛擬對(duì)象和手勢(shì)操作，來(lái)實(shí)現(xiàn)虛擬交互。例如點(diǎn)擊按鈕、拖動(dòng)物體等。
• 識(shí)別現(xiàn)實(shí)世界物體，進(jìn)行相應(yīng)功能開(kāi)發(fā)，例如對(duì)學(xué)生實(shí)際操作的智能評(píng)分系統(tǒng)。
• HoloLens直播，將在設(shè)備中看到和聽(tīng)到的虛實(shí)結(jié)合的場(chǎng)景投放到大屏幕，供所有學(xué)生觀看，方便教學(xué)。
• 將HoloLens教學(xué)的操作數(shù)據(jù)和部分視頻通過(guò)服務(wù)器保存。
• 后臺(tái)管理系統(tǒng)，管理和查看師生和教學(xué)數(shù)據(jù)信息等。
• 遠(yuǎn)程教學(xué)和指導(dǎo)，老師可在電腦上指導(dǎo)戴HoloLens的學(xué)生操作。

界面截圖：

• 遠(yuǎn)程指導(dǎo)

教師利用虛擬仿真畫(huà)面、實(shí)時(shí)操作視頻進(jìn)行實(shí)時(shí)、隨機(jī)、示范性動(dòng)作

?

• 直播教學(xué)

以直播視頻形式實(shí)施教學(xué)展示

• 混合現(xiàn)實(shí)教學(xué)

學(xué)生可以進(jìn)行自助式操作，形成虛擬仿真與現(xiàn)實(shí)操作高度融合

• 完美疊加的視頻教學(xué)畫(huà)面

實(shí)施方案

本方案為制作發(fā)動(dòng)機(jī)氣門的檢修教學(xué)，以后制作發(fā)動(dòng)機(jī)其它部分的檢修可相應(yīng)地添加到本軟件中。

全息顯示示例

• UI：用于顯示菜單、按鈕、文本或圖片信息；用于用戶輸入信息。
• 三維模型和動(dòng)畫(huà)：模型用于展示零件或工具外觀，動(dòng)畫(huà)用于展示零部件拆裝和工作原理。

功能說(shuō)明

• 學(xué)生需登錄后才可使用本軟件進(jìn)行教學(xué)，登錄方式為在軟件初始界面輸入學(xué)號(hào)和密碼。
• 登錄成功后，選擇課次，課次由老師在后臺(tái)編輯，由老師告訴學(xué)生應(yīng)選擇哪個(gè)課次，系統(tǒng)默認(rèn)為最新課次。
• 進(jìn)入教學(xué)后，學(xué)生的學(xué)號(hào)、姓名、課次和教學(xué)名稱始終顯示在視野固定位置，比如左上角。本方案中教學(xué)名稱只有“發(fā)動(dòng)機(jī)氣門的檢修”。
• 選擇教學(xué)模式進(jìn)行教學(xué)，教學(xué)模式分為學(xué)習(xí)模式、練習(xí)模式和評(píng)分模式。

學(xué)習(xí)模式：讓學(xué)生了解零部件、工具使用和拆裝過(guò)程。

練習(xí)模式：學(xué)生進(jìn)行實(shí)物操作，有全息界面提示，學(xué)生可以隨時(shí)查看當(dāng)前該如何操作。

評(píng)分模式：學(xué)生進(jìn)行實(shí)物操作，軟件對(duì)學(xué)生操作進(jìn)行一定程度的識(shí)別進(jìn)行智能評(píng)分。

• 直播HoloLens教學(xué)

老師可以通過(guò)電腦登錄HoloLens管理平臺(tái)（一個(gè)局域網(wǎng)的ip），直播HoloLens中的內(nèi)容，其他學(xué)生可以在與電腦連接的顯示設(shè)備上觀看頭戴HoloLens使用者的體驗(yàn)全過(guò)程。老師對(duì)一個(gè)學(xué)生指導(dǎo)，其他學(xué)生全部可以受益，提高教學(xué)效率。除了評(píng)分模式和遠(yuǎn)程指導(dǎo)的教學(xué)，都可以進(jìn)行直播。

• 遠(yuǎn)程指導(dǎo)教學(xué)

通過(guò)使用HoloLens上的skype軟件，可以讓老師在電腦上一對(duì)多遠(yuǎn)程指導(dǎo)，在skype軟件上可以視頻、語(yǔ)音、甚至作圖指導(dǎo)。老師在電腦上作的圖，會(huì)在戴HoloLens的學(xué)生眼前轉(zhuǎn)化為全息圖像。

• 教學(xué)數(shù)據(jù)采集和保存

數(shù)據(jù)分為文本數(shù)據(jù)和視頻數(shù)據(jù)，兩者互為補(bǔ)充。

文本數(shù)據(jù)：記錄軟件操作日志。比如登錄情況、選擇的教學(xué)模式、教學(xué)模式使用情況等。

視頻數(shù)據(jù)：直播HoloLens和遠(yuǎn)程指導(dǎo)的教學(xué)在電腦上可以看到視頻，用錄像軟件錄屏。評(píng)分模式如果需要錄制視頻，可以在HoloLens管理平臺(tái)錄制，但是每段錄像只能錄5分鐘，所以用文本數(shù)據(jù)記錄此教學(xué)過(guò)程。

文本數(shù)據(jù)，系統(tǒng)會(huì)自動(dòng)記錄并提交給服務(wù)器保存。

視頻數(shù)據(jù)需要老師手動(dòng)錄制，將錄制的視頻文件通過(guò)后臺(tái)管理界面上傳到服務(wù)器保存。

• 后臺(tái)管理系統(tǒng)

師生數(shù)據(jù)和教學(xué)數(shù)據(jù)的管理平臺(tái)。

教學(xué)模式內(nèi)容

• 學(xué)習(xí)模式

零部件和專用工具通過(guò)靜態(tài)模型和UI展示，模型可以移動(dòng)、旋轉(zhuǎn)和縮放。

拆裝過(guò)程通過(guò)三維動(dòng)畫(huà)和UI展示。

以下是展示內(nèi)容

1.零部件：

• 進(jìn)排氣凸輪軸

• 氣門挺柱

• 進(jìn)排氣門

2.專用工具：

1）

2）

3）

3.拆裝過(guò)程：

• 凸輪軸的拆卸

• 氣門挺柱的拆卸

• 氣門的拆卸
• 凸輪軸安裝

• 氣門挺柱的安裝

• 氣門的安裝

• 練習(xí)模式

全息界面提示操作流程，輔助學(xué)生實(shí)際操作。

練習(xí)前進(jìn)行拆裝分步選擇，與學(xué)習(xí)模式的拆裝過(guò)程類似，分成6步。選擇后，全息界面提示當(dāng)前拆裝的步驟提示。

例如進(jìn)行“凸輪軸的拆卸”，界面上提示<拆下4個(gè)凸輪軸軸承蓋螺栓。注意: 用一把塑料錘輕輕敲打以松開(kāi)軸承架。>，可以點(diǎn)擊上一步下一步按鈕查看提示，點(diǎn)擊下一步之后，提示<拆下第一凸輪軸軸承蓋>，點(diǎn)擊上一步，又回到之前的提示，以此類推。

另外還可隨時(shí)點(diǎn)擊動(dòng)畫(huà)按鈕，查看動(dòng)畫(huà)演示。

• 評(píng)分模式

老師在教學(xué)前，先在后臺(tái)管理系統(tǒng)設(shè)置這次教學(xué)的內(nèi)容（具體設(shè)置見(jiàn)后臺(tái)管理系統(tǒng)介紹）。

學(xué)生進(jìn)入評(píng)分模式后，系統(tǒng)會(huì)提示需要評(píng)分檢測(cè)的內(nèi)容，是否檢測(cè)到內(nèi)容會(huì)有標(biāo)記提示。檢測(cè)內(nèi)容分為步驟檢測(cè)和零件檢測(cè)。另外，有“維修記錄單”和“提交”按鈕。“維修記錄單”點(diǎn)擊后出現(xiàn)記錄單通過(guò)手勢(shì)點(diǎn)擊完成填寫(xiě)；“提交”點(diǎn)擊后顯示此次教學(xué)的評(píng)分。

1.步驟檢測(cè)，系統(tǒng)會(huì)用實(shí)物識(shí)別檢測(cè)是否完成此步驟，識(shí)別順序按照步驟順序（以下圖片為檢測(cè)實(shí)物）。

1）進(jìn)、排氣凸輪軸拆卸

2）全部氣門挺柱的拆卸

3）對(duì)指定的一個(gè)汽缸的兩組進(jìn)、排氣門進(jìn)行拆卸

4）對(duì)指定的一個(gè)汽缸的兩組進(jìn)、排氣門進(jìn)行組裝

5）全部氣門挺柱的組裝

6）進(jìn)、排氣凸輪軸組裝

2.零件檢測(cè)，系統(tǒng)會(huì)用實(shí)物識(shí)別一些拆卸過(guò)程中的關(guān)鍵零件，以輔助評(píng)分。

• 進(jìn)排氣凸輪軸
• 氣門挺柱
• 進(jìn)排氣門

3.維修記錄單

• 主要內(nèi)容按照下圖表格

• 填寫(xiě)表格方式

合格/不合格：點(diǎn)擊選擇

處理部分：點(diǎn)擊選擇，選擇項(xiàng)有“正常”和其他后臺(tái)設(shè)置好的選項(xiàng)

數(shù)字部分：點(diǎn)擊填寫(xiě)處，虛擬鍵盤填寫(xiě)。

• 檢測(cè)答案方式

根據(jù)后臺(tái)設(shè)置好的正確答案核對(duì)。

4.提交

系統(tǒng)將此次評(píng)分?jǐn)?shù)據(jù)（包括步驟檢測(cè)、零件檢測(cè)、維修記錄單）上傳到后臺(tái)保存，并顯示最終評(píng)分。

評(píng)分初步設(shè)定：

項(xiàng)目	小項(xiàng)	評(píng)分
步驟檢測(cè)	進(jìn)、排氣凸輪軸拆卸	8
	全部氣門挺柱的拆卸	3
	對(duì)指定的一個(gè)汽缸的兩組進(jìn)、排氣門進(jìn)行拆卸	14
	對(duì)指定的一個(gè)汽缸的兩組進(jìn)、排氣門進(jìn)行組裝	14
	全部氣門挺柱的組裝	3
	進(jìn)、排氣凸輪軸組裝	8
零件檢測(cè)	進(jìn)排氣凸輪軸	4
	氣門挺柱	3
	進(jìn)排氣門	4
維修記錄單	進(jìn)排氣門外觀檢查	4
	進(jìn)排氣門長(zhǎng)度測(cè)量	6
	進(jìn)排氣門頭部直徑測(cè)量	6
	進(jìn)排氣門錐面接觸面寬度測(cè)量	6
	汽缸蓋上進(jìn)排氣門座接觸面寬度測(cè)量	6
	進(jìn)排氣門對(duì)氣門座同心度檢查	5
	氣門與氣門座接觸面的位置檢查	6
總計(jì)	?	100

后臺(tái)管理系統(tǒng)

• 登錄身份

登錄身份分為管理員、老師、學(xué)生。

管理員：最高權(quán)限，可以查看和操作所有數(shù)據(jù)

老師：可以編輯和查看自己的數(shù)據(jù)以及查看所教學(xué)生的數(shù)據(jù)

學(xué)生：可以查看自己的數(shù)據(jù)

• 后臺(tái)內(nèi)容

1.管理員

• 編輯和查看老師信息數(shù)據(jù)

賬號(hào)/工號(hào)

初始密碼固定123456

姓名

所教班級(jí)

• 編輯和查看學(xué)生信息數(shù)據(jù)

賬號(hào)/學(xué)號(hào)

初始密碼固定111111

姓名

班級(jí)

• 編輯和查看班級(jí)信息數(shù)據(jù)

班級(jí)編號(hào)

班級(jí)名稱

• 編輯和查看教學(xué)內(nèi)容信息數(shù)據(jù)

教學(xué)編號(hào)

教學(xué)名稱

• 編輯和查看教學(xué)數(shù)據(jù)

可根據(jù)班級(jí)、教學(xué)名稱和教學(xué)老師篩選

課次：系統(tǒng)根據(jù)老師編輯課次內(nèi)容自動(dòng)生成

時(shí)間：上課的時(shí)間

班級(jí)

教學(xué)老師

學(xué)生操作記錄：登錄、選擇的教學(xué)模式、評(píng)分模式數(shù)據(jù)（包含各項(xiàng)評(píng)分和總分）、老師評(píng)語(yǔ)

教學(xué)視頻：老師上傳的此課次的視頻

2.老師

• 修改自己的密碼
• 新建或修改課次內(nèi)容

時(shí)間：上課的時(shí)間

教學(xué)名稱

班級(jí)：使用此課次的班級(jí)

評(píng)分模式內(nèi)容：選擇一個(gè)已經(jīng)設(shè)置好的內(nèi)容，供評(píng)分模式教學(xué)使用。

• 新建或修改評(píng)分模式內(nèi)容

教學(xué)名稱

評(píng)分模式數(shù)據(jù)：以“發(fā)動(dòng)機(jī)氣門的檢修”為例，需設(shè)置“維修記錄單”中各個(gè)數(shù)據(jù)的標(biāo)準(zhǔn)答案。

• 上傳教學(xué)視頻文件

選擇課次后上傳

• 查看教學(xué)數(shù)據(jù)

只可以查看自己的教學(xué)數(shù)據(jù)，數(shù)據(jù)內(nèi)容同第1點(diǎn)管理員的第5小點(diǎn)。

可以給學(xué)生操作記錄添加或修改評(píng)語(yǔ)。

3.學(xué)生

1）修改自己的密碼

2）按照課次查看評(píng)分模式數(shù)據(jù)及老師評(píng)語(yǔ)

技術(shù)/項(xiàng)目方法

• 建模、三維動(dòng)畫(huà)：3D Max
• UI設(shè)計(jì)：Photoshop、Flash等
• 前端程序：Unity3D
• 后臺(tái)程序：PHP+MySQL
• 錄屏工具：Apowersoft錄屏王或其它同類軟件
• 實(shí)物識(shí)別：Vuforia AR SDK