得益于規(guī)模龐大的數(shù)據(jù)集、計(jì)算能力的提高和計(jì)算模型的優(yōu)化改善，神經(jīng)網(wǎng)絡(luò)算法已成為機(jī)器學(xué)習(xí)算法中使用最廣泛的模型。當(dāng)前一個(gè)明顯的趨勢是，神經(jīng)網(wǎng)絡(luò)算法的經(jīng)驗(yàn)成果正在向傳統(tǒng)制造領(lǐng)域進(jìn)行遷移，并對制造行業(yè)的產(chǎn)品設(shè)計(jì)、制造、質(zhì)檢到交付等價(jià)值鏈環(huán)節(jié)，產(chǎn)生了深遠(yuǎn)而廣泛的影響。
中國工程院院刊《Engineering》刊發(fā)《將基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法應(yīng)用于增材制造——應(yīng)用現(xiàn)狀、當(dāng)前挑戰(zhàn)和未來前景》，綜述了神經(jīng)網(wǎng)絡(luò)算法在增材制造全鏈條中的模型設(shè)計(jì)、實(shí)時(shí)監(jiān)測、質(zhì)量評價(jià)等方面的應(yīng)用進(jìn)展。文章介紹了增材制造技術(shù)和神經(jīng)網(wǎng)絡(luò)算法的發(fā)展情況，概述了當(dāng)前將神經(jīng)網(wǎng)絡(luò)應(yīng)用于增材制造所遇到的挑戰(zhàn)以及針對這些問題的可能解決方案，并討論了未來趨勢以對這一跨學(xué)科領(lǐng)域進(jìn)行探討。
歐洲5G工業(yè)園
引言
相對于傳統(tǒng)的減材制造技術(shù)，增材制造（AM）是現(xiàn)代工業(yè)范式中一種前景廣闊的數(shù)字化加工方法，其已引起全世界的廣泛關(guān)注。
AM通過三維（3D）計(jì)算機(jī)輔助設(shè)計(jì)（CAD）模型逐層構(gòu)造物體，擁有以下優(yōu)勢：
它能創(chuàng)造具有復(fù)雜形狀的產(chǎn)品，如拓?fù)鋬?yōu)化結(jié)構(gòu)，該結(jié)構(gòu)難以用傳統(tǒng)鑄造或鍛造工藝制得；可以用它來產(chǎn)生新的材料特性，如位錯(cuò)網(wǎng)絡(luò)，這一點(diǎn)對學(xué)術(shù)研究人員非常有吸引力；它能減少材料浪費(fèi)，節(jié)省工業(yè)成本。然而，AM部件也存在許多獨(dú)有的缺陷，這些缺陷與鑄造和鍛造部件中出現(xiàn)的缺陷不同，例如由于未熔合和氣體捕獲導(dǎo)致的孔隙率、在相對于打印方向的垂直和平行方向上嚴(yán)重的各向異性微觀結(jié)構(gòu)，以及由高冷卻速率和大溫度梯度引起殘余應(yīng)力過大而導(dǎo)致的畸變。因此，研究者們必須更好地理解粉末冶金參數(shù)、打印工藝以及AM部件的微觀結(jié)構(gòu)和機(jī)械性能之間的復(fù)雜關(guān)系。
整個(gè)AM流程總是涉及許多可以決定最終產(chǎn)品性能的基本參數(shù)。例如，在選擇性激光熔化（SLM）中，激光功率、掃描速度、掃描間距和層厚等加工參數(shù)都能顯著影響所制造的部件質(zhì)量。但是，這些參數(shù)與最終質(zhì)量之間的關(guān)系過于復(fù)雜而難以為人們所理解，因?yàn)镾LM是一個(gè)多物理、多尺度過程，包括微觀尺度下粉末-激光相互作用、介觀尺度下熔池動(dòng)力學(xué)和柱狀晶生長，以及宏觀尺度下熱力耦合。為了能以更清晰、更準(zhǔn)確的方式對這種關(guān)系進(jìn)行描述，研究人員已嘗試建立各種物理模型。例如，Acharya等提出了計(jì)算流體動(dòng)力學(xué)（CFD）和相場模型，以模擬激光粉末床融合（PBF）過程中沉積態(tài)的晶粒結(jié)構(gòu)演化。Fergani等提出了一種解析模型，用以評估金屬材料AM過程中的殘余應(yīng)力。此外，Chen等采用有限元模型來研究熔池形狀和焊縫形狀?？梢钥闯?，上述各個(gè)模擬方法從粉末尺度到部件尺度都不相同，并且由于缺乏對AM的深入理解，這些模擬研究只能集中于整個(gè)制造過程的一個(gè)或兩個(gè)方面。
目前，通過這些物理驅(qū)動(dòng)的方法不可能在短時(shí)間內(nèi)快速準(zhǔn)確地預(yù)測整個(gè)AM過程。除了上述物理驅(qū)動(dòng)模型外，數(shù)據(jù)驅(qū)動(dòng)的模型也已廣泛應(yīng)用于AM領(lǐng)域，這些模型統(tǒng)一稱為機(jī)器學(xué)習(xí)算法（ML）。這種模型的壓倒性優(yōu)勢在于其不需要構(gòu)建一系列基于物理過程的方程。取而代之的是，它們會(huì)根據(jù)以前的數(shù)據(jù)自動(dòng)學(xué)習(xí)輸入特征和輸出目標(biāo)之間的關(guān)系。在機(jī)器學(xué)習(xí)方法中，神經(jīng)網(wǎng)絡(luò)（NN）算法最為廣泛使用，并且由于當(dāng)前大量可用的數(shù)據(jù)和計(jì)算資源，以及其先進(jìn)的算法結(jié)構(gòu)，該算法目前正在快速發(fā)展。例如，NN是計(jì)算機(jī)視覺、語音識別、自然語言處理和自動(dòng)駕駛等領(lǐng)域的主要驅(qū)動(dòng)力。NN在識別上述任務(wù)中潛在的復(fù)雜模式方面表現(xiàn)出了它的強(qiáng)大優(yōu)勢，其中大部分模式曾被認(rèn)為只有人類有可能分辨出來。此外，一個(gè)明顯的趨勢是，在這些領(lǐng)域中利用NN的經(jīng)驗(yàn)成果正在向傳統(tǒng)的制造領(lǐng)域（包括AM）進(jìn)行遷移。NN對制造行業(yè)中的整個(gè)價(jià)值鏈創(chuàng)新，從產(chǎn)品設(shè)計(jì)、制造、質(zhì)檢到交付等，都產(chǎn)生了深遠(yuǎn)而廣泛的影響，并且其帶來的影響將越來越強(qiáng)烈。
本文概述了研究人員將NN算法應(yīng)用于AM的最新進(jìn)展。文章組織結(jié)構(gòu)如下：第2部分簡要介紹了AM技術(shù)和NN算法；第3部分總結(jié)了NN在AM中的詳細(xì)應(yīng)用；第4部分概述了當(dāng)前應(yīng)用過程中的挑戰(zhàn)和可能的解決方案；第5部分描述了該交叉領(lǐng)域的未來趨勢。
方法
AM技術(shù)
AM是一個(gè)相對于傳統(tǒng)減材制造[即鑄造、鍛造和計(jì)算機(jī)數(shù)控（CNC）]的概念術(shù)語，其根據(jù)不同的打印技術(shù)可進(jìn)一步分為多種類別。其中，粉末床熔融成型（PBF）、黏合劑噴射（BJ）和材料擠出成型（ME）是3種廣泛使用的技術(shù)。PBF使用熱源燒結(jié)或熔化金屬（或塑料）粉末來逐層構(gòu)建部件。根據(jù)不同的應(yīng)用場景，PBF可進(jìn)一步分為選區(qū)激光燒結(jié)（SLS）、選區(qū)激光熔化（SLM）、電子束熔化（EBM）等。SLS和SLM都使用激光作為熱源，但是，SLM工藝中材料完全熔化，而SLS中材料進(jìn)行燒結(jié)。與基于激光的技術(shù)相比，EBM的熱源是電子束，其具有殘余應(yīng)力小、氧化不嚴(yán)重等優(yōu)點(diǎn)。BJ工藝使用兩種材料：粉末材料和黏合劑，黏合劑選擇性地沉積在粉末床的區(qū)域上，并將這些區(qū)域黏合在一起，一次形成一層固體部分。熔融沉積成型（FDM）是一種ME技術(shù)。在打印過程中，由于熔融材料在擠出后立即硬化，材料從FDM打印機(jī)的噴嘴擠出后將分層構(gòu)筑?？梢钥吹剑F(xiàn)在已有各種各樣的AM技術(shù)，并且這些技術(shù)產(chǎn)生不同種類的數(shù)據(jù)類型。如何以統(tǒng)一格式組織這些數(shù)據(jù)，并將數(shù)據(jù)流集成到后續(xù)ML算法中是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
NN算法
NN是一種監(jiān)督式的機(jī)器學(xué)習(xí)方法，與之相對的是無監(jiān)督學(xué)習(xí)。區(qū)分這兩種模式最簡單的方法是檢查它們所作用的數(shù)據(jù)集是否有標(biāo)記。換言之，在NN算法中，數(shù)據(jù)被標(biāo)記是指模型已被告知輸入的“答案”。監(jiān)督式學(xué)習(xí)適用于AM，因?yàn)樵摲N制造技術(shù)總是有明確的目標(biāo)和驗(yàn)證方法。
NN具有很強(qiáng)的評估擬合能力，它可以表示輸入和輸出特征之間復(fù)雜的、高度非線性的關(guān)系，并且研究表明，只有一個(gè)隱層但有足夠的神經(jīng)元的網(wǎng)絡(luò)就可以表達(dá)任意函數(shù)。NN的體系結(jié)構(gòu)由3種類型的層組成，分別為輸入層、隱藏層和輸出層。每一層都由節(jié)點(diǎn)或神經(jīng)元組成，這借鑒了神經(jīng)科學(xué)的觀點(diǎn)。
NN中的參數(shù)或系數(shù)稱為權(quán)重，表示相鄰層中神經(jīng)元之間的連接程度。通過迭代訓(xùn)練NN來確定權(quán)重值，以便最小化預(yù)測和實(shí)際輸出之間的損失函數(shù)。在這種過程中，最著名、最廣泛使用的更新權(quán)重的方法稱為反向傳播，它使用數(shù)學(xué)鏈?zhǔn)椒▌t迭代計(jì)算每層的梯度。一旦訓(xùn)練可以實(shí)現(xiàn)，NN將有能力根據(jù)先前未見的輸入推斷出輸出。研究人員在其發(fā)展的幾十年中已經(jīng)提出了許多種特定的NN。
以下3類NN的價(jià)值已得到證明，并廣受歡迎。
多層感知器（MLP）是最典型的NN，其常見的數(shù)學(xué)運(yùn)算是線性求和以及非線性激勵(lì)（如sigmoid函數(shù)）。其廣泛應(yīng)用于處理表格類型的數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）主要用于圖像處理，它可考慮圖像像素之間的空間關(guān)系，該網(wǎng)絡(luò)以數(shù)學(xué)中的“卷積”運(yùn)算而得名。遞歸神經(jīng)網(wǎng)絡(luò)（RNN）在處理時(shí)間動(dòng)態(tài)數(shù)據(jù)中起著關(guān)鍵作用，因?yàn)樗谝粚又械墓?jié)點(diǎn)之間建立連接。最著名的RNN是長短期記憶網(wǎng)絡(luò)（LSTM），在后文中可以看出其能準(zhǔn)確再現(xiàn)有限元模擬。應(yīng)用
AM是一個(gè)包含許多方面的價(jià)值鏈條，包括模型設(shè)計(jì)、材料選擇、制造和質(zhì)量評估。此部分主要介紹NN在AM以下部分中的應(yīng)用：設(shè)計(jì)、實(shí)時(shí)監(jiān)測和工藝-性能-使役性能的聯(lián)系。
AM 設(shè)計(jì)
AM設(shè)計(jì)（DfAM）是為了建立AM部件的CAD模型，這是整個(gè)工藝鏈條的第一步也是至關(guān)重要的一步。然而，由于加工結(jié)果中變形引入的殘余應(yīng)力，CAD模型和打印部件之間總是存在幾何偏差。因此，通常選擇補(bǔ)償方法以獲得具有高精度的AM部件。
Chowdhury和Anand提出了一種NN算法來直接補(bǔ)償部件的幾何設(shè)計(jì)，這有助于抵消制造過程中的熱收縮和變形。整個(gè)過程如下：①準(zhǔn)備所需部件的CAD模型，提取其表面3D坐標(biāo)作為NN模型的輸入。②使用熱力耦合的有限元分析軟件（如ANSYS或ABAQUS），然后定義一組過程參數(shù)來模擬AM過程。提取變形表面坐標(biāo)作為NN模型的輸出。③訓(xùn)練一個(gè)具有14個(gè)神經(jīng)元和損失函數(shù)為均方誤差（MSE）的NN模型來學(xué)習(xí)輸入和輸出之間的差異。④將訓(xùn)練好的網(wǎng)絡(luò)應(yīng)用于STL文件，從而進(jìn)行所需的幾何校正，這樣就可以使用修改過的幾何形狀來制造部件，從而得到尺寸精確的成品。
Koeppe等提出了一個(gè)結(jié)合實(shí)驗(yàn)、有限元方法（FEM）模擬和NN的框架，如圖1所示。首先，他們進(jìn)行了實(shí)際實(shí)驗(yàn)來驗(yàn)證有限元方法模擬。接下來，使用有限元方法運(yùn)行85個(gè)模擬樣本，模擬參數(shù)是全局負(fù)載、位移和支柱半徑以及單元尺寸的不同組合。這些是NN的輸入特征，而輸出特征是最大的Von Mises等效應(yīng)力和等效主應(yīng)力。NN的架構(gòu)為：一個(gè)具有1024個(gè)整流線性神經(jīng)元的全連接層、兩個(gè)分別具有1024個(gè)神經(jīng)元的長短期記憶網(wǎng)絡(luò)，以及一個(gè)全連接的線性輸出層。這里需要注意的是，選擇長短期記憶網(wǎng)絡(luò)是因?yàn)樗谔幚頃r(shí)間序列事件上表現(xiàn)出色。在訓(xùn)練之后，NN可以很好地重現(xiàn)加載歷史，與有限元方法模擬結(jié)果相吻合。從這一點(diǎn)出發(fā)，NN可以替代傳統(tǒng)的、運(yùn)行速度較低的數(shù)值模擬方法。
圖1 應(yīng)用NN模型預(yù)測AM結(jié)構(gòu)的變形。（a）在受控加載條件下制造和測試的樣本；（b）有限元模擬結(jié)果，其已經(jīng)過實(shí)驗(yàn)驗(yàn)證；（c）NN模型，其通過由FEM生成的數(shù)據(jù)進(jìn)行訓(xùn)練，然后以比FEM更快的方式預(yù)測變形歷史。FC：全連接層。經(jīng)Elsevier許可轉(zhuǎn)載自參考文獻(xiàn)，2018
與上述兩種將NN應(yīng)用于AM設(shè)計(jì)的情況不同，McComb等試圖建立一個(gè)自編碼器（一種從輸入中學(xué)習(xí)然后嘗試高精度地重建輸入的NN）來學(xué)習(xí)部件設(shè)計(jì)的低維表示。除了這種自編碼器之外，還訓(xùn)練其他3個(gè)網(wǎng)絡(luò)以確定幾何形狀設(shè)計(jì)和其他3個(gè)AM設(shè)計(jì)屬性（即部件質(zhì)量、支撐材料質(zhì)量和構(gòu)建時(shí)間）之間的關(guān)系。通過這種方式，可以利用這4個(gè)NN的組合來評估為AM設(shè)計(jì)的部件的屬性。將機(jī)器學(xué)習(xí)應(yīng)用于AM設(shè)計(jì)的另一個(gè)有趣的實(shí)例與3D打印過程的安全評估有關(guān)。Li等訓(xùn)練CNN檢測和識別通過AM制造的非法組件（如槍支）。當(dāng)CNN構(gòu)建完善后，將它整合到打印機(jī)中以便能在早期檢測相關(guān)槍支的打印，從而及時(shí)終止制造過程。對應(yīng)于原始3D模型的投影結(jié)果，作者收集了61 340個(gè)二維（2D）圖像的數(shù)據(jù)集，包括槍支和其他非槍支對象。整個(gè)CNN模型由兩個(gè)卷積層、兩個(gè)池化層和一個(gè)全連接層組成。根據(jù)實(shí)驗(yàn)結(jié)果，分類錯(cuò)誤率可降至1.84%。
實(shí)時(shí)監(jiān)測
實(shí)時(shí)監(jiān)測從多個(gè)傳感器獲取數(shù)據(jù)，其提供了AM過程中產(chǎn)品質(zhì)量的第一手信息。如果可以同步且準(zhǔn)確地分析這些實(shí)時(shí)數(shù)據(jù)，那么就能實(shí)現(xiàn)對制造過程的全閉環(huán)控制。數(shù)據(jù)源分為3種類型，包括一維（1D）數(shù)據(jù)（如光譜）、2D數(shù)據(jù)（如圖像）和3D數(shù)據(jù)（如層析成像）。每種數(shù)據(jù)類型都有其優(yōu)缺點(diǎn)。例如，處理1D數(shù)據(jù)的速度較快且其硬件相對便宜。但是，其可提供的信息比其他類型少。這里將使用兩個(gè)實(shí)例來演示如何使用這些不同類型的信號數(shù)據(jù)。Shevchik等介紹了一項(xiàng)使用聲發(fā)射（AE）和NN對SLM進(jìn)行現(xiàn)場質(zhì)量監(jiān)測的研究，如圖2所示。使用布拉格光纖光柵傳感器記錄AE信號，而選擇的NN算法是波譜卷積神經(jīng)網(wǎng)絡(luò)（SCNN），它是對傳統(tǒng)CNN的延伸。模型的輸入特征是小波包變換的窄頻帶的相對能量。輸出特征是對打印層的質(zhì)量為高、中或差的分類。據(jù)報(bào)道，使用SCNN對工件質(zhì)量為高、中、差的分類精度分別高達(dá)83%、85%和89%。
圖2 AM質(zhì)量監(jiān)測和分析系統(tǒng)的方案。工作流程如下：在AM過程中發(fā)出聲信號，然后由傳感器捕獲。最終將SCNN模型應(yīng)用于所記錄的數(shù)據(jù)，以便判定打印層的質(zhì)量是否合適。經(jīng)Elsevier許可轉(zhuǎn)載自參考文獻(xiàn)，2018
最近，Zhang等構(gòu)建了一個(gè)帶有高速攝像頭的視覺系統(tǒng)，用于過程圖像采集。該系統(tǒng)可以檢測3個(gè)對象的信息，包括熔池、羽流和飛濺，如圖3所示。這些對象的特征是根據(jù)作者對工藝的物理機(jī)制的理解而仔細(xì)提取的，以便將它們納入傳統(tǒng)的機(jī)器學(xué)習(xí)算法。然而，作者強(qiáng)調(diào)CNN模型不需要這個(gè)特征提取步驟，同時(shí)它在質(zhì)量水平識別中仍然具有92.7%的高精度。目前普遍的共識是，CNN具有在工業(yè)應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)監(jiān)控的巨大潛力。上述案例主要集中在對AM過程的原位監(jiān)測。然而，NN模型的質(zhì)量結(jié)果不能反過來影響實(shí)際制造。相反，以下情況通過無縫集成基于視覺的技術(shù)和NN技術(shù)來用于液態(tài)金屬噴墨打?。↙MJP），實(shí)現(xiàn)了該過程的閉環(huán)控制。首先，Wang等開發(fā)了一個(gè)帶有電荷耦合器件（CCD）相機(jī)的視覺系統(tǒng)，用于捕獲包含各種液滴圖案的噴墨圖像。其次，為了建立電壓等級和液滴特征之間的復(fù)雜關(guān)系，他們構(gòu)建了NN模型。因此，通過NN模型，可以將實(shí)時(shí)噴墨行為和理想行為（其中輸入信號的每個(gè)脈沖僅產(chǎn)生具有足夠體積且其后沒有隨體的單個(gè)液滴）轉(zhuǎn)換成精確的電壓值。最后，使用比例積分微分（PID）控制技術(shù)來比較這些數(shù)值，從而相應(yīng)地調(diào)節(jié)驅(qū)動(dòng)電壓并穩(wěn)定打印過程。
圖3 SLM過程監(jiān)控配置的方案。高速攝影機(jī)用于捕獲構(gòu)建過程的連續(xù)圖像，CNN模型用于識別質(zhì)量異常。ROI：感興趣區(qū)域。經(jīng)Elsevier許可轉(zhuǎn)載自參考文獻(xiàn)，2018
工藝-性能-使役性能的聯(lián)系
從技術(shù)和經(jīng)濟(jì)上的觀點(diǎn)來看，過程參數(shù)的選擇對優(yōu)化AM性能是必需的。在工藝、性能和使役性能之間建立直接聯(lián)系是科學(xué)家和工程師非常感興趣的。這種聯(lián)系通常是高度非線性的，因?yàn)檩斎胱兞康臄?shù)量通常大于3個(gè)。因此，很難確定這種聯(lián)系的基礎(chǔ)數(shù)學(xué)公式。由于NN模型固有的非線性特性，它已被應(yīng)用于為各種AM過程建立這些數(shù)學(xué)關(guān)系。表1總結(jié)了NN在AM中的應(yīng)用（實(shí)際上，NN在這里稱為MLP，因?yàn)樗袛?shù)據(jù)集都是表格類型），并列出了作為輸入的工藝參數(shù)值和作為輸出的性能/使役性能。從表1中可以看出，不同的AM技術(shù)應(yīng)該選擇不同的輸入特征，因?yàn)榇_定AM部件的關(guān)鍵因素是不同的。此外，由于大量參數(shù)會(huì)對最終成品產(chǎn)生影響，所以確定選擇哪些參數(shù)需要深入了解AM過程。
表1 NN應(yīng)用程序，用于構(gòu)建過程-性質(zhì)-性能聯(lián)系
SL: stereolithography; LMD: laser metal deposition; WAAM: wire and arc additive manufacturing
NN算法的詳細(xì)設(shè)置總結(jié)在表2中。確定NN結(jié)構(gòu)的典型超參數(shù)通常由4部分組成：隱藏層數(shù)目、單層中神經(jīng)元數(shù)量、激活函數(shù)和損失函數(shù)。
表2 有關(guān)NN算法的詳細(xì)信息
MAE: mean absolute error; RMSE: root mean square error; SSE: sum square error
（1）隱藏層數(shù)目。在表2的“Layer/neuron”列中，“5-8-1”表示該NN結(jié)構(gòu)包含3層：輸入層有5個(gè)神經(jīng)元，唯一的隱藏層有8個(gè)神經(jīng)元，輸出層有一個(gè)神經(jīng)元。從表中可以看出，一個(gè)隱藏層足以應(yīng)對大多數(shù)AM問題。
（2）單層神經(jīng)元數(shù)量。輸入層和輸出層的神經(jīng)元數(shù)由問題本身決定。然而，需要仔細(xì)選擇唯一隱藏層的神經(jīng)元數(shù)量，因?yàn)樗cML中的欠擬合和過擬合問題直接相關(guān)。根據(jù)表2，我們建議至少以5~10個(gè)神經(jīng)元作為隱藏層神經(jīng)元的最佳數(shù)量。
（3）激活函數(shù)。激活函數(shù)是輸入信號的非線性變換，它決定是否應(yīng)該激活神經(jīng)元。這對NN至關(guān)重要，因?yàn)闆]有激活函數(shù)的網(wǎng)絡(luò)只是一個(gè)線性回歸模型，無法處理復(fù)雜的任務(wù)。一些流行的激活函數(shù)類型如下：
在實(shí)際應(yīng)用過程中，sigmoid和tanh函數(shù)的任一側(cè)以及ReLU函數(shù)負(fù)軸的梯度將會(huì)很小，甚至趨于零，因此，在學(xué)習(xí)期間權(quán)重?zé)o法得到更新調(diào)節(jié)。這種情況就是典型的梯度消失問題。使用Max-min歸一化技術(shù)將輸入特征的范圍變更為(0, 1)，其可以有效地避免這個(gè)問題。如有必要，還可使用批標(biāo)準(zhǔn)化技術(shù)，以便繼續(xù)細(xì)化每一層的輸入信號。
（4）損失函數(shù)。損失函數(shù)應(yīng)由確切的問題確定，并且通常帶有實(shí)際的解釋。例如，均方根誤差（RMSE）和平均絕對誤差（MAE）都是評估預(yù)測值和目標(biāo)值兩個(gè)向量之間距離的方法。其表達(dá)方式如下：
式中，i 是樣本索引；yi 是預(yù)測值；yt 是目標(biāo)值。它們之間存在一些小的變化：計(jì)算RMSE對應(yīng)于L2范數(shù)（即歐幾里德范數(shù)），這是最常見的歐式距離；計(jì)算MAE對應(yīng)于L1范數(shù)（即曼哈頓范數(shù)），其測量從原點(diǎn)到目標(biāo)的矩形網(wǎng)格中的距離。一般來說，Lp規(guī)范由下式表示：
式中，p是范數(shù)指數(shù)。p值越大，則它對較大的值越敏感。例如，由于L2范數(shù)使誤差平方，因此模型將產(chǎn)生比L1范數(shù)大得多的誤差。如果這種情況是一個(gè)異常值，L2范數(shù)將更加關(guān)注這個(gè)單一的異常情況，因?yàn)樵S多其他常見情況的誤差較小。換句話說，如果考慮每個(gè)異常值都很重要的話，RMSE方法是更好的選擇。反之則MAE適用于可以安全有效地忽略異常值的情形。應(yīng)當(dāng)注意的是，在某些特殊情況下，可能有必要考慮自定義設(shè)計(jì)損失函數(shù)。
挑戰(zhàn)和可能的解決方案
小數(shù)據(jù)集
由于NN方法是數(shù)據(jù)驅(qū)動(dòng)的，因此其性能與可訪問數(shù)據(jù)量直接相關(guān)。一些領(lǐng)域已經(jīng)建立了自己的大型數(shù)據(jù)集用于訓(xùn)練，如用于圖像識別的ImageNet，用于光學(xué)字符識別的MNIST，用于自然語言處理的SQuAD和用于視頻分類的YouTube-8M。大型數(shù)據(jù)集的存在使得NN在這些領(lǐng)域中展現(xiàn)出了巨大的力量。相比之下，AM沒有龐大的數(shù)據(jù)集，因?yàn)槭占?xùn)練數(shù)據(jù)總是很昂貴的。此外，出于經(jīng)濟(jì)方面的考慮限制了相關(guān)方創(chuàng)建自己的開源數(shù)據(jù)集。由于這種困境，建立AM工藝的小數(shù)據(jù)集至關(guān)重要。事實(shí)上，某些稱為生成模型的方法可以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，以便人為地?cái)U(kuò)大數(shù)據(jù)集。例如，自編碼器是一種代表性技術(shù)，能夠隨機(jī)生成看起來與訓(xùn)練數(shù)據(jù)非常相似的新數(shù)據(jù)。其使用編碼器將輸入轉(zhuǎn)換為內(nèi)部表示，然后使用解碼器生成與基于此表示的輸入類似的新輸出。一種基于基本的自編碼器的著名擴(kuò)展稱為變分自編碼器（VAE）。它將輸入轉(zhuǎn)換為具有平均值μ 和標(biāo)準(zhǔn)偏差σ 的高斯分布；當(dāng)解碼器從該概率分布中采樣點(diǎn)時(shí)，生成新的輸入數(shù)據(jù)。其他生成模型，如生成對抗網(wǎng)絡(luò)（GAN）和對抗性自編碼器（AAE、AE和GAN的組合），也可以提供數(shù)據(jù)增強(qiáng)的方法。
缺乏標(biāo)記數(shù)據(jù)的經(jīng)驗(yàn)
如前所述，大多數(shù)NN用例都是監(jiān)督學(xué)習(xí)，需要輸出作為學(xué)習(xí)目標(biāo)。但是，有時(shí)標(biāo)記數(shù)據(jù)非常困難。例如，如何將圖3中的不同物體分別精確地標(biāo)記為熔池、羽流或飛濺？圖3的作者認(rèn)為，許多飛濺在形狀、尺寸和灰度值方面具有與熔池相似的特征。換句話說，這些判斷很大程度上依賴于分析人員對焊接過程的深入了解。這種依賴性將極大地阻礙NN在AM領(lǐng)域的發(fā)展。這意味著NN在AM領(lǐng)域的大規(guī)模應(yīng)用需要計(jì)算機(jī)科學(xué)家和材料科學(xué)家之間進(jìn)行深入合作。
缺乏選擇合適特征的知識
許多工藝參數(shù)可能嚴(yán)重影響AM部件的屬性，而其他參數(shù)可能影響較小。同時(shí)，對于有限的數(shù)據(jù)集，過多的輸入特征極易導(dǎo)致模型過擬合。因此，確保NN算法在一組良好的特征上運(yùn)行至關(guān)重要。對輸入數(shù)據(jù)進(jìn)行“特征工程”的預(yù)處理可以為研究帶來好處，它可以分為兩個(gè)方面：
① 特征選擇——旨在從現(xiàn)有特征中選擇最有用的特征作為輸入。例如，人們可以選擇“道間距”“激光功率”和“粉末層厚”作為影響部件性質(zhì)的最重要因素。在這種情況下，選擇原則依賴于研究人員對AM的經(jīng)驗(yàn)和了解，即對AM過程的機(jī)制進(jìn)行深入研究，而不僅僅是反復(fù)地進(jìn)行實(shí)驗(yàn)。另一種有用的方法是使用統(tǒng)計(jì)工具進(jìn)行定量分析。以下是統(tǒng)計(jì)學(xué)中一些廣泛使用的參數(shù)。皮爾森相關(guān)性系數(shù)是衡量兩個(gè)特征之間線性關(guān)系的良好參數(shù)，當(dāng)它接近1/–1時(shí)，表明這兩個(gè)輸入之間存在強(qiáng)烈的正/負(fù)相關(guān)關(guān)系。肯德爾相關(guān)性系數(shù)是衡量兩個(gè)特征之間的非線性關(guān)系的參數(shù)。散布矩陣則是一種用于繪制每個(gè)數(shù)學(xué)屬性與其他所有數(shù)學(xué)屬性關(guān)系的數(shù)學(xué)工具。通過計(jì)算這些參數(shù)，可以得知哪些屬性與目標(biāo)屬性更接近。
② 特征組合——旨在對輸入特征進(jìn)行降維，從而集中于新生成的特征。一旦知道轉(zhuǎn)換規(guī)則，手動(dòng)生成特征便成為可能。例如，研究已經(jīng)發(fā)現(xiàn)，能量密度對AM加工期間的凝固和冶金以及所制造部件的微觀結(jié)構(gòu)和機(jī)械性能具有明顯的影響。能量密度在SLM中表示如下：
式中，P 是激光功率；v 是掃描速度；h 是艙口間距；d 是層厚度。如上式所示，這4個(gè)特征可以轉(zhuǎn)換為新的但影響更顯著的特征E。此外，仍然可以使用數(shù)學(xué)工具來提供幫助，例如應(yīng)用主成分分析（PCA）根據(jù)特征的數(shù)值而不是其性質(zhì)來減少維度。
過擬合和欠擬合的問題
良好的泛化能力是NN算法的關(guān)鍵目標(biāo)，用來衡量算法是否能夠準(zhǔn)確預(yù)測先前未知數(shù)據(jù)。然而，NN算法表現(xiàn)差的原因是由于過擬合或欠擬合。過擬合意味著NN算法試圖擬合訓(xùn)練集中的每個(gè)數(shù)據(jù)點(diǎn)；因此，該模型非常容易受到噪聲或異常值的影響。相反，欠擬合意味著NN算法無法提取訓(xùn)練集中數(shù)據(jù)點(diǎn)之間的合理關(guān)系。避免過擬合和欠擬合的技術(shù)包括添加正則項(xiàng)和隨機(jī)丟棄神經(jīng)元等。
對未來的前瞻
數(shù)據(jù)
1. 加強(qiáng)API的數(shù)據(jù)采集互操作性
隨著AM的快速發(fā)展，每天都會(huì)產(chǎn)生大量數(shù)據(jù)。但是，這些數(shù)據(jù)在不同的研究團(tuán)體中交流傳播并不容易，因?yàn)檫@些“孤島”中的數(shù)據(jù)通常具有不一致的應(yīng)用程序編程接口（API）。因此，統(tǒng)一的數(shù)據(jù)采集API將有利于該領(lǐng)域的每個(gè)利益相關(guān)者。這種API的合格范例應(yīng)該包括明確定義的材料的熱力學(xué)屬性和工藝參數(shù)、用于微觀結(jié)構(gòu)表征的統(tǒng)一圖像類型，以及用于鑒定的相同測試標(biāo)準(zhǔn)。通過這種方式，數(shù)據(jù)的流動(dòng)障礙將會(huì)減少甚至消除，并且將在社區(qū)中實(shí)現(xiàn)更緊密的電子協(xié)作。
2. 數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理是數(shù)據(jù)驅(qū)動(dòng)的NN算法的必要先決條件，因?yàn)樗鼤?huì)對“廢”數(shù)據(jù)進(jìn)行清洗并將正確的數(shù)據(jù)提供給模型。但是，此步驟通常包括許多需要完成的繁瑣任務(wù)。例如，目前有一批掃描電子顯微鏡（SEM）圖像，其中包含晶粒、裂紋和孔隙度信息，而相應(yīng)的NN模型僅需要裂紋特征作為輸入。那么問題就歸結(jié)為如何準(zhǔn)確地從晶粒圖像中提取裂紋分布。對于沒有扎實(shí)的圖像處理和分析經(jīng)驗(yàn)的人來說，識別這些結(jié)構(gòu)特征的數(shù)字表達(dá)可能是一項(xiàng)挑戰(zhàn)。為數(shù)據(jù)（尤其是圖像數(shù)據(jù)）的預(yù)處理建立標(biāo)準(zhǔn)和進(jìn)行最佳實(shí)踐是一項(xiàng)必要的任務(wù)，其之后可以將成功的經(jīng)驗(yàn)遷移到更廣泛的領(lǐng)域。
3. 數(shù)據(jù)庫建設(shè)
在材料的許多領(lǐng)域，研究人員開發(fā)了知名的數(shù)據(jù)庫，用于以數(shù)字化方式組織/存儲/訪問數(shù)據(jù)，如MatWeb、OQMD和Citrine。鑒于AM的高度復(fù)雜性和多樣性，有必要構(gòu)建一個(gè)統(tǒng)一的數(shù)據(jù)庫平臺來托管不同研究組和不同機(jī)器每天生成的大量數(shù)據(jù)。目前可訪問的項(xiàng)目是AM材料數(shù)據(jù)庫（AMMD），它由美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）開發(fā)。該數(shù)據(jù)管理系統(tǒng)采用非關(guān)系型的數(shù)據(jù)庫（NoSQL）引擎構(gòu)建，其靈活的數(shù)據(jù)結(jié)構(gòu)非常適合AM情形。AMMD由Django框架進(jìn)行Web可視化，因此非常易于訪問。對于應(yīng)用程序開發(fā)，AMMD還為第三方調(diào)用提供REST API接口。
傳感
1. 硬件
如3.2節(jié)所示，研究人員開發(fā)了幾種傳感器系統(tǒng)，以便提供有關(guān)AM的實(shí)時(shí)信息。傳感器用于精確地檢測光學(xué)、熱學(xué)、聲學(xué)和超聲波信號，并提供有價(jià)值的見解來加深對AM的理解。然而，搭建可靠的傳感器系統(tǒng)仍然存在巨大的困難。例如，安裝在打印機(jī)內(nèi)部的傳感器必須能夠在惡劣的環(huán)境中正常工作很長時(shí)間。在EBM技術(shù)中，由真空環(huán)境中的高能電子束產(chǎn)生的金屬蒸氣可能會(huì)破壞相機(jī)鏡頭。此外，傳感器系統(tǒng)必須足夠靈敏以捕獲熔池的中心位置，因?yàn)榧す獾膾呙杷俣韧ǔ７浅？臁倪@個(gè)角度來看，AM的快速發(fā)展非常需要優(yōu)質(zhì)的傳感器系統(tǒng)作為支撐。
2. 軟件
傳感器硬件需要由功能強(qiáng)大的操作軟件所控制。控制軟件的基本模式包括監(jiān)視、記錄、分析和存儲數(shù)據(jù)。在一般情況下，例如在SLM過程期間，一旦硬件將捕獲的熔池圖像傳遞給軟件，它就可以計(jì)算溫度曲線并提取熱量和尺寸度量以進(jìn)行下一步的分析。其他令人關(guān)注的功能也可以添加到傳感軟件中，例如為軟件配備檢測孔洞、未熔合或孔隙等的算法（特別是機(jī)器學(xué)習(xí)算法）。
控制/優(yōu)化
AM逐層構(gòu)建零件，每層的質(zhì)量對最終產(chǎn)品的性能會(huì)產(chǎn)生很大的影響。因此，有必要確保每一層的質(zhì)量。多種類型的傳感器，例如捕獲光子、電、聲和熱信號的傳感器，可以提供AM過程中的原位測量。通過應(yīng)用ML可以實(shí)現(xiàn)閉環(huán)控制，以便同步分析該信息，然后將其輸出饋送到機(jī)器的控制器中。其潛在用途是訓(xùn)練CNN以基于由高速相機(jī)捕獲的層圖片來判斷層的質(zhì)量是否合適。在這種情況下，NN算法必須快速響應(yīng)輸入圖像。所幸的是，一些模型壓縮技術(shù)已經(jīng)可用，如參數(shù)剪枝和共享、低秩分解和知識蒸餾。
全鏈條連接
第3.2和3.3節(jié)分別展示了NN在構(gòu)建結(jié)構(gòu)-性能和工藝-性能之間關(guān)系方面的強(qiáng)大功能。此外，研究人員還構(gòu)建了其他模型來建立工藝-結(jié)構(gòu)-性能-使役性能（PSPP）聯(lián)系。例如，Azimi等利用全連接卷積神經(jīng)網(wǎng)絡(luò)（FCNN）對低碳鋼中的馬氏體/貝氏體/珠光體相進(jìn)行分類，如圖4所示。其分類精度可達(dá)93.94％，大大超過了目前其精度僅為48.89％的最先進(jìn)方法。雖然這種情況不在AM的范圍內(nèi)，但其概念很容易遷移到AM；可以預(yù)測的是，使用神經(jīng)網(wǎng)絡(luò)建立PSPP聯(lián)系方面會(huì)出現(xiàn)爆發(fā)性的增長，因?yàn)榕c其他方法和模型相比，神經(jīng)網(wǎng)絡(luò)在復(fù)雜模型識別中具有內(nèi)在優(yōu)勢。
圖4 使用CNN的馬氏體/貝氏體/珠光體分類方法的工作流程。經(jīng)Springer Nature許可轉(zhuǎn)載自參考文獻(xiàn)，2018
建模
如前所述，基于物理的模型是重現(xiàn)AM過程的傳統(tǒng)計(jì)算方法。然而，就時(shí)間、硬件和軟件而言，它需要大量的計(jì)算成本。如3.1節(jié)所示，可以從先前累積的數(shù)值數(shù)據(jù)集中學(xué)習(xí)并提取輸入和模擬輸出之間的嵌入式鏈接。換句話說，物理模擬的數(shù)值可以是ML算法的數(shù)據(jù)源，并且可以起到與實(shí)驗(yàn)數(shù)據(jù)相同的作用。Popova等開發(fā)了一個(gè)數(shù)據(jù)科學(xué)工作流程，將ML與物理模擬結(jié)合起來，然后將該工作流程應(yīng)用于使用Potts動(dòng)力學(xué)蒙特卡羅（kMC）方法獲得的一組AM微觀結(jié)構(gòu)（原始數(shù)據(jù)存放于哈佛大學(xué)Dataverse數(shù)據(jù)庫中）。Karpatne等提出理論指導(dǎo)數(shù)據(jù)科學(xué)（TGDS）的概念作為整合基于物理的模型和數(shù)據(jù)驅(qū)動(dòng)模型的新范例。他們確定了5大類將科學(xué)知識與不同學(xué)科的數(shù)據(jù)科學(xué)相結(jié)合的方法。在不久的將來，這兩種模型的結(jié)合肯定會(huì)解決當(dāng)前缺乏實(shí)驗(yàn)性AM數(shù)據(jù)及NN模型不可解釋等問題。
結(jié)論
最近在制造業(yè)和信息技術(shù)領(lǐng)域出現(xiàn)了兩個(gè)爆發(fā)性發(fā)展的技術(shù)：AM和NN算法。AM具有數(shù)字CAD模型集成以及構(gòu)建具有復(fù)雜形態(tài)的零件的能力等優(yōu)點(diǎn)，而NN則擅長于避免構(gòu)建和解決復(fù)雜的多尺度和多物理數(shù)學(xué)模型。AM和NN的結(jié)合已經(jīng)證明了在工業(yè)中實(shí)現(xiàn)“敏捷制造”概念的巨大潛力。本文全面概述了將NN算法應(yīng)用于從設(shè)計(jì)到后處理的完整AM鏈條的當(dāng)前進(jìn)展。這項(xiàng)工作的范圍涵蓋了各種應(yīng)用場景中的NN的許多變體，包括：用于鏈接AM工藝、性能和使役性能的傳統(tǒng)MLP；用于AM熔池識別的CNN；用于再現(xiàn)有限元模擬結(jié)果的LSTM和用于數(shù)據(jù)增強(qiáng)的VAE。然而，正如人們所說，“每枚硬幣都有兩面”：由于神經(jīng)網(wǎng)絡(luò)強(qiáng)烈依賴數(shù)據(jù)采集，所以很難控制AM部件的質(zhì)量。因此，這個(gè)跨學(xué)科領(lǐng)域仍然存在一些挑戰(zhàn)。我們?yōu)檫@些挑戰(zhàn)提出了相應(yīng)的潛在解決方案，并概述了我們對該領(lǐng)域未來趨勢的看法。
改編原文：
Xinbo Qi, Guofeng Chen, Yong Li, Xuan Cheng, Changpeng Li.Applying Neural-Network-based Machine Learning to Additive Manufacturing: Current Applications, Challenges, and Future Perspectives[J].Engineering,2019,5(4):721-729.
轉(zhuǎn)載請注明出處。
相關(guān)文章
熱門資訊
精彩導(dǎo)讀
關(guān)注我們
