多傳感器融合（Multi-sensor Fusion, MSF）是利用計(jì)算機(jī)技術(shù)，將來(lái)自多傳感器或多源的信息和數(shù)據(jù)以一定的準(zhǔn)則進(jìn)行自動(dòng)分析和綜合，以完成所需的決策和估計(jì)而進(jìn)行的信息處理過(guò)程。

一、基本原理

多傳感器融合基本原理就像人腦綜合處理信息的過(guò)程一樣，將各種傳感器進(jìn)行多層次、多空間的信息互補(bǔ)和優(yōu)化組合處理，產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋。在這個(gè)過(guò)程中要充分利用多源數(shù)據(jù)進(jìn)行合理支配與使用，而信息融合的目標(biāo)則是基于各傳感器獲得的分離觀測(cè)信息，通過(guò)對(duì)信息多級(jí)別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個(gè)傳感器相互協(xié)同操作的優(yōu)勢(shì)，而且也綜合處理了其它信息源的數(shù)據(jù)來(lái)提高整個(gè)傳感器系統(tǒng)的智能化。

具體來(lái)講，多傳感器數(shù)據(jù)融合原理如下：

（1）多個(gè)不同類型傳感器（有源或無(wú)源）收集觀測(cè)目標(biāo)的數(shù)據(jù)；

（2）對(duì)傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時(shí)間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個(gè)直接的屬性說(shuō)明）進(jìn)行特征提取的變換，提取代表觀測(cè)數(shù)據(jù)的特征矢量Yi；

（3）對(duì)特征矢量Yi進(jìn)行模式識(shí)別處理（如聚類算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標(biāo)屬性判決的統(tǒng)計(jì)模式識(shí)別法等），完成各傳感器關(guān)于目標(biāo)的說(shuō)明；

（4）將各傳感器關(guān)于目標(biāo)的說(shuō)明數(shù)據(jù)按同一目標(biāo)進(jìn)行分組，即關(guān)聯(lián)；

（5）利用融合算法將目標(biāo)的各傳感器數(shù)據(jù)進(jìn)行合成，得到該目標(biāo)的一致性解釋與描述。

二、融合算法

對(duì)于多傳感器系統(tǒng)而言，信息具有多樣性和復(fù)雜性，因此對(duì)信息融合算法的基本要求 是具有魯棒性和并行處理能力。其他要求還有算法的運(yùn)算速度和精度；與前續(xù)預(yù)處理系統(tǒng)和后續(xù)信息識(shí)別系統(tǒng)的接口性能；與不同技術(shù)和方法的協(xié)調(diào)能力；對(duì)信息樣本的要求等。一般情況下，基于非線性的數(shù)學(xué)方法，如果具有容錯(cuò)性、自適應(yīng)性、聯(lián)想記憶和并行處理能力，則都可以用來(lái)作為融合方法。

多傳感器數(shù)據(jù)融合的常用方法基本上可分為兩大類：隨機(jī)類和人工智能類。

2.1 隨機(jī)類

（1）加權(quán)平均法

信號(hào)級(jí)融合方法zui簡(jiǎn)單直觀的方法是加權(quán)平均法，將一組傳感器提供的冗余信息進(jìn)行加權(quán)平均，結(jié)果作為融合值。該方法是一種直接對(duì)數(shù)據(jù)源進(jìn)行操作的方法。

（2）卡爾曼濾波法

主要用于融合低層次實(shí)時(shí)動(dòng)態(tài)多傳感器冗余數(shù)據(jù)。該方法用測(cè)量模型的統(tǒng)計(jì)特性遞推，決定統(tǒng)計(jì)意義下的zui 優(yōu)融合和數(shù)據(jù)估計(jì)。如果系統(tǒng)具有線性動(dòng)力學(xué)模型，且系統(tǒng)與傳感器的誤差符合高斯白噪聲模型，則卡爾曼濾波將為融合數(shù)據(jù)提供唯 一統(tǒng)計(jì)意義下的zui 優(yōu)估計(jì)。

卡爾曼濾波的遞推 特性使系統(tǒng)處理無(wú)需大量的數(shù)據(jù)存儲(chǔ)和計(jì)算。但是采用單一的卡爾曼濾波器對(duì)多傳感器組合系統(tǒng)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)時(shí)，存在很多嚴(yán)重問(wèn)題，例如：① 在組合信息大量冗余情況下，計(jì)算量將以濾波器維數(shù)的三次方劇增，實(shí)時(shí)性難以滿足。② 傳感器子系統(tǒng)的增加使故障概率增加，在某一系統(tǒng)出現(xiàn)故障而沒(méi)有來(lái)得及被檢測(cè)出時(shí)，故障會(huì)污染整個(gè)系統(tǒng)，使可靠性降低。

（3）多貝葉斯估計(jì)法

將每一個(gè)傳感器作為一個(gè)貝葉斯估計(jì)，把各單獨(dú)物體的關(guān)聯(lián)概率分布合成一個(gè)聯(lián)合的后驗(yàn)概率分布函數(shù)，通過(guò)使聯(lián)合分布函數(shù)的似然函數(shù)為zui小，提供多傳感器信息的zui終融合值，融合信息與環(huán)境的一個(gè)先驗(yàn)?zāi)Ｐ鸵蕴峁┱麄€(gè)環(huán)境的一個(gè)特征描述。

（4）D-S證據(jù)推理法

該方法是貝葉斯推理的擴(kuò)充，包含3個(gè)基本要點(diǎn)：基本概率賦值函數(shù)、信任函數(shù)和似然函數(shù)。

D-S方法的推理結(jié)構(gòu)是自上而下的，分為三級(jí)：第 一 級(jí)為目標(biāo)合成，其作用是把來(lái)自獨(dú)立傳感器的觀測(cè)結(jié)果合成為一個(gè)總的輸出結(jié)果（ID）；第 二級(jí)為推斷，其作用是獲得傳感器的觀測(cè)結(jié)果并進(jìn)行推斷，將傳感器觀測(cè)結(jié)果擴(kuò)展成目標(biāo)報(bào)告。這種推理的基礎(chǔ)是：一定的傳感器報(bào)告以某種可信度在邏輯上會(huì)產(chǎn)生可信的某些目標(biāo)報(bào)告；第三級(jí)為更新，各傳感器一般都存在隨機(jī)誤差，因此在時(shí)間上充分獨(dú)立地來(lái)自同一傳感器的一組連續(xù)報(bào)告比任何單一報(bào)告更加可靠。所以在推理和多傳感器合成之前，要先組合（更新）傳感器的觀測(cè)數(shù)據(jù)。

（5）產(chǎn)生式規(guī)則

采用符號(hào)表示目標(biāo)特征和相應(yīng)傳感器信息之間的聯(lián)系，與每一個(gè)規(guī)則相聯(lián)系的置信因子表示它的不確定性程度。當(dāng)在同一個(gè)邏輯推理過(guò)程中，2個(gè)或多個(gè)規(guī)則形成一個(gè)聯(lián)合規(guī)則時(shí)，可以產(chǎn)生融合。應(yīng)用產(chǎn)生式規(guī)則進(jìn)行融合的主要問(wèn)題是每個(gè)規(guī)則置信因子的定義與系統(tǒng)中其他規(guī)則的置信因子相關(guān)，如果系統(tǒng)中引入新的傳感器，需要加入相應(yīng)的附加規(guī)則。

2.2 AI類

（1）模糊邏輯推理

模糊邏輯是多值邏輯，通過(guò)指定一個(gè)0到1之間的實(shí)數(shù)表示真實(shí)度（相當(dāng)于隱含算子的前提），允許將多個(gè)傳感器信息融合過(guò)程中的不確定性直接表示在推理過(guò)程中。如果采用某種系統(tǒng)化的方法對(duì)融合過(guò)程中的不確定性進(jìn)行推理建模，則可以產(chǎn)生一致性模糊推理。

與概率統(tǒng)計(jì)方法相比，邏輯推理存在許多優(yōu)點(diǎn)，它在一定程度上克服了概率論所面臨的問(wèn)題，對(duì)信息的表示和處理更加接近人類的思維方式，一般比較適合于在高層次上的應(yīng)用（如決策）。但是邏輯推理本身還不夠成熟和系統(tǒng)化。此外由于邏輯推理對(duì)信息的描述存在很多的主觀因素，所以信息的表示和處理缺乏客觀性。

模糊集合理論對(duì)于數(shù)據(jù)融合的實(shí)際價(jià)值在于它外延到模糊邏輯，模糊邏輯是一種多值邏輯，隸屬度可視為一個(gè)數(shù)據(jù)真值的不精 確表示。在MSF過(guò)程中，存在的不確定性可以直接用模糊邏輯表示，然后使用多值邏輯推理，根據(jù)模糊集合理論的各種演算對(duì)各種命題進(jìn)行合并，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)融合。

（2）人工神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的容錯(cuò)性以及自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這些特性和強(qiáng)大的非線性處理能力，恰好滿足多傳感器數(shù)據(jù)融合技術(shù)處理的要求。在多傳感器系統(tǒng)中，各信息源所提供的環(huán)境信息都具有一定程度的不確定性，對(duì)這些不確定信息的融合過(guò)程實(shí)際上是一個(gè)不確定性推理過(guò)程。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類標(biāo)準(zhǔn)，這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上，同時(shí)可以采用學(xué)習(xí)算法來(lái)獲取知識(shí)，得到不確定性推理機(jī)制。利用神經(jīng)網(wǎng)絡(luò)的信號(hào)處理能力和自動(dòng)推理功能，即實(shí)現(xiàn)了多傳感器數(shù)據(jù)融合。

三、應(yīng)用領(lǐng)域

多傳感器數(shù)據(jù)融合作為一種可消除系統(tǒng)的不確定因素、提供準(zhǔn)確的觀測(cè)結(jié)果和綜合信息的智能化數(shù)據(jù)處理技術(shù)，已在軍 事、工業(yè)監(jiān)控、智能檢測(cè)、機(jī)器人、圖像分析、目標(biāo)檢測(cè)與跟蹤、自動(dòng)目標(biāo)識(shí)別等領(lǐng)域獲得普遍關(guān)注和廣泛應(yīng)用。

（1）機(jī)器人

多傳感器數(shù)據(jù)融合技術(shù)的另一個(gè)典型應(yīng)用領(lǐng)域?yàn)闄C(jī)器人。目前主要應(yīng)用在移動(dòng)機(jī)器人和遙操作機(jī)器人上，因?yàn)檫@些機(jī)器人工作在動(dòng)態(tài)、不確定與非結(jié)構(gòu)化的環(huán)境中（如“勇氣”號(hào)和“機(jī)遇”號(hào)火星車）。這些高度不確定的環(huán)境要求機(jī)器人具有高度的自治能力和對(duì)環(huán)境的感知能力，而多傳感器數(shù)據(jù)融合技術(shù)正是提高機(jī)器人系統(tǒng)感知能力的有效方法。實(shí)踐證明：采用單個(gè)傳感器的機(jī)器人不具有完整、可靠地感知外部環(huán)境的能力。智能機(jī)器人應(yīng)采用多個(gè)傳感器，并利用這些傳感器的冗余和互補(bǔ)的特性來(lái)獲得機(jī)器人外部環(huán)境動(dòng)態(tài)變化的、比較完整的信息，并對(duì)外部環(huán)境變化做出實(shí)時(shí)的響應(yīng)。目前，機(jī)器人學(xué)界提出向非結(jié)構(gòu)化環(huán)境進(jìn)軍，其核心的關(guān)鍵之一就是多傳感器系統(tǒng)和數(shù)據(jù)融合。

（2）遙感

多傳感器融合在遙感領(lǐng)域中的應(yīng)用，主要是通過(guò)高空間分辨力全色 圖像和低光譜分辨力圖像的融合，得到高空問(wèn)分辨力和高光譜分辨力的圖像，融合多波段和多時(shí)段的遙感圖像來(lái)提高分類的準(zhǔn)確性。

（3）智能交通管理系統(tǒng)

數(shù)據(jù)融合技術(shù)可應(yīng)用于地面車輛定位、車輛跟蹤、車輛導(dǎo)航以及空中交通管制系統(tǒng)等。

（4）復(fù)雜工業(yè)過(guò)程控制

復(fù)雜工業(yè)過(guò)程控制是數(shù)據(jù)融合應(yīng)用的一個(gè)重要領(lǐng)域。目前，數(shù)據(jù)融合技術(shù)已在核反應(yīng)堆和石油平臺(tái)監(jiān)視等系統(tǒng)中得到應(yīng)用。融合的目的是識(shí)別引起系統(tǒng)狀態(tài)超出正常運(yùn)行范圍的故障條件，并據(jù)此觸發(fā)若干報(bào)警器。通過(guò)時(shí)間序列分析、頻率分析、小波分析，從各傳感器獲取的信號(hào)模式中提取出特征數(shù)據(jù)，同時(shí)，將所提取的特征數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模式識(shí)別器，神經(jīng)網(wǎng)絡(luò)模式識(shí)別器進(jìn)行特征級(jí)數(shù)據(jù)融合，以識(shí)別出系統(tǒng)的特征數(shù)據(jù)，并輸入到模糊專家系統(tǒng)進(jìn)行決策級(jí)融合；專家系統(tǒng)推理時(shí)，從知識(shí)庫(kù)和數(shù)據(jù)庫(kù)中取出領(lǐng)域知識(shí)規(guī)則和參數(shù)，與特征數(shù)據(jù)進(jìn)行匹配（融合）；zui后，決策出被測(cè)系統(tǒng)的運(yùn)行狀態(tài)、設(shè)備工作狀況和故障等。

四、存在問(wèn)題及發(fā)展趨勢(shì)

隨著傳感器技術(shù)、數(shù)據(jù)處理技術(shù)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通訊技術(shù)、人工智能技術(shù)、并行計(jì)算軟件和硬件技術(shù)等相關(guān)技術(shù)的發(fā)展，尤其是人工智能技術(shù)的進(jìn)步，新的、更有效的數(shù)據(jù)融合方法將不斷推出，多傳感器數(shù)據(jù)融合必將成為未來(lái)復(fù)雜工業(yè)系統(tǒng)智能檢測(cè)與數(shù)據(jù)處理的重要技術(shù)，其應(yīng)用領(lǐng)域?qū)⒉粩鄶U(kuò)大。多傳感器數(shù)據(jù)融合不是一門單一的技術(shù)，而是一門跨學(xué)科的綜合理論和方法，并且是一個(gè)不很成熟的新研究領(lǐng)域，尚處在不斷變化和發(fā)展過(guò)程中。

（1）存在問(wèn)題及發(fā)展趨勢(shì)

尚未建立統(tǒng)一的融合理論和有效廣義融合模型及算法；對(duì)數(shù)據(jù)融合的具體方法的研究尚處于初步階段；還沒(méi)有很好解決融合系統(tǒng)中的容錯(cuò)性或魯棒性問(wèn)題；關(guān)聯(lián)的二義性是數(shù)據(jù)融合中的主要障礙；數(shù)據(jù)融合系統(tǒng)的設(shè)計(jì)還存在許多實(shí)際問(wèn)題。

（2）發(fā)展趨勢(shì)

建立統(tǒng)一的融合理論、數(shù)據(jù)融合的體系結(jié)構(gòu)和廣義融合模型；解決數(shù)據(jù)配準(zhǔn)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)庫(kù)構(gòu)建、數(shù)據(jù)庫(kù)管理、人機(jī)接口、通用軟件包開(kāi)發(fā)問(wèn)題，利用成熟的輔助技術(shù)，建立面向具體應(yīng)用需求的數(shù)據(jù)融合系統(tǒng)；將人工智能技術(shù)，如，神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊理論、專家理論等引入到數(shù)據(jù)融合領(lǐng)域；利用集成的計(jì)算智能方法（如，模糊邏輯＋神經(jīng)網(wǎng)絡(luò)，遺傳算法＋模糊＋神經(jīng)網(wǎng)絡(luò)等）提高多傳感融合的性能；解決不確定性因素的表達(dá)和推理演算，例如：引入灰數(shù)的概念；利用有關(guān)的先驗(yàn)數(shù)據(jù)提高數(shù)據(jù)融合的性能，研究更加先進(jìn)復(fù)雜的融合算法（未知和動(dòng)態(tài)環(huán)境中，采用并行計(jì)算機(jī)結(jié)構(gòu)多傳感器集成與融合方法的研究等）；在多平臺(tái)／單平臺(tái)、異類／同類多傳感器的應(yīng)用背景下，建立計(jì)算復(fù)雜程度低，同時(shí)，又能滿足任務(wù)要求的數(shù)據(jù)處理模型和算法；構(gòu)建數(shù)據(jù)融合測(cè)試評(píng)估平臺(tái)和多傳感器管理體系；將已有的融合方法工程化與商品化，開(kāi)發(fā)能夠提供多種復(fù)雜融合算法的處理硬件，以便在數(shù)據(jù)獲取的同時(shí)就實(shí)時(shí)地完成融合。