人們對人機系統(tǒng)關系的認識問題，伴隨著人機關系基本觀點的變化由來已久。在計算機出現(xiàn)的不足半個世紀的時間里，人機交互技術經(jīng)歷了巨大的變化。以下從幾個不同的角度來觀察和總結人機交互技術發(fā)生的變化及發(fā)展趨勢：
　　(1)就用戶界面的具體形式而言，過去經(jīng)歷了批處理、聯(lián)機終端(命令接口)、(文本)菜單等多通道――多媒體用戶界面和虛擬現(xiàn)實系統(tǒng)。
　　(2)就用戶界面中信息載體類型而言，經(jīng)歷了以文本為主的字符用戶界面(CUI)、以二維圖形為主的圖形用戶界面(GUI)和多媒體用戶界面，計算機與用戶之間的通信帶寬不斷提高。
　　(3)就計算機輸出信息的形式而言，經(jīng)歷了以符號為主的字符命令語言、以視覺感知為主的圖形用戶界面、兼顧聽覺感知的多媒體用戶界面和綜合運用多種感觀(包括觸覺等)的虛擬現(xiàn)實系統(tǒng)。在符號階段，用戶面對的只有單一文本符號，雖然離不開視覺的參與，但視覺信息是非本質的，本質的東西只有符號和概念。在視覺階段，借助計算機圖形學技術使人機交互能夠大量利用顏色、形狀等視覺信息，發(fā)揮人的形象感知和形象思維的潛能，提高了信息傳遞的效率。早期的計算機系統(tǒng)只有單調的峰鳴聲，雖然多媒體技術將聲頻形式和視頻形式同時帶入人機交互，但仍缺少聽覺交互手段，即人處于被動收聽狀態(tài)，聲音缺少位置和方向的變化，交互輸入方面仍沿用圖形用戶界面所采用的鍵盤和鼠標器等交互設備。當前，在人機交互中結合進視覺的、聽覺的以及更多的通道是必然趨勢，特別是將聽覺通道作為補充的或替換的信息通道已顯示出重要性和優(yōu)越性［1］。
　　(4)就人機界面中的信息維度而言，經(jīng)歷了一維信息(主要指文本流，如早期電傳式終端)、二維信息(主要是二維圖形技術，利用了色彩、形狀、紋理等維度信息)、三維信息(主要是三維圖形技術，但顯示技術仍利用二維平面為主)和多維信息(多通道的多維信息)空間。
　　不論從何種角度看，人機交互發(fā)展的趨勢體現(xiàn)了對人的因素的不斷重視，使人機交互更接近于自然的形式，使用戶能利用日常的自然技能，不須經(jīng)過特別的努力和學習，認知負荷降低，工作效率提高。這種“以人為中心”的思想特別是自80年代以來，在人機交互技術的研究中得到明顯的體現(xiàn)。本文通過簡要回顧和分析人機交互技術的變化過程，進而展望未來發(fā)展的趨勢。

1　命令語言用戶界面

　　真正意義上的人機交互開始于聯(lián)機終端的出現(xiàn)，此時計算機用戶與計算機之間可借助一種雙方都能理解的語言進行交互式對話。根據(jù)語言的特點可分為：
　　a. 形式語言。這是一種人工語言，特點是簡潔、嚴密、高效，如應用于數(shù)學、化學、音樂、舞蹈等各領域的特殊語言，計算機語言則不僅是操縱計算機的語言，而且是處理語言的語言；
　　b. 自然語言。特點是具有多義性、微妙、豐富；
　　c. 類自然語言。這是計算機語言的一種特例。
　　命令語言的典型形式是動詞后面接一個名詞賓語，即“動詞+賓語”，二者都可帶有限定詞或量詞。命令語言可以具有非常簡單的形式，也可以有非常復雜的語法。
　　命令語言要求驚人的記憶和大量的訓練，并且容易出錯，使入門者望而生畏，但比較靈活和高效，適合于專業(yè)人員使用。

2　圖形用戶界面

　　圖形用戶界面(GUI-Graphics User Interface)是當前用戶界面的主流，廣泛應用于各檔臺式微機和圖形工作站。比較成熟的商品化系統(tǒng)有Apple的Macintosh、IBM的PM(Presentation Manager)、Microsoft的Windows和運行于Unix環(huán)境的X-Window、OpenLook和OSF/Motif等。當前各類圖形用戶界面的共同特點是以窗口管理系統(tǒng)為核心，使用鍵盤和鼠標器作為輸入設備。窗口管理系統(tǒng)除基于可重疊多窗口管理技術外，廣泛采用的另一核心技術是事件驅動(Event-Driven)技術。圖形用戶界面和人機交互過程極大地依賴視覺和手動控制的參與，因此具有強烈的直接操作特點。
　　雖然菜單與圖形用戶界面并沒有必然的聯(lián)系，但圖形用戶界面中菜單的表現(xiàn)形式比字符用戶界面更為豐富，在菜單項中可以顯示不同的字體、圖標甚至產(chǎn)生三維效果。菜單界面與命令語言界面相比，用戶只需確認而不需回憶系統(tǒng)命令，從而大大降低記憶負荷。但菜單的缺點是靈活性和效率較差，可能不十分適合于專家用戶?；趫D形用戶界面的優(yōu)點是具有一定的文化和語言獨立性，并可提高視覺目標搜索的效率。圖形用戶界面的主要缺點是需要占用較多的屏幕空間，并且難以表達和支持非空間性的抽象信息的交互。

3　直接操縱用戶界面

　　直接操縱(Direct manipulation)用戶界面是Shneiderman［2］首先提出的概念，直接操縱用戶界面更多地借助物理的、空間的或形象的表示，而不是單純的文字或數(shù)字的表示。前者已為心理學證明有利于“問題解決”和“學習”。視覺的、形象的(藝術的、右腦的、整體的、直覺的)用戶界面對于邏輯的、直接性的、面向文本的、左腦的、強迫性的、推理的用戶界面是一個挑戰(zhàn)。直接操縱用戶界面的操縱模式與命令界面相反，基于“賓 語+動詞”這樣的結構，Windows 95設計者稱之為“以文檔為中心”［3］。用戶最終關心的是他欲控制和操作的對象，他只關心任務語義，而不用過多為計算機語義和句法而分心。對于大量物理的、幾何空間的以及形象的任務，直接操縱已表現(xiàn)出巨大的優(yōu)越性，然而在抽象的、復雜的應用中，直接操縱用戶界面可能會表現(xiàn)出其局限性。從用戶界面設計者角度看：
　　a. 設計圖形比較因難，需大量的測試和實驗；
　　b. 復雜語義、抽象語義表示比較困難［7］；
　　c. 不容易使用戶界面與應用程序分開獨立設計。
　　總之，直接操縱用戶界面不具備命令語言界面的某些優(yōu)點。

4　多媒體用戶界面

　　多媒體技術被認為是在智能用戶界面和自然交互技術取得突破之前的一種過渡技術。在多媒體用戶界面出現(xiàn)之前，用戶界面已經(jīng)經(jīng)過了從文本向圖形的過渡，此時用戶界面中只有兩種媒體：文本和圖形(圖像)，都是靜態(tài)的媒體。多媒體技術引入了動畫、音頻、視頻等動態(tài)媒體，特別是引入了音頻媒體，從而大大豐富了計算機表現(xiàn)信息的形式，拓寬了計算機輸出的帶寬，提高了用戶接受信息的效率。
　　多媒體信息在人機交互中的巨大潛力主要來自它能提高人對信息表現(xiàn)形式的選擇和控制能力。同時也能提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力的結合程度，在順序、符號信息以及并行、聯(lián)想信息方面擴展人的信息處理能力。多媒體信息比單一媒體信息對人具有更大的吸引力，它有利于人對信息的主動探索而不是被動接受。另一重要原因是多媒體所帶來的信息冗余性，重復使用別的媒體或并行使用多種媒體可消除人機通信過程中多義性及噪聲。
　　多媒體用戶界面豐富了信息的表現(xiàn)形式，但基本上限于信息的存儲和傳輸方面，并沒有理解媒體信息的含義，這是其不足之處，從而也限制了它的應用場合。多媒體與人工智能技術結合起來而進行的媒體理解和推理的研究將改變這種現(xiàn)狀。另一方面，多通道用戶界面研究的興起，將進一步提高計算機的信息識別、理解能力，提高人機交互的效率和用戶友好性，將人機交互技術和用戶界面設計引向更高境界。

5　多通道用戶界面 　　

　　多媒體用戶界面大大豐富了計算機信息的表現(xiàn)形式，使用戶可以交替或同時利用多個感覺通道。然而多媒體用戶界面的人機交互形式仍迫使用戶使用常規(guī)的輸入設備(鍵盤，鼠標器和觸摸屏)進行輸入，即輸入仍是單通道的，輸入輸出表現(xiàn)出極大的不平衡。
　　多媒體用戶界面豐富了信息表現(xiàn)形式，發(fā)揮了用戶感知信息的效率，拓寬了計算機到用戶的通信帶寬。而用戶到計算機的通信帶寬卻仍停留在圖形用戶界面(WIMP/GUI)階段的鍵盤和鼠標器，從而成為當今人機交互技術的瓶頸。80年代后期以來，多通道用戶界面(Multimodal User Interface)成為人機交互技術研究的嶄新領域，在國際上受到高度重視。多通道用戶界面的研究正是為了消除當前WIMP/GUI、多媒體用戶界面通信帶寬不平衡的瓶頸，綜合采用視線、語音、手勢等新的交互通道、設備和交互技術，使用戶利用多個通道以自然、并行、協(xié)作的方式進行人機對話，通過整合來自多個通道的精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機交互的自然性和高效性。國外研究(包括上述項目)涉及鍵盤、鼠標器之外的輸入通道主要是語音和自然語言、手勢、書寫和眼動方面，并以具體系統(tǒng)研究為主。
　　多通道用戶界面與多媒體用戶界面一道共同提高人機交互的自然性和效率。多通道用戶界面主要關注人機界面中用戶向計算機輸入信息以及計算機對用戶意圖理解的問題，它所要達到的目標可歸納為如下方面：a. 交互自然性，使用戶盡可能多地利用已有的日常技能與計算機交互，降低認識負荷；b. 交互高效性，使人機通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機彼此不同的認知潛力；c. 吸取已有人機交互技術的成果，與傳統(tǒng)的用戶界面特別是廣泛流行的WIMP/GUI兼容，使老用戶、專家用戶的知識和技能得以利用，不被淘汰。
　　研究者心目中的多通道用戶界面具有以下幾個基本特點：
　　a. 使用多個感覺和效應通道。盡管感覺通道側重于多媒體信息的接受，而效應通道側重于交互過程中控制與信息的輸入，但兩者是密不可分、相互配合的；當僅使用一種通道(如語音)不能充分表達用戶的意圖時，需輔以其它通道(如手勢指點)的信息；有時使用輔助通道以增強表達力。需要特別強調的是，交替而獨立地使用不同的通道不是真正意義上的多通道技術，反之，必須允許充分地并行、協(xié)作的通道配合關系；
　　b. 三維的和直接操縱的。人類大多數(shù)活動領域具有三維和直接操縱特點(也許數(shù)學的和邏輯的活動例外)，人生活在三維空間，習慣于看、聽和操縱三維的客觀對象，并希望及時看到這種控制的結果。多通道人機交互的自然性反應了這種本質特點。
　　c. 允許非精確的交互。人類在日常生活中習慣于并大量使用非精確的信息交流，人類語言本身就具有高度模糊性。允許使用模糊的表達手段可以避免不必要的認識負荷，有利于提高交互活動的自然性和高效性；多通道人機交互技術主張以充分性代替精確性［4］。
　　d. 交互雙向性。人的感覺和效應通道通常具有雙向性的特點，如視覺可看可注視，手可控制、可觸及等，多通道用戶界面使用戶避免生硬的、不自然的、頻繁的、耗時的通道切換從而提高自然性和效率。例如視線跟蹤系統(tǒng)可促成視覺交互雙向性，聽覺通道在利用三維聽覺定位器(3D Auditory Localizer)實現(xiàn)交互雙向性，這在單通道用戶界面是難以想象的；
　　e. 交互的隱含性。有人認為，好的用戶界面應當使用戶把所有注意力均集中于完成任務而無需為界面分心，即好的用戶界面對用戶而言應當是不存在界面。追求交互自然性的多通道用戶界面并不需要用戶顯式地說明每個交互成分，反之是在自然的交互過程中隱含地說明。例如，用戶的視線自然地落在所感興趣的對象之上；又如，用戶的手自然地握住被操縱的目標。

6　虛擬現(xiàn)實技術

　　虛擬現(xiàn)實(Virtual Reality)又稱虛擬環(huán)境(Virtual Environment)。虛擬現(xiàn)實系統(tǒng)向用戶提供臨境(immerse)和多感覺通道(multi-sensory)體驗，它的三個重要特點，所謂的I3?［5］，即臨境感(Immersion)、交互性(Interaction)、構想性(Imagination)決定了它與以往人機交互技術的不同特點，反映了人機關系的演化過程：在傳統(tǒng)的人機系統(tǒng)中，人是操作者，機器只是被動的反應；在一般的計算機系統(tǒng)中，人是用戶，人與計算機之間以一種對話方式工作；在虛擬現(xiàn)實中，人是主動參與者，復雜系統(tǒng)中可能有許多參與者共同在以計算機網(wǎng)絡系統(tǒng)為基礎的虛擬環(huán)境中協(xié)同工作，虛擬現(xiàn)實系統(tǒng)的應用十分廣泛，幾乎可用于支持任何人類活動和任何應用領域。
　　作為一種新型人機交互形式，虛擬現(xiàn)實技術比以前任何人機交互形式都有希望徹底實現(xiàn)和諧的、“以人為中心”的人機界面。多通道和多媒體技術的許多應用成果可直接被應用于虛擬現(xiàn)實技術，而虛擬現(xiàn)實技術正是一種以集成為主的技術，其人機界面可以分解為多媒體多通道界面。從體質上說，多媒體用戶界面技術側重解決計算機信息表現(xiàn)及輸出的自然性和多樣性問題，而多通道技術側重解決計算機信息輸入及識別的自然性和多樣性問題。另一方面，交互雙向性特點同時存在于這兩種人機交互技術中，例如三維虛擬聲顯示技術不僅作為靜態(tài)的顯示，而且其交互性可使用聲響效果隨用戶頭和身體的運動而改變［6］；又如視覺通道交互雙向性表現(xiàn)在眼睛既用于接受視覺信息，又可通過注視而輸入信息，形成所謂的視覺交互。

7　什么是理想人機交互技術

　　人機交互技術幾十年來經(jīng)歷了幾個不同的主要發(fā)展階段和典型風格。當前，占統(tǒng)治地位的圖形用戶界面(WIMP/GUI)正遭受不斷的批評，而新的交互技術尚不成熟和普及，于是人們更為熱衷于爭論未來的人機界面“可能是什么樣子”而且莫衷一是。在此，我們也想加入這種討論的行列，根據(jù)幾年來研究工作的心得發(fā)表一些看法，談談什么是理想人機交互風格。我們的出發(fā)點處于人機工程學這個大背景，遵循人機工程學的基本觀點，在“以人為中心”前提下強調人機配合。
　　讓我們先考察在人機工程學出現(xiàn)之前人類如何對待工具。不管某個具體工具的設計者在某個具體時期如何理解人與工具的關系，就人類勞動(尤其是制造和使用工具)的歷史長河而言，人類是在努力不懈地改造和馴服自然，而工具的制造和完善都是在服從這種目的的前提下進行的。就使用特定工具是否需要經(jīng)過訓練以及所需訓練的程度如何，也是不一而論的。人的技能有簡單與復雜之分，也許人人都能學會打字，但未必人人都能學會駕駛航天飛機。
　　較為合理的看法是“自然人機交互是利用人的日常技能進行的”，強調無需特別訓練或不需要訓練。但究竟什么是“日常技能”以及日常技能是否都是不經(jīng)訓練或稍作訓練即可獲得呢?語言(特別是書面語言)是必須經(jīng)過訓練的，音樂、繪畫、生產(chǎn)工藝等莫不如此。我們認為，人從日常環(huán)境走向計算環(huán)境時原本具有的技能便是所謂的“日常技能”?？梢娺@是一個相對的概念，其中并不細究是否需訓練的問題。所以我們不能以是否需要訓練來衡量人機交互技術的好壞。人機工程學并不否定訓練，避免訓練或減少訓練是人們的愿望，但能否做到并不完全由人的主觀意志決定，應根據(jù)人機交互任務的目的、特點、場合以及實現(xiàn)成本等因素來決定人機交流應達到的自然性程序。
　　也許對于早期的“純粹”的計算機問題和為數(shù)極少的計算機專家而言，命令語言及程序語言界面是足夠的。但是當計算機大量應用于CAD/CAM、字處理、MIS等非數(shù)值計算領域之后，需要進行大量幾何的、空間的、非數(shù)值的、非符號的信息處理手段，此時形式語言界面的復雜性、抽象性，對記憶負荷要求等限制了計算機應用的深入和普及，隨之直接操縱給用戶界面技術應運而生并廣受歡迎。我們相信，形式語言不會消失，當然也不能強迫所有用戶都接受它。這正如數(shù)學語言并不會被其它形式的語言(如圖形的、手勢的)所取代，雖然心理學家嘗試在數(shù)學教育中大量利用非數(shù)學手段；又如流行音樂與高雅音樂各分秋色，聽眾各有所好。目前，直接操縱界面不但沒有徹底取代形式語言界面，而且其自身也表現(xiàn)出許多局限性。而基于語言的對話式交互方式又重新開始受到重視，只是對話語言不再限于單純的形式語言，而是引入了自然語言或類自然語言對話，如所謂的第四代語言，甚至引入基于語音的人機對話?；谛问秸Z言、自然語言或類自然語言的用戶界面本質上都是命令驅動的，其基本模式與直接操作用戶界面相反。這兩種本質不同的人機交互模式在人類的日?；顒又卸即嬖谄鋵男问?，分別對應于語言的和非語言的交際活動，后者泛指形體語言，包括姿勢，情態(tài)、觸摸、近體、標志等。語言具有后天習得性，有口頭語言和書面語言兩種，書面語言需要正規(guī)和專門的教育和訓練才能掌握。
　　我們認為，自然人機交互模式是以直接操縱為主的、與命令語言特別是自然語言共存的人機交互形式。理想的人機交互模式就是“用戶自由”。

結論

　　人機交互和計算機用戶界面剛剛走過基于字符方式的命令語言式界面，目前正處于圖形用戶界面時代。但是，計算機科學家并不滿足于這種現(xiàn)狀，他們正積極探索新型風格的人機交互技術。當前語音識別技術和計算機聯(lián)機手寫識別技術的商業(yè)成功讓人們看到了自然人機交互的曙光。虛擬現(xiàn)實和多通道用戶界面的迅速發(fā)展顯示出未來人機交互技術的發(fā)展趨勢是追求所謂“人機和諧”的多維信息空間［8］和“基于自然交互方式的”［9］的人機交互風格。