19.2 學(xué)習(xí)中的知識

前一節(jié)中描述了歸納學(xué)習(xí)的最簡單背景。為了理解先驗(yàn)知識的角色，我們需要談一談假設(shè)、實(shí)例描述以及分類之間的邏輯關(guān)系。令 Descriptions（描述）表示所有訓(xùn)練集中實(shí)例描述的合取式， Classifications（分類）表示所有實(shí)例分類的合取式。那么一個“解釋觀察事實(shí)”的Hypothesis（假設(shè)）就必須滿足下面的屬性（|= 表示“邏輯蘊(yùn)涵”）：

Hypothesis∧Descriptions|= Classifications （19.3）我們把這種關(guān)系稱為蘊(yùn)涵約束，其中Hypothesis是“未知的”。純粹的歸納學(xué)習(xí)意味著求解這種約束問題，在這種約束中，Hypothesis 是從某個預(yù)先定義的假設(shè)空間中得到的。例如，如果我們把決策樹看作一個邏輯公式（參見第 19.1.1 節(jié)中的公式（19.1）），那么一棵與所有的實(shí)例都保持一致的決策樹就能滿足公式（19.3）。如果我們對假設(shè)的邏輯表示形式?jīng)]有任何限制，那么Hypothesis=Classifications當(dāng)然也同樣滿足約束。奧卡姆剃刀原則告訴我們優(yōu)先選擇那些小的、一致的假設(shè)，所以我們盡量做得更好而不是簡單地把實(shí)例記憶下來。

歸納學(xué)習(xí)這種簡單的與知識無關(guān)的圖景一直持續(xù)到20世紀(jì)80年代早期?，F(xiàn)代的方法則是設(shè)計(jì)已經(jīng)知道某些知識的智能體并試圖學(xué)習(xí)到更多的知識。這也許聽上去不是非常深刻的見解，但是它使得我們設(shè)計(jì)智能體的方式有了很大的不同。這也許還和我們關(guān)于科學(xué)本身是如何工作的理論有某種相關(guān)性。圖19.6中顯示了基本思想的示意圖。

圖19.6 隨著時間變化利用并添加背景知識儲備的累積學(xué)習(xí)過程

如果我們想要建造一個利用背景知識進(jìn)行自主學(xué)習(xí)的智能體，這個智能體必須首先具備獲取背景知識的某種方法，以便用于新的學(xué)習(xí)事件。這個方法本身必須是一個學(xué)習(xí)過程。因此智能體的生命歷史可以刻畫為累積的或增量的發(fā)展。大致上，智能體可以從什么知識都沒有開始，如同一個純歸納程序一樣在真空條件下進(jìn)行歸納。但是一旦它吃了知識樹上的“禁果”，它就不能再繼續(xù)進(jìn)行這樣樸素的推測，而應(yīng)該利用它的背景知識有效地學(xué)習(xí)更多的知識。那么現(xiàn)在的問題就是如何實(shí)際做到這一點(diǎn)。