一、什么是數(shù)據(jù)標注

首先談談什么是數(shù)據(jù)標注。數(shù)據(jù)標注有許多類型，如分類、畫框、注釋、標記等等，我們會在下面詳談。要理解數(shù)據(jù)標注，得先理解AI其實是部分替代人的認知功能。回想一下我們是如何學習的，例如我們學習認識蘋果，那么就需要有人拿著一個蘋果到你面前告訴你，這是一個蘋果。然后以后你遇到了蘋果，你才知道這玩意兒叫做“蘋果”。類比機器學習，我們要教他認識一個蘋果，你直接給它一張?zhí)O果的圖片，它是完全不知道這是個啥玩意的。我們得先有蘋果的圖片，上面標注著“蘋果”兩個字，然后機器通過學習了大量的圖片中的特征，這時候再給機器任意一張?zhí)O果的圖片，它就能認出來了。這邊可以順帶提一下訓練集和測試集的概念。訓練集和測試集都是標注過的數(shù)據(jù)，還是以蘋果為例子，假設我們有1000張標注著“蘋果”的圖片，那么我們可以拿900漲作為訓練集，100張作為測試集。機器從900張?zhí)O果的圖片中學習得到一個模型，然后我們將剩下的100張機器沒有見過的圖片去給它識別，然后我們就能夠得到這個模型的準確率了。想想我們上學的時候，考試的內容總是不會和我們平時的作業(yè)一樣，也只有這樣才能測試出學習的真正效果，這樣就不難理解為什么要劃分一個測試集了。

我們知道機器學習分為有監(jiān)督學習和無監(jiān)督學習。無監(jiān)督學習的效果是不可控的，常常是被用來做探索性的實驗。而在實際產(chǎn)品應用中，通常使用的是有監(jiān)督學習。有監(jiān)督的機器學習就需要有標注的數(shù)據(jù)來作為先驗經(jīng)驗。

在進行數(shù)據(jù)標注之前，我們首先要對數(shù)據(jù)進行清洗，得到符合我們要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括去除無效的數(shù)據(jù)、整理成規(guī)整的格式等等。具體的數(shù)據(jù)要求可以和算法人員確認。

二、常見的幾種數(shù)據(jù)標注類型

1.分類標注：分類標注，就是我們常見的打標簽。一般是從既定的標簽中選擇數(shù)據(jù)對應的標簽，是封閉集合。如下圖，一張圖就可以有很多分類/標簽：成人、女、黃種人、長發(fā)等。對于文字，可以標注主語、謂語、賓語，名詞動詞等。

適用：圖像

應用：人臉識別、骨骼識別

5.其他標注：標注的類型除了上面幾種常見，還有很多個性化的。根據(jù)不同的需求則需要不同的標注。如自動摘要，就需要標注文章的主要觀點，這時候的標注嚴格上就不屬于上面的任何一種了。（或則你把它歸為分類也是可以的，只是標注主要觀點就沒有這么客觀的標準，如果是標注蘋果估計大多數(shù)人標注的結果都差不多。）

三、數(shù)據(jù)標注的過程

1.標注標準的確定

確定好標準是保證數(shù)據(jù)質量的關鍵一步，要保證有個可以參照的標準。一般可以：

• 設置標注樣例、模版。例如顏色的標準比色卡。

• 對于模棱兩可的數(shù)據(jù)，設置統(tǒng)一處理方式，如可以棄用，或則統(tǒng)一標注。

參照的標準有時候還要考慮行業(yè)。以文本情感分析為例，“疤痕”一詞，在心理學行業(yè)中，可能是個負面詞，而在醫(yī)療行業(yè)則是一個中性詞。

2.標注形式的確定

標注形式一般由算法人員制定，例如某些文本標注，問句識別，只需要對句子進行0或1的標注。是問句就標1，不是問句就標0。

3.標注工具的選擇

標注的形式確定后，就是對標注工具的選擇了。一般也是由算法人員提供。大公司可能會內部開發(fā)一個專門用于數(shù)據(jù)標注的可視化工具。如