亚洲色图欧美色图人妻_免费乱理伦片在线观看夜_国产精品福利资源网址_三级少妇免费亚洲_亚洲熟妇AV乱码在线_毛片免费全部无码播放_2020国产精品午夜视频_特黄三级又爽又大又粗_精品啪啪不卡一区二区_欧美另类久久

公司資訊
新聞資訊

談談人工智能數(shù)據(jù)標注那些事兒

發(fā)布時間:2021-09-28 23:40:44 最后更新:2021-10-08 21:09:11 瀏覽次數(shù):1290

一、什么是數(shù)據(jù)標注

首先談談什么是數(shù)據(jù)標注。數(shù)據(jù)標注有許多類型,如分類、畫框、注釋、標記等等,我們會在下面詳談。要理解數(shù)據(jù)標注,得先理解AI其實是部分替代人的認知功能。回想一下我們是如何學習的,例如我們學習認識蘋果,那么就需要有人拿著一個蘋果到你面前告訴你,這是一個蘋果。然后以后你遇到了蘋果,你才知道這玩意兒叫做“蘋果”。類比機器學習,我們要教他認識一個蘋果,你直接給它一張?zhí)O果的圖片,它是完全不知道這是個啥玩意的。我們得先有蘋果的圖片,上面標注著“蘋果”兩個字,然后機器通過學習了大量的圖片中的特征,這時候再給機器任意一張?zhí)O果的圖片,它就能認出來了。這邊可以順帶提一下訓練集和測試集的概念。訓練集和測試集都是標注過的數(shù)據(jù),還是以蘋果為例子,假設我們有1000張標注著“蘋果”的圖片,那么我們可以拿900漲作為訓練集,100張作為測試集。機器從900張?zhí)O果的圖片中學習得到一個模型,然后我們將剩下的100張機器沒有見過的圖片去給它識別,然后我們就能夠得到這個模型的準確率了。想想我們上學的時候,考試的內容總是不會和我們平時的作業(yè)一樣,也只有這樣才能測試出學習的真正效果,這樣就不難理解為什么要劃分一個測試集了。

我們知道機器學習分為有監(jiān)督學習和無監(jiān)督學習。無監(jiān)督學習的效果是不可控的,常常是被用來做探索性的實驗。而在實際產(chǎn)品應用中,通常使用的是有監(jiān)督學習。有監(jiān)督的機器學習就需要有標注的數(shù)據(jù)來作為先驗經(jīng)驗。

在進行數(shù)據(jù)標注之前,我們首先要對數(shù)據(jù)進行清洗,得到符合我們要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括去除無效的數(shù)據(jù)、整理成規(guī)整的格式等等。具體的數(shù)據(jù)要求可以和算法人員確認。

二、常見的幾種數(shù)據(jù)標注類型

1.分類標注:分類標注,就是我們常見的打標簽。一般是從既定的標簽中選擇數(shù)據(jù)對應的標簽,是封閉集合。如下圖,一張圖就可以有很多分類/標簽:成人、女、黃種人、長發(fā)等。對于文字,可以標注主語、謂語、賓語,名詞動詞等。

適用:文本、圖像、語音、視頻

應用:臉齡識別,情緒識別,性別識別

2.標框標注:機器視覺中的標框標注,很容易理解,就是框選要檢測的對象。如人臉識別,首先要先把人臉的位置確定下來。行人識別,如下圖。


適用:圖像

應用:人臉識別,物品識別

3.區(qū)域標注:相比于標框標注,區(qū)域標注要求更加精確。邊緣可以是柔性的。如自動駕駛中的道路識別。


適用:圖像

應用:自動駕駛

4.描點標注:一些對于特征要求細致的應用中常常需要描點標注。人臉識別、骨骼識別等。

適用:圖像

應用:人臉識別、骨骼識別

5.其他標注:標注的類型除了上面幾種常見,還有很多個性化的。根據(jù)不同的需求則需要不同的標注。如自動摘要,就需要標注文章的主要觀點,這時候的標注嚴格上就不屬于上面的任何一種了。(或則你把它歸為分類也是可以的,只是標注主要觀點就沒有這么客觀的標準,如果是標注蘋果估計大多數(shù)人標注的結果都差不多。)

三、數(shù)據(jù)標注的過程

1.標注標準的確定

確定好標準是保證數(shù)據(jù)質量的關鍵一步,要保證有個可以參照的標準。一般可以:

  • 設置標注樣例、模版。例如顏色的標準比色卡。

  • 對于模棱兩可的數(shù)據(jù),設置統(tǒng)一處理方式,如可以棄用,或則統(tǒng)一標注。

參照的標準有時候還要考慮行業(yè)。以文本情感分析為例,“疤痕”一詞,在心理學行業(yè)中,可能是個負面詞,而在醫(yī)療行業(yè)則是一個中性詞。

2.標注形式的確定

標注形式一般由算法人員制定,例如某些文本標注,問句識別,只需要對句子進行0或1的標注。是問句就標1,不是問句就標0。

3.標注工具的選擇

標注的形式確定后,就是對標注工具的選擇了。一般也是由算法人員提供。大公司可能會內部開發(fā)一個專門用于數(shù)據(jù)標注的可視化工具。如


也有使用開源的數(shù)據(jù)標注工具的,如推薦 Github 上的小工具labelImg

四、數(shù)據(jù)標注產(chǎn)品的設計

結合自己做過一款數(shù)據(jù)標記工具談談設計數(shù)據(jù)標注工具的幾個小技巧。

一個數(shù)據(jù)標注工具一般包含

1.進度條:用來指示數(shù)據(jù)標注的進度。標注人員一般都是有任務量要求的,一方面方便標注人員查看進度,一方面方便統(tǒng)計。

2.標注主體:這個可以根據(jù)標注形式進行設計,原則上是越簡潔易用越好。根據(jù)標注所需要的注意力可以分為單個標注和多個標注的形式,可根據(jù)需求選擇。

3.數(shù)據(jù)導入導出功能:如果你的標注工具是直接數(shù)據(jù)對接到模型上的,可以不需要。

4.收藏功能:這個可能是沒有接觸過數(shù)據(jù)標注的不會想到。標注人員常常會出現(xiàn)的一種情況就是疲勞,或者是遇到了那種模棱兩可的數(shù)據(jù),則可以先收藏,等后面再標。

5.質檢機制:在分發(fā)數(shù)據(jù)的時候,可以隨機分發(fā)一些已經(jīng)標注過的數(shù)據(jù),來檢測標注人員可靠性。

首頁
聯(lián)系
我們