在進行AI模型開發(fā)時，數(shù)據(jù)的數(shù)量與質(zhì)量直接影響模型效果。在實地數(shù)據(jù)采集之后，企業(yè)往往需要從大量數(shù)據(jù)中篩選出符合訓練要求的相關數(shù)據(jù)，剔除質(zhì)量差或不相關的數(shù)據(jù)，這個步驟被稱為數(shù)據(jù)清洗。

　　通常來講，在清洗數(shù)據(jù)時主要會清理掉對訓練任務沒有用途的數(shù)據(jù)，例如在訓練工廠工人佩戴安全帽識別模型時，希望在視頻抽幀后的大量圖片中僅保留有工人出現(xiàn)的圖片進行標注訓練。在這一步驟上，傳統(tǒng)做法是進行人工篩選，人力投入較多且容易發(fā)生遺漏;隨著人工智能發(fā)展，目前許多平臺，如百度大腦AI開放平臺，已經(jīng)提供人臉檢測、人體檢測的通用接口，用戶可以先調(diào)用接口處理數(shù)據(jù)，篩選出采集到人像的數(shù)據(jù)，再進入到具體的檢測識別步驟。那么，是否有一個集成了各項數(shù)據(jù)處理能力，盡量減少人工干預，能夠自動完成視頻數(shù)據(jù)采集、抽幀、數(shù)據(jù)清洗、智能標注，從而高效提取高質(zhì)量訓練數(shù)據(jù)的解決方案呢?

　　關注到有越來越多的用戶對數(shù)據(jù)處理有強烈需求，今年4月，百度全新推出智能數(shù)據(jù)服務平臺EasyData，集數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標注等功能于一身，完成上述數(shù)據(jù)處理工作之后，可以在EasyDL平臺進行模型訓練、模型部署。

　　針對數(shù)據(jù)清洗這一具體功能，EasyData目前上線了去相似、去模糊、旋轉(zhuǎn)、裁剪和鏡像這5種基礎的數(shù)據(jù)清洗功能。那么除了常規(guī)能力之外，EasyData還有什么業(yè)內(nèi)獨家的終極秘技?

　　從應用出發(fā)，高級清洗功能讓數(shù)據(jù)處理事半功倍

　　在園區(qū)智能管理等場景下，需要監(jiān)測工廠園區(qū)、林區(qū)中是否有人闖入，或檢查工人是否佩戴安全帽。為了滿足此類場景下的圖片清洗需求，EasyData上線了高級清洗功能，將無人臉、無人體出現(xiàn)的數(shù)據(jù)進行過濾。EasyData聯(lián)動百度大腦AI開放平臺提供的前沿技術能力，用戶僅需在百度智能云上開通相應的服務(人臉檢測和人體檢測都可以免費試用)，就可以通過簡單的配置，在EasyData平臺上直接使用這些功能進行自動數(shù)據(jù)清洗。

　　1、過濾無人臉圖片

　　如果以前沒有用過百度智能云的人臉檢測服務，第一次使用高級清洗的功能會提示“申請免費試用”，點擊鏈接會進入百度智能云人臉檢測的頁面，按照提示，開通服務后，再回到EasyData的頁面就可以正常使用了。

　　和基礎的數(shù)據(jù)清洗服務一樣，過濾無人臉圖片也是以數(shù)據(jù)集為單位的。在數(shù)據(jù)清洗頁面選擇過濾無人臉圖片，點擊保存，提交任務就可以進行清洗。如果勾選了“保留標簽”，那么不僅會把沒有人臉的圖片過濾，還會將人臉畫框同步至清洗后的數(shù)據(jù)集。

　　提交任務時勾選保留人臉畫框

　　例如下圖，清洗前的數(shù)據(jù)集除了人臉圖片，還有一些風景照、車輛等其他物體的照片，人臉過濾會把這些沒有人臉的圖片過濾，保留下來包含人臉的圖片，包括戴口罩、被遮擋的人臉也可以識別出來。

　　清洗前的數(shù)據(jù)集中有人臉照片、風景照、靜物照

　　清洗后的數(shù)據(jù)集只有人臉照片被保存下來

　　戴口罩的人臉圖片

　　2、過濾無人體圖片

　　過濾無人體圖片同樣會用到百度智能云的人體檢測能力，在使用之前需要在百度智能云上開通相應的服務。過濾無人體圖片會用到兩個接口，人體檢測和屬性分析(https://ai.baidu.com/tech/body/attr)和人像分割(https://ai.baidu.com/tech/body/seg)。數(shù)據(jù)集模板為圖像分類和物體檢測的數(shù)據(jù)集會調(diào)用人體檢測和屬性分析接口，數(shù)據(jù)集模板為圖像分割的數(shù)據(jù)集會調(diào)用人像分割接口。百度智能云上的人像分割接口返回的是人像圖片對應的二值圖片(人像為1，背景為0)，在后端會執(zhí)行相應的標簽轉(zhuǎn)換，返回的二值圖片轉(zhuǎn)換成對應的標簽。

　　清洗前的數(shù)據(jù)集中有風景圖、靜物圖和人體圖

　　數(shù)據(jù)清洗過濾保留的5張人體圖片

　　模板為圖像檢測的數(shù)據(jù)集清洗后的標簽

　　模板為圖像分割的數(shù)據(jù)集清洗后的標簽

　　關注廣泛需求，提供多種基礎數(shù)據(jù)清洗功能

　　1、去相似圖片

　　用攝像頭自動采集圖片的時候，由于長時間在同一個場景下，即使做了抽幀處理，還是會有大量的相似圖片。大量的相似圖片，數(shù)據(jù)價值低，而且占用了大量的存儲空間，而人工篩選，耗時費力，容易出錯。EasyData平臺推出的去相似圖片利用圖片的相似檢索特征，計算圖片的兩兩相關性，可以自動地判斷相似圖片、保留不相似的圖片，具體操作也十分簡便。

　　如下圖所示，去相似前的數(shù)據(jù)集里有8張圖片，根據(jù)圖片的相似度，圖片可以分成3類。清洗完成后的數(shù)據(jù)集中有3張圖片，分別是清洗前的3類圖片中的一張。

　　去相似前的8張圖片

　　去相似后保留下來3張圖片

　　拖拽圓點可以修改相似度分值

　　2、去模糊圖片

　　相機抖動、物體快速移動都會造成拍出來的圖片不清晰、產(chǎn)生低質(zhì)圖片。通過人工挑選的方法去除模糊圖片缺乏統(tǒng)一的標準，容易漏刪或多刪。利用EasyData的去模糊圖片，可以輕易地去除模糊圖片。

　　以示例圖片為例，清洗前有5張圖片，畫質(zhì)不一，清洗后保留下來兩張高質(zhì)量的圖片。此外，如果用戶認為有部分模糊圖片沒有去除，或者高質(zhì)量的圖片沒有保留下來，可以考慮調(diào)整清晰度的分值，重新清洗。

　　去模糊前的5張畫質(zhì)不一的圖片

　　去模糊后保留下來清晰圖片

　　拖拽圓點可以修改清晰度分值

　　對于普通清洗，可以在一個清洗任務中提交多個清洗操作，例如同時勾選去相似、去模糊功能，即可同時去除相似和模糊的圖片。

　　目前的數(shù)據(jù)清洗服務所能支持的最大數(shù)據(jù)集大小是5萬張圖片�；�于EasyData平臺的大數(shù)據(jù)處理平臺，對于基礎清洗服務，2萬張圖片的數(shù)據(jù)集，僅需1小時可以完成清洗;5萬張圖片的數(shù)據(jù)集，只需2小時即可完成清洗。對于高級清洗服務來說，清洗效率也可以通過配置QPS靈活調(diào)整清洗效率，更方便快捷。

　　考慮到智能園區(qū)管理等場景中，有對視頻進行截幀、自動上傳的需求，EasyData平臺也免費提供SDK，供用戶進行下載，可以將SDK接入業(yè)務現(xiàn)場的數(shù)據(jù)采集終端，在平臺設置截幀時間與間隔，自動將原始視頻數(shù)據(jù)截為圖片數(shù)據(jù)并上傳至EasyData平臺進行后續(xù)處理。

　　EasyData是百度大腦推出的業(yè)內(nèi)首個提供軟硬一體、端云協(xié)同的智能數(shù)據(jù)采集與處理平臺，支持圖片、文本、音頻和視頻四類數(shù)據(jù)的處理，其中圖片數(shù)據(jù)支持了采集、清洗、標注一站式處理，覆蓋模型開發(fā)中的各類數(shù)據(jù)管理需求。EasyData處理后的數(shù)據(jù)可直接應用于EasyDL模型訓練，通過EasyDL預訓練模型和自動遷移學習機制，高效開發(fā)AI模型。

　　立即體驗EasyData：https://ai.baidu.com/easydata/

　　注：本文為推廣文案，非本站采編新聞稿件，不代表本站觀點。