本報(bào)訊 （記者何 可 實(shí)習(xí)記者劉松瑤）近日，中國(guó)信息通信研究院（以下簡(jiǎn)稱“中國(guó)信通院”）發(fā)布“可信AI”人工智能數(shù)據(jù)集質(zhì)量評(píng)估體系（ADAQ）。該體系依托中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟和“人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室”建立，用以確保數(shù)據(jù)高質(zhì)量供給，形成貫穿于大模型全生命周期的高質(zhì)量數(shù)據(jù)閉環(huán)。

高質(zhì)量的人工智能行業(yè)數(shù)據(jù)集可以提升模型的泛化能力，并能推動(dòng)模型準(zhǔn)確、高效、可靠構(gòu)建，降低過(guò)擬合風(fēng)險(xiǎn)。人工智能數(shù)據(jù)集質(zhì)量評(píng)估測(cè)試，則是對(duì)人工智能行業(yè)數(shù)據(jù)集的質(zhì)量情況評(píng)估，有助于人工智能系統(tǒng)穩(wěn)健運(yùn)行。

據(jù)了解，ADAQ由質(zhì)量管理評(píng)估、質(zhì)量評(píng)估指標(biāo)、定制化測(cè)試方案構(gòu)成，旨在搭建“1+1+N”質(zhì)量評(píng)估框架，通過(guò)質(zhì)量評(píng)估測(cè)試，系統(tǒng)性檢查數(shù)據(jù)集，保障數(shù)據(jù)供給質(zhì)量。

其中，“1”代表一套方法，即建立評(píng)估指標(biāo)和方法，保障標(biāo)準(zhǔn)化實(shí)施。該體系依據(jù)行業(yè)標(biāo)準(zhǔn)《面向人工智能的數(shù)據(jù)集質(zhì)量通用評(píng)估方法 總體要求》，按照“可用+好用+落地”原則，將完整性、規(guī)范性、準(zhǔn)確性、及時(shí)性、一致性等12個(gè)一級(jí)指標(biāo)和36個(gè)二級(jí)指標(biāo)納入數(shù)據(jù)集評(píng)估標(biāo)準(zhǔn)，涵蓋測(cè)試數(shù)據(jù)集準(zhǔn)備、測(cè)試條件初始化、前置檢測(cè)、后置檢測(cè)以及數(shù)據(jù)集質(zhì)量評(píng)估得分計(jì)算等五大核心部分，為人工智能數(shù)據(jù)集質(zhì)量管理和質(zhì)量評(píng)估提供了標(biāo)準(zhǔn)依據(jù)和規(guī)范。

另一個(gè)“1”代表一個(gè)平臺(tái)，即自建人工智能數(shù)據(jù)集質(zhì)量評(píng)估工具平臺(tái)。該平臺(tái)按照“規(guī)則檢測(cè)+人工抽樣+模型效果”的“三道關(guān)卡”融合思路，聚合項(xiàng)目管理、參數(shù)配置、測(cè)評(píng)過(guò)程管理、可視化分析與總結(jié)、知識(shí)圖譜管理、大屏展示等核心功能模塊，將促進(jìn)人工智能數(shù)據(jù)集質(zhì)量評(píng)估項(xiàng)目執(zhí)行。

“N”為定制化測(cè)試方案，可針對(duì)多樣化需求，覆蓋不同測(cè)試數(shù)據(jù)類型，覆蓋文本、圖像、音頻、視頻以及多模態(tài)等不同類型數(shù)據(jù)集，包含預(yù)訓(xùn)練、監(jiān)督微調(diào)、反饋強(qiáng)化、強(qiáng)化微調(diào)、推理等不同模型訓(xùn)練階段。

“目前，ADAQ已向部分企業(yè)提供服務(wù)，有效助力企業(yè)提升行業(yè)數(shù)據(jù)集的標(biāo)準(zhǔn)化建設(shè)能力?！敝袊?guó)信通院相關(guān)負(fù)責(zé)人表示，該院將結(jié)合人工智能技術(shù)發(fā)展趨勢(shì)和行業(yè)高質(zhì)量數(shù)據(jù)集建設(shè)需求，持續(xù)完善人工智能數(shù)據(jù)集評(píng)估體系，推動(dòng)技術(shù)提升及產(chǎn)業(yè)發(fā)展。