任務(wù)一：閱讀理解
1. 任務(wù)介紹
CAIL2019上我們提出了中文司法閱讀理解任務(wù)，今年我們將提出升級版，不僅文書種類由民事、刑事擴展為民事、刑事、行政，問題類型也由單步預(yù)測擴展為多步推理，難度有所升級。
具體而言，對于給定問題，只通過單句文本很難得出正確回答，選手需要結(jié)合多句話通過推理得出答案。
我們允許選手使用去年的閱讀理解數(shù)據(jù)集（CJRC）作為輔助數(shù)據(jù)集，同時允許選手使用任何外部資料作為知識來幫助模型，但是我們要求選手在預(yù)測過程中不能夠進行聯(lián)網(wǎng)的操作。
更多的詳細信息以及下文提到的資源都可以參考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/ydlj。
2. 數(shù)據(jù)介紹
本任務(wù)技術(shù)評測訓(xùn)練集包括兩部分，一部分為去年的CJRC訓(xùn)練集，一部分為重新標(biāo)注的約3000個問答對，其中民事、刑事、行政各1000個問答對，均為需要多步推理的問題類型。驗證集和測試集各約3000個問答對，同樣均為需要多步推理的問題類型。
3. 評價方式
本任務(wù)采用F1進行評估。
對于每個問題，需要結(jié)合案情描述內(nèi)容，給出回答，回答為Span（內(nèi)容的一個片段）、YES/NO、Unknown中的一種，并且給出答案依據(jù)，即所有參與推理的句子編號。評價包括兩部分：1）Answer-F1，即預(yù)測答案會與標(biāo)準(zhǔn)答案作比較，計算F1；2）SupFact-F1，即預(yù)測句子編號序列會與標(biāo)準(zhǔn)句子編號序列作比較，計算F1。最終為這兩部分F1的聯(lián)合F1宏平均。
4. 基線系統(tǒng)
我們將提供一組基線模型，即BERT的閱讀理解模型。
5. 參賽方式
參賽對象 : 本次技術(shù)競賽面向全社會開放，相關(guān)領(lǐng)域的個人、科研機構(gòu)、高等院校、企業(yè)單位等人員均可報名參加。
報名方式 : 競賽網(wǎng)站將于2020年05月15日開放注冊報名，登錄網(wǎng)站主頁即可報名，完善相關(guān)信息，即可報名參賽。
報名時間 : 2020年05月15日至2020年07月30日。（可能根據(jù)參賽隊伍情況調(diào)整，具體時間請關(guān)注官方網(wǎng)站公告欄）
6. 賽程安排
第一階段
（2020.05.15-2020.07.30）:
開啟本任務(wù)比賽報名，發(fā)放CAIL2020-CJRC2.0訓(xùn)練集，用于編寫模型進行訓(xùn)練和測試。每周限提交3次，開放排行榜；第二階段
（2020.07.15-2020.08.18）：
開放第二階段測試。對于高于任務(wù)預(yù)設(shè)基準(zhǔn)算法成績的隊伍，我們將開放第二階段的測試提交，第二階段的最終成績以各參賽隊伍在第二階段結(jié)束之前選擇的三個模型中的在第二階段測試集上的最高分?jǐn)?shù)作為最終成績。第三階段
（2020.08.19-2020.09.07）:
封閉評測，第二階段結(jié)束時，所有參賽者需要選擇三個在第二階段提交成功的模型作為最終模型，三個模型取最高值。
挑戰(zhàn)賽的最終成績計算方式：最終成績 = 第二階段的成績 * 0.3 + 第三階段的成績 * 0.7。第四階段
（2020.09.07之后）:
公布最終成績，并開展技術(shù)交流和頒獎活動。
7. 獎項設(shè)置
挑戰(zhàn)賽將對閱讀理解任務(wù)評出一等獎1名，二等獎2名，三等獎4名。由主辦方中國中文信息學(xué)會（CIPS）為獲獎?wù)咛峁s譽證書認(rèn)證；由科大訊飛股份有限公司和中國司法大數(shù)據(jù)研究院為獲獎?wù)咛峁┆剟詈蛥涣髻澲?/p>
一等獎 15000
二等獎 7500
三等獎 5000
-
說明：
以上所有提及金額均為稅前金額。
獲獎算法與系統(tǒng)的知識產(chǎn)權(quán)歸參賽隊伍所有，僅要求獲獎團隊提供算法與系統(tǒng)報告（包括方法說明、數(shù)據(jù)處理、參考文獻和使用開源工具等信息）及團隊成員名單，供頒獎會技術(shù)交流。
