1. CodaLab 로그인

CodaLab 이동하여 회원가입 진행
– worksheets.codalab.org

회원가입 후 로그인까지 완료한 화면

2. dev set 평가

오른쪽 상단의 new worksheet 아이콘 클릭하여 워크시트 생성
– worksheet
이름 입력

좌측 상단의 UPLOAD – File(s) Upload 클릭

colab 수행 후 다운로드 받은 파일 중 predictions.json파일 업로드
워크시트에 번들 생성

2. dev set 평가

우상단 SHOW TERMINAL 클릭

나타난 터미널에 cl macro korquad-utils/dev-evaluate-v1.0 <name-of-youruploaded-prediction-bundle> 입력
– <>
위치에는 3.2 prediction 파일의 uuid 입력
<> 없이 입력

성공한 terminal

④ EM F1에 대한 점수 생성

3. 소스코드 업로드

폴더구조 확인
로컬 PCsrc 폴더에 해당 파일 모아두기
– korquad_3.bin
colab에서의 수행 결과 생성되는 체크포인트 파일

colab에서 이미 학습을 마친 체크포인트 파일을 업로드하기 때문에 CodaLab에서 학습을 할 필요가 없음
소스에서 학습 부분을 제외하고 제출용으로 수정
초기화, 학습, 전처리 등 학습을 위한 코드 삭제

4. 학습 모델 실행

CodaLab terminal에 아래 명령어 입력하여 번들 추가
 cl add bundle korquad-data//KorQuAD_v1.0_dev.json
번들 자동 생성

CodaLab terminal에 해당 명령어 입력하여 학습 모델 실행
– <path-to-prediction-program>
위치에 소스코드 파일명(.py) 입력
시간이 오래 걸릴 수 있음
오류 발생 시 소스코드 수정 후 재실행 반복

정상적으로 수행이 완료된 모습
predictions.json 파일 생성

4. 학습 모델 실행

명령어 입력하여 번들에 prediction 파일 추가
– MODELNAME
에는 공백 및 특수 문자 포함 불가
매뉴얼에서는 편의상 manual로 입력

정상적으로 추가된 모습

③ 해당 명령어 입력하여 prediction 파일 평가

점수가 정상적으로 추가된 모습

5. KorQuAD 1.0 제출

모델에 대한 설명 작성
번들의 Description 수정

설명의 형식은 KorQuAD에서 지정한 형식에 따름
– Institution
에 소속기관 혹인 성명 작성(익명 제출 시 Anonymous)

명령어 입력하여 submit 플래그 추가

아래 이메일로 번들 제출
– korquad@lgcns.com
워크시트 링크가 아닌 predictions-{MODELNAME} 번들에 대한 링크를 제출
최대 일주일의 평가기간 후 리더보드에 업로드

※ CodaLab 명령어 모음

① https://CodaLab-worksheets.readthedocs.io/en/latest/CLI-Reference

※ CodaLab 자원 요구

별도의 요구가 없을 경우, CodaLab2G의 메모리를 할당 함. 메모리가 부족할 경우 기존 run 명령어 뒤에 옵션값 추가
ex) –request-memory 16g

※ CodaLab 수행 순서

CodaLab 수행 시 번들의 State 변화를 확인할 수 있음

created > staged > preparing > Running job in Docker container > Uploading results > finalizing

CodaLab은 런타임 실행 시 자원을 할당하는데, 자원 할당을 기다리는 단계가 staged 이므로, 무리한 자원 요구 시 staged에서 오래 걸릴 수 있음