컴퓨터 장치에서 실행되는 아이템 레이블 복원 방법에 있어서,상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 아이템 레이블 복원 방법은,상기 적어도 하나의 프로세서에 의해, 크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계를 포함하고,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 다수의 작업자로부터 수집된 답변을 이용하여 상기 아이템 별로 정답과 가장 그럴듯한 오답(most confusing answer)을 추론하는 단계를 포함하는 아이템 레이블 복원 방법.

삭제

컴퓨터 장치에서 실행되는 아이템 레이블 복원 방법에 있어서,상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 아이템 레이블 복원 방법은,상기 적어도 하나의 프로세서에 의해, 크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계를 포함하고,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 상위 두 개의 답변으로 상기 아이템에 대한 정답과 가장 그럴듯한 오답을 추론하는 단계; 및상기 정답과 상기 가장 그럴듯한 오답 사이의 혼동 확률(confusion probability)을 추론하는 단계를 포함하는 아이템 레이블 복원 방법.

컴퓨터 장치에서 실행되는 아이템 레이블 복원 방법에 있어서,상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 아이템 레이블 복원 방법은,상기 적어도 하나의 프로세서에 의해, 크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계를 포함하고,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 수집된 데이터를 두 개의 데이터 행렬로 분할하는 단계를 포함하고,분할된 데이터 행렬 각각은 상기 작업자의 신뢰도 추정과 상기 아이템의 난이도 추론에 이용되는 것을 특징으로 하는 아이템 레이블 복원 방법.

컴퓨터 장치에서 실행되는 아이템 레이블 복원 방법에 있어서,상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 아이템 레이블 복원 방법은,상기 적어도 하나의 프로세서에 의해, 크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계를 포함하고,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 수집된 데이터를 행렬화한 후 이진 행렬로 변환하는 단계; 및상기 이진 행렬에 대한 특이값 분해(singular value decomposition)를 통해 상기 아이템에 대한 정답과 가장 그럴듯한 오답을 추론하는 단계를 포함하는 아이템 레이블 복원 방법.

제1항에 있어서,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 아이템에 대한 상기 작업자의 답변과 상기 아이템에 대한 상기 정답 및 상기 가장 그럴듯한 오답 간의 유사도를 기초로 상기 작업자의 신뢰도를 추론하는 단계; 및상기 아이템에 대한 난이도로서 상기 정답과 상기 가장 그럴듯한 오답 사이의 혼동 확률을 추론하는 단계를 더 포함하는 아이템 레이블 복원 방법.

제6항에 있어서,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 작업자의 신뢰도와 상기 아이템의 난이도를 기초로 상기 상위 두 개의 답변으로 추론된 상기 정답과 상기 가장 그럴듯한 오답으로부터 상기 아이템에 대한 최종 레이블을 추론하는 단계를 더 포함하는 아이템 레이블 복원 방법.

제7항에 있어서,상기 최종 레이블을 추론하는 단계는,상기 작업자의 신뢰도와 상기 아이템의 난이도를 이용한 MLE(maximum-likelihood estimator)를 통해 상기 최종 레이블을 추론하는 것을 특징으로 하는 아이템 레이블 복원 방법.

아이템 레이블 복원 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램에 있어서,상기 아이템 레이블 복원 방법은,크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계를 포함하고,상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 단계는,상기 다수의 작업자로부터 수집된 답변을 이용하여 상기 아이템 별로 정답과 가장 그럴듯한 오답(most confusing answer)을 추론하는 단계를 포함하는, 컴퓨터 프로그램.

컴퓨터 장치에 있어서,메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 과정을 처리하고,상기 적어도 하나의 프로세서는,상기 다수의 작업자로부터 수집된 답변을 이용하여 상기 아이템 별로 정답과 가장 그럴듯한 오답(most confusing answer)을 추론하는 것을 특징으로 하는 컴퓨터 장치.

컴퓨터 장치에 있어서,메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 과정을 처리하고,상기 적어도 하나의 프로세서는,상기 상위 두 개의 답변으로 상기 아이템에 대한 정답과 가장 그럴듯한 오답을 추론하고,상기 정답과 상기 가장 그럴듯한 오답 사이의 혼동 확률(confusion probability)을 추론하는 것을 특징으로 하는 컴퓨터 장치.

컴퓨터 장치에 있어서,메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 과정을 처리하고,상기 적어도 하나의 프로세서는,상기 수집된 데이터를 두 개의 데이터 행렬로 분할하고,분할된 데이터 행렬 각각은 상기 작업자의 신뢰도 추정과 상기 아이템의 난이도 추론에 이용되는 것을 특징으로 하는 컴퓨터 장치.

컴퓨터 장치에 있어서,메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,크라우드소싱(crowdsourcing)을 통해 수집된 데이터로서 다수의 작업자가 각 아이템에 대한 적어도 둘 이상의 선택지 중에서 고른 답변을 이용하여 상기 아이템 별로 상위 두 개의 답변과 난이도를 추론하는 과정을 처리하고,상기 적어도 하나의 프로세서는,상기 수집된 데이터를 행렬화한 후 이진 행렬로 변환하고,상기 이진 행렬에 대한 특이값 분해(singular value decomposition)를 통해 상기 아이템에 대한 정답과 가장 그럴듯한 오답을 추론하는 것을 특징으로 하는 컴퓨터 장치.

제10항에 있어서,상기 적어도 하나의 프로세서는,상기 아이템에 대한 상기 작업자의 답변과 상기 아이템에 대한 상기 정답 및 상기 가장 그럴듯한 오답 간의 유사도를 기초로 상기 작업자의 신뢰도를 추론하고,상기 아이템에 대한 난이도로서 상기 정답과 상기 가장 그럴듯한 오답 사이의 혼동 확률을 추론하는 것을 특징으로 하는 컴퓨터 장치.

제14항에 있어서,상기 적어도 하나의 프로세서는,상기 작업자의 신뢰도와 상기 아이템의 난이도를 이용한 MLE(maximum-likelihood estimator)를 통해 상기 상위 두 개의 답변으로 추론된 상기 정답과 상기 가장 그럴듯한 오답으로부터 상기 아이템에 대한 최종 레이블을 추론하는 것을 특징으로 하는 컴퓨터 장치.