[논문리뷰] CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

 

목적

탐색하고자 하는 분야에 대해 Research Question 생성. Graph 형식으로 GUI로 상호작용 함. 사용자가 깊게 혹은 넓게 탐구하고자 하는 분야로 점점 넓힐 수 있음.

너비탐색 (타겟 노드로부터 3개의 RQ생성)

깊이탐색 (타겟 노드로부터 Depth(int)만큼 RQ생성)

 

 

데이터

Semantic Search API를 활용하여 2000여편의 논문 Pool을 구성.

embedding model과 vector search 활용.

 

모델

gpt3.5-turbo-16K 그리고 AutoGPT로 iteration 구현

 

사례

너비 탐색

 

"AI와 크라우드소싱"(iter-1), "교육 환경"(iter-2)과 같은 키워드를 사용하여 AI가 더 많은 연구질문을 생성할 수 있도록 피드백을 제공합니다. (실험 中 1)

처음 Depth 3의 결과 중 사용자는 첫 번째 노드에서 생성된 연구질문을 선택하여 계속 진행했으며, 이후 AI에게 좀 더 구체적으로 생성해 달라는 피드백을 제공합니다. (실험 中 1)

 

평가

20명의 대학원생을 대상으로 실험함.

5점 리커트 척도로 측정하였으며. 아래 5개 항목이 설문조사 Sheet에 포함됨

Control (통제)
사용자가 시스템의 작동 방식이나 출력 결과에 대해 얼마나 영향을 미칠 수 있는지를 나타냅니다. 높은 통제력은 사용자가 방향을 주도하고 조정할 수 있음을 의미합니다.

Creativity (창의성)
새롭고 가치 있는 아이디어나 산출물을 만들어내는 능력. AI 또는 인간 사용자가 생성하는 아이디어의 독창성과 유용성에 중점을 둡니다.

Meta-creativity (메타 창의성)
창의성에 대한 성찰과 조정, 즉 창의적인 아이디어를 만드는 ‘방법’ 자체를 창의적으로 개선하는 능력. 예: 더 나은 아이디어 생성 전략을 구상하거나 AI의 생성 로직을 창의적으로 활용하는 방식.

Cognitive load (인지 부하)
특정 작업을 수행할 때 사용자의 인지적 자원에 가해지는 정신적 부담. 과도한 인지 부하는 집중력 저하, 오류 발생, 학습 방해로 이어질 수 있습니다.

Trust (신뢰)
사용자가 AI 시스템의 작동 방식과 결과물에 대해 얼마나 믿음을 갖는지를 의미합니다. 신뢰는 시스템의 예측 가능성, 일관성, 투명성, 그리고 사용자 경험에 크게 영향을 받습니다.