Developing a Pragmatic Benchmark for Assessing Korean Legal Language Understanding in Large Language Models
Yeeun Kim, YoungRok Choi, Eunkyung Choi, Jin-Hwan Choi, Hai Jin Park, Wonseok Hwang
arXiv (Cornell University)
Large language models (LLMs) have demonstrated remarkable performance in the legal domain, with GPT-4 even passing the Uniform Bar Exam in the U.S. However their efficacy remains limited for non-standardized tasks and tasks in languages other than English. This underscores the need for careful evaluation of LLMs within each legal system before application. Here, we introduce KBL, a benchmark for assessing the Korean legal language understanding of LLMs, consisting of (1) 7 legal knowledge tasks (510 examples), (2) 4 legal reasoning tasks (288 examples), and (3) the Korean bar exam (4 domains, 53 tasks, 2,510 examples). First two datasets were developed in close collaboration with lawyers to evaluate LLMs in practical scenarios in a certified manner. Furthermore, considering legal practitioners' frequent use of extensive legal documents for research, we assess LLMs in both a closed book setting, where they rely solely on internal knowledge, and a retrieval-augmented generation (RAG) setting, using a corpus of Korean statutes and precedents. The results indicate substantial room and opportunities for improvement.
A moored spar platform, equipped with various instruments, serves as a crucial tool in hydrological monitoring. However, conducting dynamic analyses of a single spar that endures wind and current requires significant amount of computational time. To address this challenge, this study proposes an efficient surrogate model to represent fluid loads. A database is established to capture the relationship between fluid loads, spar displacements and uniform currents based on a numerical model of the spar. Subsequently, an artificial neural network method is employed to construct the surrogate model. Finally, the surrogate model is integrated with a numerical model of the cable, developed using the lumped mass method, to create a coupled model of the moored spar. The dynamic responses of this coupled model align closely with those obtained from the purely numerical model, demonstrating the efficacy of the surrogate model in capturing fluid loads on the spar. In addition to the surrogate model generation approach, this research provides an efficient method to couple the surrogate model with the numerical model in dynamic analysis of floating systems in uniform currents.
A Study on the Design and Mechanism of ‘Geojunggi’
Jeong‐Han Lee, Jin-Hwan Choi, Wan-Suk Yoo
IF 0.2
Transactions of the Korean Society of Mechanical Engineers A
18세기 조선시대 정약용에 의해 개발된 거중기는 도르래의 원리를 이용하여 무거운 돌을 들어올리기 위한 기계장치이다. 거중기는 수원화성(세계문화유산)의 건축에 사용되었으며, 이에 대한 형태와 원리가 기중도설과 화성성역의궤에 설명되어 있다. 그런데 이러한 설명과 도면의 내용은 명확하지 않기 때문에 실제로 구현하는데 어려움이 있다. 이는 중장비의 복잡성과 안정성 때문에 단순한 메커니즘만으로 구현할 수 없기 때문이다. 본 연구에서는 거중기의 분해도와 조립도를 바탕으로 정확한 작동방식과 설계원리에 대해 공학적으로 분석하였다. 또한 연구결과를 바탕으로 동역학 시뮬레이션을 수행하였으며, 이를 통해 실제 작동상태를 검증하였다.
본 연구에서는 개발로 인해 빠르게 사라지고 있는 인천 경기만 일대 연안 습지의 물새류 분포와 핵심서식지를 파악하기 위해 인천광역시 송도와 시흥의 갯벌 및 습지, 시화호에서 2017년 3월부터 10월까지 조류상 조사를 실시하였고, 커널 밀도 추정과 발생 핫스팟 분석을 통해 핵심 서식지를 도출하여 물새류 서식지 보전의 기초자료를 제공하고자 실시되었다. 조사 결과 연구지역 내의 물새류는 총 83종 263,556개체가 관찰되었으며 10월 중순에 가장 많은 물새류가 서식하는 것으로 나타났다. 갈매기류와 고니･기러기･수면성 오리류는 전체 물새류 개체수의 50% 이상을 차지했고, 우리나라를 중간기착지로 활용하는 도요･물떼새류는 4월 중순에 한정하여 관찰된 전체 물새류의 72.3%를 차지했다. 커널 밀도 추정 결과 가장 넓은 50% 면적을 가진 물새류는 백로･저어새류, 가장 좁은 면적을 가진 물새류는 도요･물떼새류였고, 95% 면적에서는 각각 갈매기류, 논병아리･물닭･잠수성 오리류였다. 발생 핫스팟 분석 결과 신규형 핫스팟, 산발형 핫스팟, 연속형 핫스팟이 도출되었으며, 물새류 분류군에 따라 위치와 종류가 다르게 나타났다. 두 분석에 따른 결과를 비교한 결과 발생 핫스팟 분석을 통해 도출된 모든 핫스팟 패턴은 커널 밀도 추정 50%에 포함되어 있었으며, 커널 밀도 추정에서의 핵심 서식지로 간주되는 50% 구역이 연구 지역 전역에 걸쳐 형성된 반면 발생 핫스팟 분석에서는 대부분 시화호 내 형도습지와 대송습지에서만 핫스팟 패턴이 나타났다. 발생 핫스팟 분석은 커널 밀도 추정 50%보다 더 엄격하고 정밀한 핵심 서식지를 도출해 낼 수 있는 것으로 보이나 연구 대상종의 생태적 특성에 따라 핵심 서식지를 과소추정할 수 있어 두 분석 방법을 상호 보완하는 형태로 사용하는 것이 바람직할 것으로 판단된다.
