동적 전압 및 주파수 스케일링(Dynamic Voltage and Frequency Scaling, DVFS)은 컴퓨팅 장치의 전력 효율을 향상시키는 핵심 기술이다. 그러나 기존의 DVFS 방법은 모바일 기기의 고유한 요구에 대응하는 데 어려움을 겪는다. 최근의 강화학습(reinforcement learning, RL) 기반 접근법은 모바일 특유의 열(thermal) 및 작업 부하(workload) 특성에 맞추어 이를 해결한다. 그럼에도 불구하고 이러한 해법들은 벤더(vendor)가 보정한 기기별 설정을 무시한 채 주파수 조정만 수행하고, 배터리, 디스플레이, 집적회로(integrated circuits)와 같은 주변 및 비(非)프로세서 구성요소가 프로세서 열 관리(processor thermal management)에 미치는 영향을 간과하며, 환경 의존적 고정 파라미터에 의존하여 서로 다른 환경에서의 적응성을 제한한다. 이러한 한계를 해결하기 위해 본 연구에서는 환경에 적응 가능한 RL 기반 솔루션인 EarDVFS를 제안한다. EarDVFS는 전통적 방법과 RL 기반 방법의 장점을 결합하기 위해 선제적 스로틀링(proactive throttling)을 사용하고, 더 나은 열 관리를 위해 주변 및 비(非)프로세서 구성요소의 온도를 고려하며, 환경에 강건한 RL 파라미터 설계를 특징으로 한다. 서로 다른 주변 온도, 기기, 작업 부하에 걸친 광범위한 실험 결과, EarDVFS는 성능을 유지하면서 기본 DVFS 대비 평균 21.6% 및 최대 49.6%까지 전력 효율을 일관되게 향상시키는 것으로 나타났다. 또한, 본 연구에서는 RL 모델의 행동(action), 상태(state), 보상(reward) 요소에 대한 포괄적인 절제(ablation) 연구를 수행하여, 각 요소가 다양한 열 환경에서 EarDVFS의 적응성과 효과에 유의미하게 기여함을 확인하였다.

대규모 파운데이션 모델(Large Foundation Models, LFMs)은 인간-컴퓨터 상호작용 분야에서 새로운 가능성을 열어 주었으며, 특히 모바일 GUI(그래픽 사용자 인터페이스)를 대상으로 상호작용할 수 있는 모바일 GUI 에이전트의 등장과 함께 그 가능성이 두드러지고 있다. 이러한 에이전트는 사용자가 간단한 자연어 지시를 통해 복잡한 모바일 작업을 자동화할 수 있게 해준다. 그러나 LFMs의 본질적인 확률적 특성과 모바일 작업의 모호함 및 맥락 의존성이 결합되면서, LFM 기반 자동화는 신뢰성이 낮고 오류가 발생하기 쉽다. 이 중대한 문제를 해결하기 위해, 우리는 VeriSafe Agent(VSA)1를 도입한다. VSA는 모바일 GUI 에이전트를 위한 논리적 기반의 안전장치로서 기능하는 형식 검증(formal verification) 시스템이다. VSA는 에이전트가 행동을 실행하기 전에, 그 행동이 사용자의 의도와 엄밀히 일치하도록 하는 것을 결정론적으로 보장한다. 핵심적으로 VSA는 자연어 기반 사용자 지시를 형식적으로 검증 가능한 명세로 변환하는 새로운 자동 형식화(autoformalization) 기법을 제안한다. 이를 통해 에이전트의 행동에 대해 실행 시(runtime) 규칙 기반 검증을 수행할 수 있으며, 실제로 실행되기 전부터 오류가 있는 행동을 탐지할 수 있다. 우리가 아는 한, VSA는 GUI 에이전트에 형식 검증의 엄밀함을 도입하려는 최초의 시도이며, LFM 기반 행동과 형식 소프트웨어 검증 사이의 간극을 연결한다. 우리는 시판되는 LFM 서비스(GPT-4o)를 사용하여 VSA를 구현하고, 널리 사용되는 18개 모바일 앱에 걸쳐 300개의 사용자 지시에 대해 성능을 평가한다. 그 결과, VSA는 에이전트 행동을 검증하는 데 94.33%–98.33%의 정확도를 달성하며, 기존의 LFM 기반 검증 방법보다 30.00%–16.33% 더 우수한 성능을 보였다. 또한 GUI 에이전트의 작업 완료율(task completion rate)을 90%–130%까지 증가시켰다.

단일 셀 배터리의 발전에도 불구하고, 모바일 사용자들은 여전히 낮은 배터리 잔량에 대한 불안(배터리 불안)을 겪고 있다. 사용자 행동 데이터 19,855시간을 분석함으로써, 우리는 저배터리 시간의 최소화를 위해 상호 보완적인 세 가지 배터리 유형으로 구성된 이질적 배터리 시스템인 MixMax를 제안한다. 이질적 배터리 시스템은 용량과 충전 속도를 동시에 향상시킬 수 있는 기회를 제공하지만, 실행 중의 충·방전 정책을 설계하고, 밀폐된 배터리의 비율을 결정하는 데에는 사소하지 않은 과제가 따른다. 이러한 요소들은 서로에 강하게 의존하며, 따라서 선택의 후보가 거의 무한대에 이른다. MixMax는 이 문제를 최적화 문제로 재구성하고, 이를 관리 가능한 하위 문제로 분해함으로써 이를 단순화한다. 그러나 MixMax는 사용자의 배터리 사용 패턴이 다양하다는 점 때문에 모든 사용자를 만족시키는 데 여전히 어려움이 있다. 이를 해결하기 위해, 우리는 사용 패턴에 따라 사용자를 그룹화하고 맞춤형 배터리 솔루션을 제공하는 맞춤형 MixMax를 도입한다. MixMax를 평가하기 위해, 우리는 동전형(coin-cell) 배터리를 제작하고, 제작된 배터리를 사용하여 정밀한 배터리 에뮬레이터를 개발하며, 실제 스마트폰에 MixMax 프로토타입을 구현한다. 평가 결과, MixMax는 용량, 부피, 무게 또는 사용자 행동을 저해하지 않으면서 저배터리 시간(저배터리 잔량 상태에 머무는 시간)을 최대 24.6%까지 감소시키며, 맞춤형 버전은 이를 최대 46.2%까지 추가로 감소시킬 수 있음을 보여준다.

저전지 불안은 모바일 기기에 대한 의존이 증가함에 따라 나타난 현상으로, 배터리 잔량이 낮아질 때 불안이 발생한다. 배터리 수명은 전력 효율적인 하드웨어 및 소프트웨어 최적화 기법을 통해 연장될 수 있으나, 모바일 기기가 배터리에 의존하는 한 저전지 불안은 여전히 하나의 현상으로 남을 것이다. 본 논문에서는 애플리케이션 수준에서의 정확한 실시간 에너지 소비 예측이 저전지 상황에서의 사용자 경험을 어떻게 개선할 수 있는지 조사한다. 우리는 각 모바일 애플리케이션의 에너지 소비를 예측하고 그 예측 결과를 사용자에게 친화적으로 제시하도록 특별히 설계된 모바일 시스템 프레임워크인 Serenus를 제시한다. Serenus를 사용하여 사용자 연구를 수행한 결과, 높은 정확도의 에너지 소비 예측은 남은 배터리 잔량을 기준으로 사용자가 애플리케이션 사용을 계획하는 데 도움을 줌으로써 저전지 불안을 효과적으로 완화할 수 있음을 확인하였다. 또한 사용자의 불안을 완화하기 위한 요구사항을 요약하여 향후 모바일 시스템 프레임워크의 설계에 대한 지침을 제공한다.

동적 전압 및 주파수 스케일링(Dynamic Voltage and Frequency Scaling, DVFS)은 컴퓨팅 장치의 전력 효율을 향상시키는 핵심 기술이다. 그러나 기존의 DVFS 방법은 모바일 기기의 고유한 요구에 대응하는 데 어려움을 겪는다. 최근의 강화학습(reinforcement learning, RL) 기반 접근법은 모바일 특유의 열(thermal) 및 작업 부하(workload) 특성에 맞추어 이를 해결한다. 그럼에도 불구하고 이러한 해법들은 벤더(vendor)가 보정한 기기별 설정을 무시한 채 주파수 조정만 수행하고, 배터리, 디스플레이, 집적회로(integrated circuits)와 같은 주변 및 비(非)프로세서 구성요소가 프로세서 열 관리(processor thermal management)에 미치는 영향을 간과하며, 환경 의존적 고정 파라미터에 의존하여 서로 다른 환경에서의 적응성을 제한한다. 이러한 한계를 해결하기 위해 본 연구에서는 환경에 적응 가능한 RL 기반 솔루션인 EarDVFS를 제안한다. EarDVFS는 전통적 방법과 RL 기반 방법의 장점을 결합하기 위해 선제적 스로틀링(proactive throttling)을 사용하고, 더 나은 열 관리를 위해 주변 및 비(非)프로세서 구성요소의 온도를 고려하며, 환경에 강건한 RL 파라미터 설계를 특징으로 한다. 서로 다른 주변 온도, 기기, 작업 부하에 걸친 광범위한 실험 결과, EarDVFS는 성능을 유지하면서 기본 DVFS 대비 평균 21.6% 및 최대 49.6%까지 전력 효율을 일관되게 향상시키는 것으로 나타났다. 또한, 본 연구에서는 RL 모델의 행동(action), 상태(state), 보상(reward) 요소에 대한 포괄적인 절제(ablation) 연구를 수행하여, 각 요소가 다양한 열 환경에서 EarDVFS의 적응성과 효과에 유의미하게 기여함을 확인하였다.

대규모 파운데이션 모델(Large Foundation Models, LFMs)은 인간-컴퓨터 상호작용 분야에서 새로운 가능성을 열어 주었으며, 특히 모바일 GUI(그래픽 사용자 인터페이스)를 대상으로 상호작용할 수 있는 모바일 GUI 에이전트의 등장과 함께 그 가능성이 두드러지고 있다. 이러한 에이전트는 사용자가 간단한 자연어 지시를 통해 복잡한 모바일 작업을 자동화할 수 있게 해준다. 그러나 LFMs의 본질적인 확률적 특성과 모바일 작업의 모호함 및 맥락 의존성이 결합되면서, LFM 기반 자동화는 신뢰성이 낮고 오류가 발생하기 쉽다. 이 중대한 문제를 해결하기 위해, 우리는 VeriSafe Agent(VSA)1를 도입한다. VSA는 모바일 GUI 에이전트를 위한 논리적 기반의 안전장치로서 기능하는 형식 검증(formal verification) 시스템이다. VSA는 에이전트가 행동을 실행하기 전에, 그 행동이 사용자의 의도와 엄밀히 일치하도록 하는 것을 결정론적으로 보장한다. 핵심적으로 VSA는 자연어 기반 사용자 지시를 형식적으로 검증 가능한 명세로 변환하는 새로운 자동 형식화(autoformalization) 기법을 제안한다. 이를 통해 에이전트의 행동에 대해 실행 시(runtime) 규칙 기반 검증을 수행할 수 있으며, 실제로 실행되기 전부터 오류가 있는 행동을 탐지할 수 있다. 우리가 아는 한, VSA는 GUI 에이전트에 형식 검증의 엄밀함을 도입하려는 최초의 시도이며, LFM 기반 행동과 형식 소프트웨어 검증 사이의 간극을 연결한다. 우리는 시판되는 LFM 서비스(GPT-4o)를 사용하여 VSA를 구현하고, 널리 사용되는 18개 모바일 앱에 걸쳐 300개의 사용자 지시에 대해 성능을 평가한다. 그 결과, VSA는 에이전트 행동을 검증하는 데 94.33%–98.33%의 정확도를 달성하며, 기존의 LFM 기반 검증 방법보다 30.00%–16.33% 더 우수한 성능을 보였다. 또한 GUI 에이전트의 작업 완료율(task completion rate)을 90%–130%까지 증가시켰다.

단일 셀 배터리의 발전에도 불구하고, 모바일 사용자들은 여전히 낮은 배터리 잔량에 대한 불안(배터리 불안)을 겪고 있다. 사용자 행동 데이터 19,855시간을 분석함으로써, 우리는 저배터리 시간의 최소화를 위해 상호 보완적인 세 가지 배터리 유형으로 구성된 이질적 배터리 시스템인 MixMax를 제안한다. 이질적 배터리 시스템은 용량과 충전 속도를 동시에 향상시킬 수 있는 기회를 제공하지만, 실행 중의 충·방전 정책을 설계하고, 밀폐된 배터리의 비율을 결정하는 데에는 사소하지 않은 과제가 따른다. 이러한 요소들은 서로에 강하게 의존하며, 따라서 선택의 후보가 거의 무한대에 이른다. MixMax는 이 문제를 최적화 문제로 재구성하고, 이를 관리 가능한 하위 문제로 분해함으로써 이를 단순화한다. 그러나 MixMax는 사용자의 배터리 사용 패턴이 다양하다는 점 때문에 모든 사용자를 만족시키는 데 여전히 어려움이 있다. 이를 해결하기 위해, 우리는 사용 패턴에 따라 사용자를 그룹화하고 맞춤형 배터리 솔루션을 제공하는 맞춤형 MixMax를 도입한다. MixMax를 평가하기 위해, 우리는 동전형(coin-cell) 배터리를 제작하고, 제작된 배터리를 사용하여 정밀한 배터리 에뮬레이터를 개발하며, 실제 스마트폰에 MixMax 프로토타입을 구현한다. 평가 결과, MixMax는 용량, 부피, 무게 또는 사용자 행동을 저해하지 않으면서 저배터리 시간(저배터리 잔량 상태에 머무는 시간)을 최대 24.6%까지 감소시키며, 맞춤형 버전은 이를 최대 46.2%까지 추가로 감소시킬 수 있음을 보여준다.

저전지 불안은 모바일 기기에 대한 의존이 증가함에 따라 나타난 현상으로, 배터리 잔량이 낮아질 때 불안이 발생한다. 배터리 수명은 전력 효율적인 하드웨어 및 소프트웨어 최적화 기법을 통해 연장될 수 있으나, 모바일 기기가 배터리에 의존하는 한 저전지 불안은 여전히 하나의 현상으로 남을 것이다. 본 논문에서는 애플리케이션 수준에서의 정확한 실시간 에너지 소비 예측이 저전지 상황에서의 사용자 경험을 어떻게 개선할 수 있는지 조사한다. 우리는 각 모바일 애플리케이션의 에너지 소비를 예측하고 그 예측 결과를 사용자에게 친화적으로 제시하도록 특별히 설계된 모바일 시스템 프레임워크인 Serenus를 제시한다. Serenus를 사용하여 사용자 연구를 수행한 결과, 높은 정확도의 에너지 소비 예측은 남은 배터리 잔량을 기준으로 사용자가 애플리케이션 사용을 계획하는 데 도움을 줌으로써 저전지 불안을 효과적으로 완화할 수 있음을 확인하였다. 또한 사용자의 불안을 완화하기 위한 요구사항을 요약하여 향후 모바일 시스템 프레임워크의 설계에 대한 지침을 제공한다.

다중 기기 소유가 증가함에 따라 기기를 넘나들어 응용프로그램을 활용할 수 있는 기회가 창출되고 있다. 그러나 현재의 앱 개발/사용 방법은 단일 기기 패러다임에 머물러 있으며, 이는 사용자 기대에 크게 못 미친다. 예를 들어, 사용자가 여러 표면을 활용하기 위해 서로 다른 기기들에 걸쳐 기존 앱을 동적으로 분할하는 것은 현재로서는 불가능하다. 본 연구에서는 다중 기기 환경에서 여러 기기를 동시에 동작할 수 있도록 지원하는 새로운 다중 기기 플랫폼 FLUID를 제안한다. FLUID는 i) 단일 앱의 사용자 인터페이스(UI)를 여러 기기에 걸쳐 분배하고, ii) 추가적인 공학적 작업 없이 수정되지 않은 레거시 앱을 지원하며, iii) 맞춤형 UI를 갖춘 다수의 앱을 지원하는 것을 목표로 한다. 화면 미러링 및 앱 마이그레이션과 같은 선행 접근법은 이러한 목표를 전부 충족하지 못한다. 그러나 FLUID는 목표를 충족하도록 설계되었다. FLUID는 정확한 렌더링에 필요한 UI 상태만을 식별함으로써 서로 다른 기기에 UI 객체를 효율적으로 배치할 수 있다. 또한 FLUID는 기기간 메서드 호출을 투명하게 지원하고, 기기 간에 복제된 UI를 동기화함으로써 분산된 UI 객체를 실행할 수 있다. 더 나아가 FLUID는 사용성 저하를 초래할 수 있는 예기치 않은 이벤트를 자동으로 처리하며, 분산된 UI를 최신 상태로 효율적으로 유지함으로써 이를 달성한다. 20개의 레거시 앱을 사용한 평가 결과, FLUID는 다수의 앱을 투명하게 지원할 수 있으며 상호작용용으로 충분히 빠르다는 점을 보여주었다.

모바일 GUI 에이전트는 사용자를 대신하여 모바일 애플리케이션과 상호작용할 수 있는 AI 에이전트로서, 인간-컴퓨터 상호작용을 변화시킬 잠재력을 지닌다. 그러나 GUI 에이전트에 대한 현재의 평가는 두 가지 근본적인 한계에 직면해 있다. 첫째, 단일 경로의 오프라인 벤치마크 또는 온라인 실시간 벤치마크에 의존한다. 정적인 단일 경로에 대해 주석이 달린 데이터셋을 사용하는 오프라인 벤치마크는 유효한 대안적 행동을 부당하게 불리하게 평가하는 반면, 온라인 벤치마크는 실시간 평가의 동적이고 예측 불가능한 특성으로 인해 확장성과 재현성이 저조하다. 둘째, 기존 벤치마크는 에이전트를 단일한 블랙박스로 취급하여 개별 구성요소의 기여를 간과함으로써, 흔히 부당한 비교를 초래하거나 핵심 성능 병목을 가리는 결과로 이어진다. 이러한 한계를 해결하기 위해, 우리는 MobiBench를 제시한다. MobiBench는 모바일 GUI 에이전트를 위한 최초의 모듈형이면서 다중 경로를 인식하는 오프라인 벤치마킹 프레임워크로서, 오프라인 환경에서 완전히 수행되는 고정밀·고확장성·고재현성 평가를 가능하게 한다. 우리의 실험 결과, MobiBench는 신중하게 공학적으로 설계된 온라인 벤치마크와 동등한 수준으로 인간 평가자와 94.72%의 일치도를 달성하면서도, 정적인 오프라인 벤치마크가 갖는 확장성과 재현성을 유지함을 보여준다. 또한 포괄적인 모듈 수준 분석을 통해, 모바일 GUI 에이전트에서 사용되는 다양한 기법에 대한 체계적 평가, 모델 스케일 전반에서의 최적 모듈 구성, 현재 LFMs의 내재적 한계, 그리고 더 유능하고 비용 효율적인 모바일 에이전트를 설계하기 위한 실행 가능한 지침을 포함한 여러 핵심 통찰을 도출하였다.

공유 공간에서 사물인터넷(Internet of Things, IoT)의 급속한 성장은 여러 사용자가 IoT 장치를 공유할 수 있는 수요를 증가시켰다. 그러나 기존의 IoT 플랫폼은 흔히 접근 제어에 대해 전부 아니면 전무(all-or-nothing) 방식만을 제공함으로써 보안 위험을 초래할 뿐 아니라 공유 IoT 생태계의 성장을 저해하는 한계를 지닌다. 본 논문에서는 사용자 인터페이스(User Interface, UI) 구성요소 수준까지 포함하여 유연하고 세분화된 다중 사용자 접근 제어를 가능하게 하는 프레임워크 FLUID-IoT를 제안한다. FLUID-IoT는 다중 사용자 UI 배포 기법을 활용하여, 기존 IoT 앱을 중앙 집중형 허브로 전환하고 사용자의 권한 수준에 따라 UI 구성요소를 선택적으로 사용자에게 분배한다. 커버리지, 지연 시간, 메모리 사용량을 포함하는 성능 평가는 FLUID-IoT가 기존 IoT 플랫폼에 원활하게 통합될 수 있으며 일상적인 IoT 시나리오에 대해 충분한 성능을 제공함을 확인한다. 또한 실험실 내 사용자 연구는 본 프레임워크가 직관적이고 사용자 친화적이며 효율적으로 활용하는 데 필요한 교육이 최소화됨을 뒷받침한다.

커널 동시성 실패는 근본 원인인 근원적 원인을 식별하고 진단하기가 매우 어렵기로 악명 높다. 커널 동시성 버그는 종종 다변수 레이스, 비동기 커널 스레드와의 데이터 레이스, 광범위하게 존재하는 무해한 레이스와 같은 난해한 패턴을 포함한다. 우리는 실제 세계의 커널 동시성 버그에 대해 심층 연구를 수행하고 세 가지 요구사항, 즉 포괄성, 패턴 비의존성, 간결성을 도출한다.

온라인 회의는 원격 협업 환경에서 필수적이지만, 분산되어 있으며 위치에 구애받지 않는 특성 때문에 주의 산만에 취약하다. 주의 산만은 흔히 몰입도와 맥락의 상실로 인해 온라인 회의의 질을 감소시키지만, 자연스러운 멀티태스킹은 주어진 시간 단위 내 생산성 증가와 같은 긍정적인 상쇄 효과도 수반한다. 본 연구에서는 주의가 산만해지는 순간에도 멀티태스킹 행태를 유지하면서 온라인 회의를 원활히 진행하는 데 도움을 주기 위한 해결책으로서 실시간 자막(즉, 전체 전사, 요약, 키워드)의 영향을 조사하였다. 두 차례의 통제된 사용자 연구를 통해, 실시간 자막을 사용할 때 사람들이 회의 진행 흐름을 더 잘 따라갈 수 있고 방해를 덜 느낀다는 점을 정성적·정량적으로 확인하였다. 실시간 자막의 이점은 주의 산만을 유발하는 활동 이후에 더욱 뚜렷하게 나타났다. 또한 실시간 자막이 불러오기(회상)와 같은 추가적인 영향을 미친다는 점을 밝혔으며, 서로 다른 목적을 가진 사용자에게 이를 적응적으로 제공할 수 있는 향후 온라인 회의 플랫폼을 위한 설계 시사점을 제안한다.