실제적인 영향에도 불구하고 웹 애플리케이션에 대한 폐쇄형 박스(closed-box) 퍼징은 여전히 충분히 연구되지 못하고 있다. 본 논문은 폐쇄형 박스 웹 퍼징의 두 가지 근본적 한계를 조사한다: (1) 피드백 메커니즘의 부재로 인한 제한된 입력 공간 탐색, 및 (2) 취약점 식별의 천박함(shallow vulnerability identification)으로 인한 비효율적인 공격/악용(exploitation) 전략이다. 우리는 이러한 한계를 해결하기 위해 Zelda라는 새로운 폐쇄형 박스 웹 퍼저를 제안한다. 구체적으로, 폐쇄형 박스 테스트 환경에서 웹 응답으로부터 피드백 신호를 추론함으로써 퍼징 과정을 안내하는 피드백 메커니즘을 도출한다. 이어서 탐색 단계에 기반하여 경로 탐색(path exploration)과 악용(exploitation)을 위한 두 가지 서로 다른 입력 생성 전략을 조율하며, 이를 통해 페이지 내 코드 커버리지와 취약점 식별을 모두 용이하게 한다. 15개 실제 웹 애플리케이션과 9개 벤치마크 세트를 대상으로 한 평가는 Zelda의 피드백 메커니즘과 전략이 실무에서의 웹 취약점 발견에 효과적임을 보여준다. Zelda는 182개의 취약점을 찾아내며, 6종의 최신(state-of-the-art) 웹 퍼저를 능가했다. 또한 실제 환경(wild)에서도 Zelda는 29개의 CVE를 부여받은, 이전에는 보고되지 않았던 취약점들을 추가로 발견했다.

혼합 전문가(Mixture-of-Experts, MoE)는 대규모 언어 모델(LLMs)을 확장하기 위한 대표적인 아키텍처로 부상하였다. 특히, 손쉽게 이용 가능한 미세조정된 LLM들을 전문가로 활용하는 방식은 MoE LLM을 개발하는 데 있어 효율적이고 유연한 접근법을 제공한다. 그러나 고성능이지만 신뢰할 수 없는 LLM을 MoE 시스템에 통합하는 것은 중대한 안전 위험을 수반하며, 이는 MoE LLM 시스템 전반의 안전성을 저해할 가능성이 있다. 현재까지는 공격자가 오염된(poisoned) 전문가 LLM을 도입함으로써 MoE LLM 서비스를 어떻게 훼손할 수 있는지에 대해 탐구한 연구가 없다. 본 논문에서는 MoE LLM의 안전을 훼손하도록 설계된 새로운 전문가 오염 공격인 MOEVIL을 제안한다. 우리는 MoE 시스템 내에서 표적 전문가로부터 유해한 영향이 확산되는 현상을 유해 선호 학습을 수행함으로써 다룬다. 다음으로, 이 전문가의 잠재 벡터(latent vector)를 전략적으로 조작하여 게이팅 네트워크(gating networks)를 기만한다. 이러한 조작은 유해한 질의에 대한 응답을 생성할 때 경로 배정(routing) 결정을 우회적으로(간접적으로) 오염된 전문가 쪽으로 유도한다. MOEVIL은 Llama 및 Qwen LLM을 기반으로 한 다양한 MoE 구성 전반에서, 단 하나의 전문가만 오염시키는 경우에도, 강력한 공격 성능을 보인다. 또한 MOEVIL은 Llama 기반 MoE LLM에서 유해성 점수를 0.58에서 79.42로 증가시키며, 기존의 유해한 전문가 오염 공격들을 능가한다. 더 나아가 우리의 결과는 효율적인 MoE 학습 전략과 결합된 안전 정렬(safety alignment)조차도 이러한 위험을 완전히 완화하지 못함을 보여준다. 본 연구 결과는 MoE 시스템에서 유해한 전문가가 야기하는 중대한 위협을 입증하며, MoE 기반 LLM 개발에서 견고한 안전 대책의 필요성을 강조한다. 우리의 구현은 https://github.com/jaehanwork/MoEvil 에서 제공된다.

실제적인 영향에도 불구하고 웹 애플리케이션에 대한 폐쇄형 박스(closed-box) 퍼징은 여전히 충분히 연구되지 못하고 있다. 본 논문은 폐쇄형 박스 웹 퍼징의 두 가지 근본적 한계를 조사한다: (1) 피드백 메커니즘의 부재로 인한 제한된 입력 공간 탐색, 및 (2) 취약점 식별의 천박함(shallow vulnerability identification)으로 인한 비효율적인 공격/악용(exploitation) 전략이다. 우리는 이러한 한계를 해결하기 위해 Zelda라는 새로운 폐쇄형 박스 웹 퍼저를 제안한다. 구체적으로, 폐쇄형 박스 테스트 환경에서 웹 응답으로부터 피드백 신호를 추론함으로써 퍼징 과정을 안내하는 피드백 메커니즘을 도출한다. 이어서 탐색 단계에 기반하여 경로 탐색(path exploration)과 악용(exploitation)을 위한 두 가지 서로 다른 입력 생성 전략을 조율하며, 이를 통해 페이지 내 코드 커버리지와 취약점 식별을 모두 용이하게 한다. 15개 실제 웹 애플리케이션과 9개 벤치마크 세트를 대상으로 한 평가는 Zelda의 피드백 메커니즘과 전략이 실무에서의 웹 취약점 발견에 효과적임을 보여준다. Zelda는 182개의 취약점을 찾아내며, 6종의 최신(state-of-the-art) 웹 퍼저를 능가했다. 또한 실제 환경(wild)에서도 Zelda는 29개의 CVE를 부여받은, 이전에는 보고되지 않았던 취약점들을 추가로 발견했다.

혼합 전문가(Mixture-of-Experts, MoE)는 대규모 언어 모델(LLMs)을 확장하기 위한 대표적인 아키텍처로 부상하였다. 특히, 손쉽게 이용 가능한 미세조정된 LLM들을 전문가로 활용하는 방식은 MoE LLM을 개발하는 데 있어 효율적이고 유연한 접근법을 제공한다. 그러나 고성능이지만 신뢰할 수 없는 LLM을 MoE 시스템에 통합하는 것은 중대한 안전 위험을 수반하며, 이는 MoE LLM 시스템 전반의 안전성을 저해할 가능성이 있다. 현재까지는 공격자가 오염된(poisoned) 전문가 LLM을 도입함으로써 MoE LLM 서비스를 어떻게 훼손할 수 있는지에 대해 탐구한 연구가 없다. 본 논문에서는 MoE LLM의 안전을 훼손하도록 설계된 새로운 전문가 오염 공격인 MOEVIL을 제안한다. 우리는 MoE 시스템 내에서 표적 전문가로부터 유해한 영향이 확산되는 현상을 유해 선호 학습을 수행함으로써 다룬다. 다음으로, 이 전문가의 잠재 벡터(latent vector)를 전략적으로 조작하여 게이팅 네트워크(gating networks)를 기만한다. 이러한 조작은 유해한 질의에 대한 응답을 생성할 때 경로 배정(routing) 결정을 우회적으로(간접적으로) 오염된 전문가 쪽으로 유도한다. MOEVIL은 Llama 및 Qwen LLM을 기반으로 한 다양한 MoE 구성 전반에서, 단 하나의 전문가만 오염시키는 경우에도, 강력한 공격 성능을 보인다. 또한 MOEVIL은 Llama 기반 MoE LLM에서 유해성 점수를 0.58에서 79.42로 증가시키며, 기존의 유해한 전문가 오염 공격들을 능가한다. 더 나아가 우리의 결과는 효율적인 MoE 학습 전략과 결합된 안전 정렬(safety alignment)조차도 이러한 위험을 완전히 완화하지 못함을 보여준다. 본 연구 결과는 MoE 시스템에서 유해한 전문가가 야기하는 중대한 위협을 입증하며, MoE 기반 LLM 개발에서 견고한 안전 대책의 필요성을 강조한다. 우리의 구현은 https://github.com/jaehanwork/MoEvil 에서 제공된다.

트리거 세트 기반 워터마킹 기법은 심층 신경망 모델 소유자에 대한 소유권을 입증하는 수단을 제공한다는 점에서 최근 주목받고 있다. 본 논문에서는 최신 트리거 세트 기반 워터마킹 알고리즘들이 설계된 목표인 소유권 입증을 달성하지 못한다고 주장한다. 이러한 기능 저하는, 기존 연구에서 워터마킹 알고리즘의 견고성을 평가할 때 흔히 범해 온 두 가지 공통적인 실험적 결함으로부터 비롯된다고 본다: (1) 불완전한 적대적 평가와 (2) 간과된 적응적 공격. 우리는 11개의 대표적인 워터마킹 기법을 기존 공격 6종에 대해 종합적인 적대적 평가를 수행하였으며, 그 결과 각 워터마킹 기법이 적어도 두 가지 비적응적 공격에 대해 견고성을 결여함을 확인하였다. 또한 우리는 표적 모델의 기저 워터마킹 알고리즘에 대한 적대자의 지식을 활용하는 새로운 적응적 공격을 제안한다. 제안된 공격은 11개의 모든 워터마킹 기법을 효과적으로 무너뜨려, 결과적으로 워터마킹된 어떠한 모델에 대해서도 적대자가 소유권을 가리는 것이 가능함을 보여준다. 후속 연구에서는 우리의 적응적 공격을 포함하여, 소유권 워터마킹 기법의 견고성을 입증하기 위한 종합적인 적대적 평가를 수행함으로써 워터마킹 견고성의 의미 있는 상한을 제시하는 데 있어 우리의 지침을 고려할 것을 권장한다.

현대 언어 모델은 풍부한 내부 구조를 보이지만, 개인 식별 정보(personally identifiable information, PII) 유출과 같은 개인정보 보호에 민감한 행동이 숨겨진 상태(hidden states) 내에서 어떻게 표현되고 조절되는지에 대해서는 거의 알려져 있지 않다. 본 연구는 보편적 활성화 방향(universal activation directions)을 식별하는 기계적 해석가능성(mechanistic-interpretability) 프레임워크 UniLeak을 제시한다. UniLeak은 잔차 스트림(residual stream) 내의 잠재 방향(latent directions)으로서, 추론 시점에 선형적으로 추가하면 프롬프트 전반에 걸쳐 PII를 생성할 가능성이 일관되게 증가하는 방향을 찾아낸다. 이러한 모델별 방향은 맥락 전반에 걸쳐 일반화되며, 생성 품질에는 최소한의 영향만을 미친 채 PII 생성 확률을 증폭한다. UniLeak은 학습 데이터나 PII에 대한 정답(groundtruth) 접근 없이, 자기 생성 텍스트만을 기반으로 이러한 방향을 복원한다. 여러 모델과 데이터셋에 걸친 실험에서, 이 보편적 방향을 따라 조종(steering)하면 기존의 프롬프트 기반 추출(prompt-based extraction) 방법에 비해 PII 유출이 실질적으로 더 크게 증가한다. 본 결과는 PII 유출에 대한 새로운 관점을 제공한다. 즉, 모델의 표상(representations) 안에 잠재 신호(latent signal)가 중첩(superposition)되어 존재하며, 이를 통해 위험의 증폭과 완화가 모두 가능하다는 것이다.

현대적 언어 모델은 풍부한 내부 구조를 보이지만, 개인정보 식별 정보(personally identifiable information, PII) 유출과 같은 개인정보 보호에 민감한 행동이 은닉 상태(hidden states) 내에서 어떻게 표현되고 조절되는지에 대해서는 거의 알려져 있지 않다. 본 연구에서는 보편적 활성 방향(universal activation directions)을 식별하는 기전-해석가능성(mechanistic-interpretability) 프레임워크인 UniLeak을 제시한다. 이는 모델의 잔차 스트림(residual stream)에 존재하는 잠재 방향(latent directions)으로, 추론(inference) 시 해당 방향을 선형적으로 더하면 프롬프트 전반에 걸쳐 PII를 생성할 가능성이 일관되게 증가하는 방향을 의미한다. 이러한 모델-특정 방향은 다양한 맥락에 대해 일반화되며, 생성 품질에 미치는 영향은 최소화하면서 PII 생성 확률을 증폭한다. UniLeak은 학습 데이터나 PII에 대한 정답(groundtruth)에 접근하지 않고도, 자기 생성 텍스트(self-generated text)에만 의존하여 이러한 방향을 복원한다. 여러 모델과 데이터셋에 걸친 실험에서, 이 보편적 방향을 따라 조종(steering)하면 기존의 프롬프트 기반 추출 방법에 비해 PII 유출이 실질적으로 증가한다. 본 결과는 PII 유출에 대한 새로운 관점을 제공한다. 즉, 모델 표현 내에 잠재 신호(latent signal)가 중첩(superposition)되어 있으며, 이를 통해 위험의 증폭과 완화가 모두 가능하다는 것이다.

잠재 확산(latent diffusion) 모델은 고해상도 텍스트-이미지 생성에서 괄목할 만한 성과를 보였지만, 학습 데이터를 암기하는 경향은 중대한 개인정보 및 지적 재산권 우려를 제기한다. 멤버십 추론 공격(membership inference attacks, MIAs)은 특정 샘플이 학습에 포함되었는지를 판단함으로써 이러한 암기를 감사(audit)하는 데 원칙적인 방법을 제공한다. 그러나 기존 접근법은 정답 캡션(ground-truth captions)에 대한 접근을 가정한다. 이러한 가정은 텍스트 주석이 비공개로 남고 오직 이미지만 제공되는 현실적인 상황에서는 성립하지 않으며, 그 결과 이전 방법은 비전-언어 모델(vision-language model, VLM) 캡션으로 대체될 경우 효과가 떨어진다. 본 연구에서는 목표 모델의 생성적(manifold) 공간에 대해 명시적으로 과적합되도록 하는 합성 조건 입력을 구성하는 캡션-프리(caption-free) MIAs 프레임워크 MoFit을 제안한다. 질의 이미지가 주어지면 MoFit은 두 단계로 진행된다. (i) 모델-적합 surrogate 최적화 단계로, 이미지에 적용되는 교란(perturbation)을 최적화하여 멤버 샘플로부터 학습된 모델의 무조건(unconditional) prior의 영역에서 surrogate를 구성하고, (ii) surrogate 기반 임베딩 추출 단계로, surrogate로부터 모델-적합 임베딩을 도출한 뒤 이를 질의 이미지에 대한 불일치(mismatched) 조건으로 사용한다. 이 임베딩은 멤버 샘플에 대해서는 조건부 손실 응답을 증폭시키는 반면 홀아웃(hold-outs)에는 상대적으로 덜 영향을 주어, 정답 캡션 부재 하에서도 분리가 향상된다. 여러 데이터셋과 확산 모델에 걸친 포괄적인 실험 결과, MoFit은 기존의 VLM-조건 기반 방법을 일관되게 능가하며 캡션 의존(caption-dependent) 방법들과 경쟁할 만한 성능을 달성함을 보여준다.

잠재 확산 모델은 고해상도 텍스트-대-이미지 생성에서 주목할 만한 성과를 거두었으나, 학습 데이터를 암기하는 경향은 중대한 개인정보 및 지적 재산권 우려를 제기한다. 멤버십 추론 공격(Membership Inference Attacks, MIAs)은 주어진 샘플이 학습에 포함되었는지를 판단함으로써 이러한 암기를 감사(audit)할 수 있는 정합적 방법을 제공한다. 그러나 기존 접근법은 정답 캡션에 대한 접근을 전제한다. 이러한 가정은 오직 이미지만 이용 가능하고 그 텍스트 주석이 비공개로 유지되는 현실적 상황에서는 성립하지 않으며, 이전 방법은 비전-언어 모델(vision-language model, VLM) 캡션으로 대체될 경우 효과가 떨어진다. 본 연구에서는 표준 캡션이 없는(caption-free) MIAs 프레임워크인 MoFit을 제안하며, 목표 모델의 생성적(manifold) 공간에 대해 명시적으로 과적합(overfitted)된 합성 조건 입력을 구성한다. 질의 이미지가 주어지면 MoFit은 두 단계로 진행된다: (i) 모델 적합(surrogate) 대리 최적화(model-fitted surrogate optimization) 단계에서는, 멤버 샘플로부터 학습된 모델의 무조건 사전(unconditional prior)에서의 영역을 대상으로 대리를 구성하기 위해 이미지에 적용되는 교란(perturbation)을 최적화한다. (ii) 대리 기반 임베딩 추출(surrogate-driven embedding extraction) 단계에서는, 대리로부터 모델 적합 임베딩(model-fitted embedding)을 도출한 뒤 이를 질의 이미지에 대한 불일치(mismatched) 조건으로 사용한다. 이 임베딩은 멤버 샘플에 대해서는 조건부 손실 반응을 증폭시키는 반면, 홀드아웃(hold-outs)은 상대적으로 덜 영향을 받아 정답 캡션이 부재한 상황에서도 분리 가능성을 향상시킨다. 다수의 데이터셋과 확산 모델에 걸친 포괄적 실험 결과, MoFit은 기존 VLM-조건 기반 기준선보다 일관되게 더 우수한 성능을 보이며, 캡션 의존 방법과 경쟁력 있는 성능을 달성함을 확인하였다.