🔀 CrossHOI-Bench: VLM과 HOI 전용 모델을 공정하게 비교하기 (CVPR 2026)

🔀 CrossHOI-Bench 논문 읽기!

논문: CrossHOI-Bench: A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods
저자: Qinqian Lei, Bo Wang, Robby T. Tan
소속: National University of Singapore, University of Mississippi, ASUS Intelligent Cloud Services
학회: CVPR 2026
코드: https://github.com/ChelsieLei/CrossHOI-Bench
프로젝트 페이지: https://chelsielei.github.io/crosshoibench_page/
한 줄 요약: VLM과 HOI 전용 모델을 같은 문제 형식으로 평가하기 위해, HOI Detection을 복수 정답 객관식 문제로 바꾼 통합 벤치마크를 제안한다!!

---

🧩 먼저 HOI Detection이 뭔가?

HOI Detection은 Human-Object Interaction Detection의 줄임말이다.

이미지 안에서 단순히 사람과 물체를 찾는 것을 넘어서,

• 사람이 어떤 물체와 상호작용하는지
• 그 상호작용이 어떤 행동인지
• 최종적으로 <person, verb, object> 형태의 관계가 무엇인지

를 예측하는 문제다.

예를 들면 다음과 같다.

• <person, ride, bicycle>
• <person, hold, cup>
• <person, cut, cake>
• <person, sit on, chair>
• <person, throw, frisbee>

즉, HOI Detection은 이미지 안의 사람, 객체, 행동, 위치 관계를 함께 이해해야 하는 문제다.

그래서 단순 object detection보다 훨씬 까다롭다. 사람과 자전거가 같이 있다고 해서 무조건 ride bicycle은 아니기 때문이다. 사람은 자전거를 탈 수도 있고, 끌 수도 있고, 고칠 수도 있고, 그냥 옆에 서 있을 수도 있다.

---

🚨 기존 HOI 벤치마크의 문제: 정답지가 너무 빡빡하다!

기존 HOI 연구에서는 HICO-DET, V-COCO, SWiG-HOI 같은 데이터셋이 많이 사용되어 왔다.

이 데이터셋들은 HOI 전용 모델을 평가하는 데는 유용했지만, 최근 등장한 대형 Vision-Language Model(VLM)을 평가하기에는 애매한 문제가 있다.

대표적인 문제가 바로 exact label matching이다.

기존 방식에서는 모델이 예측한 interaction이 데이터셋의 정답 annotation과 정확히 일치해야 맞았다고 본다. 그런데 실제 이미지는 항상 그렇게 깔끔하지 않다.

예를 들어 어떤 사람이 비행기 문 근처에서 움직이는 장면이 있다고 하자.

• 데이터셋 정답: board airplane
• 모델 예측: exit airplane

정지 이미지 한 장만 보면 둘 다 그럴듯할 수 있다. 하지만 기존 평가에서는 annotation에 없는 예측은 틀렸다고 처리될 수 있다.

또 다른 예도 있다.

• 정답에는 cut cake만 있음
• 실제로는 손에 든 칼 때문에 cut with knife도 맞을 수 있음
• 하지만 annotation에 없으면 모델은 틀렸다고 평가될 수 있음

이런 문제가 특히 VLM에게 불리하다. VLM은 고정된 label id를 찍는 모델이 아니라, 이미지 내용을 자연어로 유연하게 설명하는 모델이기 때문이다.

즉, 기존 벤치마크는 다음 질문에 답하기 어렵다.

“요즘 VLM이 HOI 전용 모델만큼 사람-객체 상호작용을 잘 이해할까?”

CrossHOI-Bench는 바로 이 질문에 답하기 위해 만들어졌다.

---

🔀 핵심 아이디어: HOI를 복수 정답 객관식 문제로 바꾸기!

CrossHOI-Bench의 가장 중요한 아이디어는 HOI Detection을 multiple-answer, multiple-choice task로 재구성하는 것이다.

쉽게 말하면, 모델에게 다음처럼 묻는다.

이 이미지에서 target person이 하는 interaction은 무엇인가?
A. hold surfboard
B. jump surfboard
C. repair surfboard
D. wash surfboard
정답은 하나 이상일 수 있음!

여기서 중요한 점은 정답이 여러 개일 수 있다는 것이다.

실제 이미지에서는 한 사람이 하나의 객체와 여러 interaction을 동시에 할 수 있다.

• 서핑보드를 잡고 있으면서 점프할 수 있고
• 말을 타면서 안고 있을 수 있고
• 칼을 들고 있으면서 케이크를 자를 수 있다

그래서 CrossHOI-Bench는 단일 정답을 강요하지 않고, 여러 개의 positive answer를 허용한다.

또한 negative option도 아무렇게나 고르지 않는다. 논문에서는 VLM 기반 coarse screening과 manual refinement를 거쳐, 실제로 틀린 선택지인지 사람이 다시 확인한다.

이렇게 하면 다음 장점이 생긴다.

• VLM도 객관식 답변 형식으로 평가할 수 있다.
• HOI 전용 모델도 top-k prediction을 객관식 후보와 매칭하여 평가할 수 있다.
• annotation에 없는 그럴듯한 interaction을 무조건 오답 처리하는 문제를 줄일 수 있다.
• 여러 사람이 등장하는 복잡한 장면에서 target person 기준 평가가 가능해진다.

즉, CrossHOI-Bench는 VLM과 HOI 전용 모델을 같은 시험지 위에 올려놓는 벤치마크라고 볼 수 있다.

---

🏗️ 벤치마크는 어떻게 만들었나?

CrossHOI-Bench는 주로 HICO-DET을 기반으로 만들고, V-COCO와 SWiG-HOI 기반 sub-benchmark도 추가했다.

논문에서 제시하는 전체 규모는 다음과 같다.

• 전체 벤치마크: 3,773개 객관식 질문
• HICO-DET 기반 main benchmark: 1,274개 이미지, 600개 HOI class
• V-COCO 기반 sub-benchmark: 647개 질문, 499개 이미지, 323개 HOI class
• SWiG-HOI 기반 sub-benchmark: 1,852개 질문, 1,851개 이미지, 210개 HOI class

여기서 HICO-DET 기반 main benchmark를 고른 이유는 HOI 전용 모델들이 이미 HICO-DET 기준으로 많이 평가되어 왔기 때문이다. 그래야 기존 HOI detector와 VLM을 비교하기 쉽다.

하지만 단순히 HICO-DET test set을 그대로 쓰지는 않는다.

논문은 너무 쉬운 장면을 제거하고, 더 헷갈리는 장면을 중심으로 재구성한다.

예를 들면 다음과 같은 장면들이 더 중요해진다.

• 여러 사람이 같은 이미지 안에서 서로 다른 행동을 하는 장면
• 한 사람이 하나의 객체와 여러 interaction을 동시에 하는 장면
• hold와 hug, cut과 peel, board와 exit처럼 구분이 애매한 장면
• 사람과 사람이 상호작용하는 human-human interaction 장면

흥미로운 점은 기존 HICO-DET에서는 single-person single-object 장면 비율이 높지만, CrossHOI-Bench는 이런 쉬운 장면 비율을 줄이고 multi-person different-HOI 장면을 크게 늘렸다는 점이다.

즉, 단순히 “벤치마크 하나 더 만들었다”가 아니라, VLM과 HOI 모델의 진짜 약점이 드러나는 어려운 장면을 의도적으로 모은 것이다.

---

🧪 3가지 평가 설정

CrossHOI-Bench는 하나의 점수만 보지 않고, 3가지 setting으로 나누어 평가한다.

Setting 1 — HOI Detection

가장 종합적인 평가다.

모델은 이미지에서 사람을 찾고, 그 사람이 어떤 interaction을 하는지 맞혀야 한다.

즉,

1. 사람 위치를 찾고
2. target person과 매칭하고
3. 올바른 HOI 선택지를 고른다

까지 해야 한다.

이 설정은 실제 HOI Detection에 가장 가깝다. 대신 VLM에게는 꽤 어렵다. VLM이 자유롭게 장면을 설명하는 데는 강해도, 정확한 bounding box를 안정적으로 내는 것은 아직 쉽지 않기 때문이다.

Setting 2 — Localized HOI Recognition

이번에는 target person의 bounding box를 제공한다.

즉, “이 사람이 누구인지”는 알려주고, 그 사람이 무엇을 하고 있는지만 맞히게 한다.

이 설정은 detection error를 제거하고, 순수하게 interaction recognition 능력을 보고 싶을 때 유용하다.

논문에서 중요한 해석도 여기서 나온다.

VLM이 Setting 1에서 약한 것이 정말 interaction 이해를 못해서인가?
아니면 사람 위치를 못 잡아서인가?

Setting 2를 보면 이 둘을 어느 정도 분리해서 볼 수 있다.

Setting 3 — HOI Recognition

이미지 전체에서 어떤 HOI가 존재하는지 맞히는 setting이다.

특정 target person에 집중하기보다는, 이미지 전체의 interaction label을 인식한다.

이 설정은 localization보다는 장면 전체의 interaction understanding에 가깝다.

예를 들어 소셜 interaction, 다중 인물 장면 이해, 전체 활동 분석 같은 downstream task와 연결될 수 있다.

---

📏 평가 지표는 무엇을 쓰나?

기존 HOI benchmark에서는 mAP가 많이 쓰인다.

하지만 CrossHOI-Bench는 복수 정답 객관식 문제이므로, set prediction 관점의 지표를 사용한다.

• Macro-F1: class별 균형을 고려한 F1
• Instance-F1: 질문 단위로 예측 set과 정답 set을 비교한 F1
• Micro-F1: 전체 예측과 정답을 모아서 계산한 F1
• Exact Match(EM): 예측한 정답 set이 완전히 일치하는 비율
• Average Precision / Recall: 모델이 너무 적게 찍는지, 너무 많이 찍는지 따로 확인

여기서 특히 중요한 것은 recall이다.

VLM은 그럴듯한 주요 action 하나는 잘 맞히지만, 같은 사람-객체 pair에서 동시에 발생하는 여러 action을 빠뜨리는 경우가 많다. 그래서 precision만 보면 좋아 보이지만 recall을 보면 약점이 드러날 수 있다.

---

📊 실험 결과: 큰 VLM은 생각보다 강하다!

논문은 Qwen2.5-VL, Qwen3-VL, InternVL, LLaVA-OV 같은 VLM들과 ADA-CM, CMMP, LAIN, HOLa, CMD-SE 같은 HOI 전용 모델을 비교한다.

가장 인상적인 결과는 다음이다.

큰 VLM은 zero-shot 상태에서도 HOI 전용 모델과 경쟁하거나, 일부 setting에서는 더 좋은 성능을 보인다.

예를 들어 main benchmark의 Setting 1에서 Qwen2.5-VL-32B는 높은 Instance-F1을 기록하며 HOI 전용 모델보다 강한 결과를 보인다. Setting 2처럼 target person box가 주어지는 경우에는 VLM의 interaction recognition 능력이 더 잘 드러나며, Qwen2.5-VL-32B와 InternVL3-38B 같은 대형 모델들이 특히 강하게 나온다.

하지만 이것이 “VLM이 HOI 전용 모델을 완전히 이겼다”는 뜻은 아니다.

정확히는 다음과 같이 봐야 한다.

• 대형 VLM: 전반적인 interaction 이해와 open-vocabulary generalization에 강함
• HOI 전용 모델: localization, multi-action recognition, target person 구분에서 강점이 있음
• 소형 VLM: recognition-only에서는 어느 정도 경쟁하지만 detection이 들어가면 성능이 크게 떨어짐

즉, VLM은 장면을 이해하는 상식과 언어적 유연성이 뛰어나지만, 사람이 여러 명 겹쳐 있거나 target person을 정확히 구분해야 하는 경우에는 아직 불안정하다.

---

🤔 VLM은 어디서 자주 틀리나?

논문에서 분석한 VLM의 실패 유형은 특히 실용적으로 중요하다.

1. 여러 action 중 일부만 맞힌다

예를 들어 사람이 surfboard를 잡고 점프하는 장면이 있다고 하자.

정답은 다음 둘일 수 있다.

• jump surfboard
• hold surfboard

그런데 VLM은 가장 눈에 띄는 jump surfboard만 맞히고 hold surfboard는 빠뜨릴 수 있다.

즉, VLM은 대표 action 하나를 고르는 데는 강하지만, 동시에 발생하는 interaction을 모두 나열하는 데는 약할 수 있다.

2. 다른 사람의 행동을 target person에게 잘못 붙인다

여러 사람이 가까이 있는 장면에서는, 주변 사람이 하는 행동을 target person의 행동으로 오해할 수 있다.

예를 들어 한 사람은 공을 막고 있고, 다른 사람은 공을 던지는 상황에서 VLM이 target person에게 throw sports ball을 붙이는 식이다.

이 문제는 VLM의 global attention 구조와도 관련이 있다. 이미지 전체를 넓게 보면서 문맥을 잘 이해하는 대신, “이 손이 정확히 어느 사람의 손인가?” 같은 instance-level binding은 약할 수 있다.

3. 비슷한 interaction을 헷갈린다

HOI에는 아주 비슷한 class가 많다.

• hold person vs hug person
• cut banana vs peel banana
• board boat vs exit boat
• repair laptop vs type on laptop

이런 차이는 손 위치, 시선, 접촉 여부 같은 작은 단서에 달려 있다. 현재 VLM은 이런 fine-grained cue를 놓치는 경우가 있다.

4. 그럴듯하지만 이미지 근거가 부족한 action을 말한다

VLM은 언어적 prior가 강하다.

그래서 실제 이미지에는 명확한 근거가 없는데, 물체와 자주 함께 등장하는 행동을 추론해 버릴 수 있다.

예를 들어 사람이 이미 코끼리를 타고 있는 장면에서 hop on elephant처럼 “타려고 올라가는 중”이라고 말하는 경우다.

이것은 object hallucination과 비슷하지만, 여기서는 action hallucination이라고 볼 수 있다.

---

🧠 HOI 전용 모델은 여전히 필요한가?

이 논문을 읽으면 “대형 VLM이 잘하니까 HOI 전용 모델은 이제 필요 없는 것 아닌가?”라는 생각이 들 수 있다.

하지만 결론은 그렇게 단순하지 않다.

HOI 전용 모델은 다음 부분에서 여전히 강점이 있다.

• bounding box 기반의 명확한 localization
• human-object pair 구조를 보존하는 detection pipeline
• 같은 pair에 여러 action이 붙는 multi-action recognition
• target person과 주변 사람의 행동을 구분하는 능력

반면 VLM은 다음 부분이 강하다.

• 넓은 시각-언어 지식
• open-vocabulary interaction 이해
• 데이터셋 label에 갇히지 않는 표현력
• zero-shot generalization

따라서 CrossHOI-Bench의 결론은 “누가 완전히 이겼다”가 아니라, 두 계열의 장단점이 다르다는 것이다.

VLM은 HOI 이해의 큰 그림에 강하고, HOI 전용 모델은 instance-level grounding과 구조적 detection에 강하다.

이 관점이 굉장히 중요하다.

---

🔍 GitHub 저장소에서 확인할 수 있는 것

공개된 GitHub 저장소에는 CrossHOI-Bench 평가를 재현하기 위한 코드와 annotation이 포함되어 있다.

주요 구성은 다음과 같다.

• hicodet/: HICO-DET 기반 main benchmark annotation
• vcoco/: V-COCO 기반 sub-benchmark annotation
• swighoi/: SWiG-HOI 기반 sub-benchmark annotation
• scripts/: Qwen, InternVL, HOI-specific model 평가용 script
• HOI-specific method prediction 제공: ADA-CM, CMMP, CMD-SE, LAIN, HOLa

README 기준으로 이미지는 직접 포함하지 않고, 사용자가 HICO-DET, V-COCO, SWiG-HOI 원본 데이터를 받아 정해진 경로에 배치하는 방식이다.

이 방식은 라이선스 측면에서도 자연스럽다. CrossHOI-Bench는 원본 이미지를 재배포하는 대신, 원본 데이터셋 위에 얹는 derived question-answer annotation을 제공한다.

---

🚀 이 논문이 중요한 이유

내가 보기에 CrossHOI-Bench가 중요한 이유는 단순히 새 benchmark를 만들었기 때문이 아니다.

이 논문은 평가 질문 자체를 바꾼다.

기존 질문은 대략 이런 느낌이었다.

“모델이 기존 annotation label과 얼마나 정확히 일치하는가?”

CrossHOI-Bench의 질문은 더 현실적이다.

“모델이 헷갈릴 만한 후보들 사이에서, 실제 이미지에 맞는 interaction set을 고를 수 있는가?”

이 차이가 크다.

현실의 이미지는 annotation처럼 깔끔하지 않다. 여러 사람이 동시에 움직이고, 한 사람이 여러 객체와 상호작용하고, 정지 이미지 한 장만으로는 행동이 애매한 경우도 많다.

그래서 CrossHOI-Bench는 VLM 시대의 HOI 평가에 필요한 방향을 잘 보여준다.

• 고정 label matching만으로는 부족하다.
• VLM과 detector를 같은 protocol로 비교할 수 있어야 한다.
• 정답은 하나가 아닐 수 있다.
• negative option은 정말 틀린지 신중하게 검증해야 한다.
• 쉬운 head-class 장면보다 어려운 multi-person 장면에서 모델 차이가 드러난다.

---

🧠 나의 코멘트!

CrossHOI-Bench는 HOI 연구에서 꽤 중요한 전환점처럼 느껴진다.

그동안 HOI Detection은 주로 “사람 box, 객체 box, interaction label을 얼마나 잘 맞히는가?”라는 detection 중심 문제로 다뤄졌다. 그런데 VLM이 등장하면서, 이제 모델은 label id를 찍는 대신 자연어로 장면을 설명할 수 있게 되었다.

문제는 평가 방식이 그 변화를 따라가지 못했다는 점이다.

CrossHOI-Bench는 그 간극을 잘 찌른다.

특히 복수 정답 객관식이라는 형식이 마음에 든다. 완전한 open-ended generation 평가는 아직 parsing도 어렵고 공정성도 애매하다. 반대로 기존 exact-match 평가는 너무 경직되어 있다. CrossHOI-Bench는 그 중간 지점에서, 평가를 통제 가능하게 만들면서도 VLM의 유연성을 어느 정도 인정한다.

또 하나 인상적인 점은 결과 해석이 균형 잡혀 있다는 것이다.

“VLM이 다 이겼다!”가 아니라,

• VLM은 넓은 의미 이해와 zero-shot generalization에 강하고
• HOI 전용 모델은 localization과 multi-action 구조에 강하며
• 둘 다 cross-person attribution과 fine-grained interaction 구분에서는 아직 어렵다

라고 정리한다.

실무적으로도 이 메시지는 중요하다.

로봇, CCTV 분석, 스포츠 분석, 의료/돌봄 모니터링처럼 “누가 무엇을 하고 있는지”를 정확히 알아야 하는 시스템에서는 단순히 대형 VLM 하나만 믿기 어렵다. target person을 정확히 잡고, 주변 사람과 객체를 분리하고, 동시에 발생하는 여러 action을 빠뜨리지 않는 구조가 필요하다.

반대로 open-world 환경에서 기존 label set 밖의 상호작용까지 넓게 이해해야 한다면 VLM의 장점이 크다.

그래서 앞으로는 VLM의 넓은 상식과 HOI detector의 구조적 grounding을 결합하는 방향이 더 중요해질 것 같다.

CrossHOI-Bench는 그 방향을 평가할 수 있는 좋은 시험지다.