👟 SHOE: Open-Vocabulary HOI를 의미적으로 평가하기 (CVPR 2026 Workshop)

👟 SHOE 논문 읽기!

논문: SHOE: Semantic HOI Open-Vocabulary Evaluation Metric
저자: Maja Noack, Qinqian Lei, Taipeng Tian, Bihan Dong, Robby T. Tan, Yixin Chen, John Young, Saijun Zhang, Bo Wang
학회: CVPR 2026 Workshop on Grounding and Reasoning with Vision-Language Models (GRAIL-V)
코드: https://github.com/majnoa/SHOE
한 줄 요약: Open-vocabulary HOI 예측에서 lean on couch와 sit on couch처럼 표현은 다르지만 의미적으로 가까운 답을 무조건 오답 처리하지 않기 위해, HOI label 간 semantic similarity를 반영하는 평가 metric을 제안한다!!

---

🧩 먼저 HOI Detection과 Open-Vocabulary 문제가 뭔가?

HOI Detection은 Human-Object Interaction Detection의 줄임말이다.

이미지 안에서 단순히 사람과 물체를 찾는 것을 넘어서,

• 사람이 어떤 객체와 상호작용하는지
• 그 상호작용이 어떤 행동인지
• 최종적으로 <person, verb, object> 관계가 무엇인지

를 예측하는 문제다.

예를 들면 다음과 같다.

• <person, ride, bicycle>
• <person, hold, cup>
• <person, sit on, couch>
• <person, lean on, couch>
• <person, inspect, laptop>

기존 HOI benchmark에서는 보통 미리 정해진 class 목록이 있다. 예를 들어 HICO-DET은 600개의 HOI class를 정의해두고, 모델이 그 class를 얼마나 잘 맞히는지 평가한다.

하지만 요즘은 CLIP, VLM, MLLM 같은 모델 덕분에 상황이 달라졌다.

모델이 꼭 정해진 label만 출력하는 것이 아니라, 자연어로 더 자유롭게 interaction을 말할 수 있다.

이것이 open-vocabulary HOI detection의 핵심이다.

미리 정해진 600개 label 안에서만 맞히는 것이 아니라, 실제 세계에서 등장할 수 있는 다양한 사람-객체 상호작용을 더 넓게 표현하고 평가하자!

좋은 방향이지만, 여기서 큰 문제가 생긴다.

---

🚨 기존 mAP 평가의 문제: 의미가 비슷해도 틀렸다고 본다!

HOI Detection에서는 보통 mAP(mean Average Precision)를 많이 사용한다.

mAP는 detection 분야에서 오랫동안 쓰인 표준 metric이다. bounding box가 맞는지 보고, class label이 맞는지 보고, confidence score 순서대로 precision-recall을 계산한다.

문제는 기존 mAP가 HOI class를 완전히 분리된 discrete label로 본다는 점이다.

예를 들어 정답이 다음과 같다고 하자.

• Ground Truth: race motorcycle

그런데 모델이 이렇게 예측했다.

• Prediction: sit on motorcycle

사람이 보기에는 꽤 비슷한 상황일 수 있다. 오토바이를 타고 빠르게 달리는 장면이라면 race motorcycle, sit on motorcycle, speed motorcycle 같은 표현이 모두 어느 정도 관련된 장면을 가리킬 수 있다.

하지만 기존 exact-match 기반 평가에서는 label이 다르기 때문에 틀렸다고 처리된다.

또 다른 예도 있다.

• race motorcycle vs speed motorcycle
• hold cup vs grasp cup
• look at phone vs inspect phone
• sit on chair vs rest on chair

이런 표현들은 완전히 같지는 않지만, 의미적으로 가까울 수 있다.

Open-vocabulary 모델을 평가할 때 이런 차이를 모두 0점 처리하면, 모델의 실제 이해 능력을 과소평가할 수 있다.

SHOE는 바로 이 지점을 겨냥한다.

“HOI 평가에서 label string이 정확히 같아야만 맞았다고 볼 것이 아니라, 사람처럼 의미적 유사도를 반영해서 평가하자!”

---

👟 SHOE의 핵심 아이디어

SHOE는 Semantic HOI Open-Vocabulary Evaluation의 약자다.

핵심은 단순하다.

기존 평가가 예측과 정답을 이렇게 봤다면,

예측 label == 정답 label ? 1점 : 0점

SHOE는 이렇게 본다.

예측 HOI와 정답 HOI가 의미적으로 얼마나 가까운가?

예를 들어,

• sit on couch와 lean on couch는 0점보다는 높은 점수를 받을 수 있고
• sit on couch와 eat apple은 거의 0점에 가까워야 한다.

즉, SHOE는 binary correct/incorrect가 아니라 graded semantic similarity를 평가에 넣는다.

이 방식은 open-vocabulary 모델에게 특히 중요하다. VLM이나 MLLM은 기존 dataset label과 똑같은 단어를 출력하지 않을 수 있기 때문이다.

---

🔍 SHOE는 HOI를 verb와 object로 나눠 본다

SHOE의 좋은 점은 HOI를 하나의 통짜 label로만 보지 않는다는 것이다.

HOI는 기본적으로 verb + object 조합이다.

예를 들면,

• ride bicycle = verb: ride, object: bicycle
• sit on couch = verb: sit on, object: couch
• hold cup = verb: hold, object: cup

SHOE는 예측 HOI와 정답 HOI를 각각 verb component와 object component로 분해한다.

그리고 두 부분의 semantic similarity를 따로 계산한다.

verb similarity   = 예측 verb와 정답 verb가 얼마나 비슷한가?
object similarity = 예측 object와 정답 object가 얼마나 비슷한가?

마지막으로 두 값을 평균내서 하나의 HOI similarity score를 만든다.

sim(pred, gt) = (verb_sim + object_sim) / 2

이렇게 하면 더 섬세한 평가가 가능해진다.

예를 들어 sit on couch와 sit on chair는 verb는 같지만 object가 다르다. 반대로 sit on couch와 lean on couch는 object는 같고 verb가 비슷하다.

기존 exact-match에서는 둘 다 그냥 오답이지만, SHOE에서는 두 경우를 다르게 평가할 수 있다.

---

🧠 Semantic similarity는 어떻게 계산하나?

SHOE는 verb와 object의 의미 유사도를 계산하기 위해 WordNet synset과 여러 LLM의 판단을 활용한다.

WordNet은 Princeton University에서 구축한 영어 lexical database다. 단어의 의미 관계를 정리해 둔 공개 어휘 사전이라고 볼 수 있다. 단어를 단순 문자열로만 보는 것이 아니라, 같은 뜻을 가진 단어 묶음인 synset(synonym set) 단위로 다룬다.

그래서 banana.n.02 같은 표기는 SHOE가 임의로 만든 ID가 아니라, WordNet 안에서 banana라는 명사의 특정 의미를 가리키는 표준 synset ID다.

예를 들어 bike와 bicycle은 표면 단어는 다르지만 같은 개념으로 연결될 수 있다. 이런 구조 덕분에 SHOE는 prediction label과 ground truth label이 정확히 같은 문자열이 아니어도, 두 표현이 의미적으로 얼마나 가까운지 계산할 수 있다.

더 알아보기: Python으로 WordNet synset 직접 확인하기

아래처럼 NLTK의 WordNet interface를 사용하면 특정 단어가 WordNet에서 어떤 synset으로 정의되어 있는지 확인할 수 있다. ```python import nltk from nltk.corpus import wordnet as wn nltk.download("wordnet") nltk.download("omw-1.4") for word in ["banana", "bike", "bicycle"]: print(f"\n{word}") for synset in wn.synsets(word, pos=wn.NOUN): print( synset.name(), "|", synset.definition(), "| lemmas:", ", ".join(synset.lemma_names()), ) bike = wn.synset("bike.n.01") bicycle = wn.synset("bicycle.n.01") print("\nbike.n.01 == bicycle.n.01:", bike == bicycle) print("bike lemmas:", bike.lemma_names()) print("bicycle lemmas:", bicycle.lemma_names()) ``` 실행 결과는 대략 다음과 같다. ```text banana banana.n.01 | any of several tropical and subtropical treelike herbs of the genus Musa ... | lemmas: banana, banana_tree banana.n.02 | elongated crescent-shaped yellow fruit with soft sweet flesh | lemmas: banana bike motorcycle.n.01 | a motor vehicle with two wheels and a strong frame | lemmas: motorcycle, bike bicycle.n.01 | a wheeled vehicle that has two wheels and is moved by foot pedals | lemmas: bicycle, bike, wheel, cycle bicycle bicycle.n.01 | a wheeled vehicle that has two wheels and is moved by foot pedals | lemmas: bicycle, bike, wheel, cycle bike.n.01 == bicycle.n.01: False bike lemmas: ['motorcycle', 'bike'] bicycle lemmas: ['bicycle', 'bike', 'wheel', 'cycle'] ``` 여기서 볼 수 있듯이 `banana.n.02`는 우리가 먹는 바나나 과일을 가리키고, `banana.n.01`은 바나나 식물 쪽 의미를 가리킨다. 또 `bike`는 WordNet에서 `motorcycle.n.01`에도 들어가고 `bicycle.n.01`에도 들어간다. 그래서 `bike`라는 단어는 문맥에 따라 오토바이일 수도 있고 자전거일 수도 있다. 반면 `bicycle`은 `bicycle.n.01`로 바로 연결된다. 즉 `bike`와 `bicycle`은 일부 synset을 공유할 수 있지만, `bike.n.01` 자체가 곧 `bicycle.n.01`인 것은 아니다. 이런 이유로 WordNet synset mapping에서는 단어 문자열만 보는 것이 아니라, 어떤 의미의 synset에 연결했는지가 중요하다.

GitHub README 기준으로 repository에는 다음과 같은 annotation 파일들이 포함되어 있다.

• hico_verbs_with_synsets.csv: HICO verb와 WordNet synset mapping
• hico_objects_with_synsets.csv: HICO object와 WordNet synset mapping
• verb_shoe_scores.csv: verb synset pair 간 semantic similarity
• object_shoe_scores.csv: object synset pair 간 semantic similarity

(Example1) hico_verbs_with_synsets.csv First 10 rows

(Example2) object_shoe_scores.csv Sample rows

synset_1,synset_2,ds3_object,gemini_object,maverick_object,qwen_objects,yi_objects,mean_score,majority_score,agreement_score
motorcycle.n.01,scissors.n.01,0,0,0,0,0,0.0,0,1
motorcycle.n.01,sheep.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,sink.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,skateboard.n.01,0,1,1,1,1,0.8,1,1
motorcycle.n.01,ski.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,snowboard.n.01,0,0,1,0,1,0.4,0,1
motorcycle.n.01,spoon.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,street_sign.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,surfboard.n.01,0,0,,1,0,0.25,0,1
motorcycle.n.01,teddy.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,television.n.01,0,0,0,0,0,0.0,0,1
motorcycle.n.01,tennis_racket.n.01,0,0,,0,0,0.0,0,1
motorcycle.n.01,toaster.n.02,0,0,,0,0,0.0,0,1

이 표는 motorcycle.n.01과 다른 object synset들이 의미적으로 얼마나 가까운지 미리 점수화한 예시다. ds3_object, gemini_object, maverick_object, qwen_objects, yi_objects는 여러 LLM 또는 model이 해당 object pair를 비슷하다고 판단했는지를 나타내는 개별 점수다.

mean_score는 그 판단들의 평균값이고, SHOE에서 object similarity로 활용될 수 있는 핵심 값이다. 예를 들어 motorcycle.n.01과 skateboard.n.01은 mean_score=0.8이라 꽤 가까운 이동 수단으로 본다. 반면 scissors.n.01, spoon.n.01, television.n.01처럼 관련이 거의 없는 물체는 mean_score=0.0이다.

즉, 이 table은 “두 object label이 정확히 같은가?”가 아니라 “여러 모델 판단을 종합했을 때 의미적으로 얼마나 가까운가?”를 미리 저장해 둔 similarity lookup table이라고 볼 수 있다.

즉, 평가할 때마다 LLM을 새로 호출하는 것이 아니라, 미리 계산된 similarity table을 사용한다.

이 방식은 실용적으로 중요하다.

평가 metric이 매번 비싼 LLM inference를 요구하면 재현성과 비용 문제가 생길 수 있다. SHOE는 미리 구축된 score table을 활용하여, 기존 benchmark 평가처럼 비교적 안정적으로 사용할 수 있게 만든다.

이에, SHOE는 similarity table이 HICO-DET의 600개 class를 넘어서, 3,800만 개 이상의 semantically related HOI label 조합으로 확장된다고 설명한다.

즉, 기존 HICO-DET label space 위에서 시작하지만, open-vocabulary 예측을 더 넓게 받아들일 수 있는 평가 공간을 만든 것이다.

---

⚙️ SHOE Matching은 어떻게 동작하나?

SHOE는 단순히 text similarity만 보는 metric이 아니다.

그림을 왼쪽에서 오른쪽으로 따라가면 SHOE가 무엇을 하는지 꽤 직관적으로 볼 수 있다.

전체 흐름은 다음과 같다.

1. GT와 prediction을 준비한다

그림 왼쪽에는 정답 HOI class와 모델 예측이 함께 나온다.

정답은 다음처럼 motorcycle에 대한 여러 interaction이다.

GT HOI classes:
hold motorcycle
ride motorcycle
sit on motorcycle

모델 예측은 두 종류로 생각할 수 있다.

• closed model prediction: 기존 label space 안에서 나온 예측
• open-vocabulary prediction: label space 밖의 자유로운 표현까지 포함한 예측

예를 들어 closed model은 hold motorcycle, ride motorcycle, straddle motorcycle처럼 예측하고, open-vocabulary 모델은 grab motorcycle, drive moped, sit motorcycle처럼 더 자유로운 표현을 낼 수 있다.

2. Synset matching과 sense disambiguation을 한다 (왼쪽 두번째 파랑박스)

그다음 SHOE는 각 prediction과 GT를 WordNet synset으로 매핑한다.

여기서 중요한 것은 같은 단어라도 의미가 여러 개일 수 있다는 점이다. 예를 들어 bike가 자전거일 수도 있고 오토바이일 수도 있기 때문에, 단어를 그냥 문자열로 비교하지 않고 어떤 synset sense에 해당하는지 맞춰야 한다.

그림의 Prematched synsets는 이 과정을 거쳐 prediction과 GT가 비교 가능한 의미 단위로 정리되었다는 뜻이다.

3. Pairwise similarity table을 만든다

가운데 표는 GT와 prediction 사이의 의미 유사도 matrix다.

예를 들어 verb 쪽에서는 다음처럼 점수가 들어갈 수 있다.

hold vs hold = 1.0
ride vs ride = 1.0
straddle vs sit = 0.75
grab vs hold = 0.75
drive vs ride = 0.75
sit vs sit = 1.0

object 쪽도 마찬가지다. motorcycle과 motorcycle은 1.0에 가깝고, moped와 motorcycle은 완전히 같지는 않지만 꽤 가까운 object로 0.75 정도의 similarity를 받을 수 있다.

즉, SHOE는 straddle motorcycle을 sit on motorcycle과 완전히 같은 답으로 보지는 않지만, 완전히 틀린 답으로도 보지 않는다.

4. 가장 가까운 GT와 matching한다

각 prediction은 가능한 GT 중에서 similarity가 가장 높은 pair와 매칭된다.

예를 들어 그림에서는 다음처럼 해석할 수 있다.

• hold motorcycle → hold motorcycle: 거의 완전 일치, 100% TP
• ride motorcycle → ride motorcycle: 거의 완전 일치, 100% TP
• straddle motorcycle → sit on motorcycle: 의미적으로 가까움, 75% TP
• grab motorcycle → hold motorcycle: 의미적으로 가까움, 75% TP
• drive moped → ride motorcycle: verb와 object가 모두 어느 정도 가까움, 75% TP
• sit motorcycle → sit on motorcycle: 거의 완전 일치, 100% TP

이때 HOI similarity는 앞에서 설명한 것처럼 verb similarity와 object similarity를 조합해서 만든다.

예를 들면 다음과 같다.

sim(pred, gt) = (verb_sim + object_sim) / 2

5. Soft TP / FP로 바꾼다

오른쪽의 초록색/주황색 bar가 SHOE의 핵심이다.

기존 mAP라면 label이 정확히 같을 때만 TP 1개를 주고, 다르면 FP로 처리한다. 하지만 SHOE는 similarity를 그대로 부분 점수로 반영한다.

예를 들어 matched prediction이 정답과 0.75만큼 비슷하면,

TP += 0.75
FP += 0.25

처럼 계산한다.

그래서 그림에서 straddle motorcycle, grab motorcycle, drive moped는 exact match는 아니지만 75% TP를 받는다. 초록색은 인정받은 부분이고, 주황색은 부족한 부분이라고 보면 된다.

6. Confidence 유무에 따라 mAP 또는 mF1을 계산한다

마지막으로 그림 오른쪽 끝에서 평가 방식이 갈라진다.

핵심은 모델이 각 예측에 대해 “내가 이 답을 얼마나 확신하는가?”라는 confidence score를 주는지 여부다.

일반적인 detector는 보통 hold motorcycle: 0.95, ride motorcycle: 0.87, straddle motorcycle: 0.62처럼 예측마다 confidence score를 함께 낸다. 이런 경우에는 그림 위쪽 화살표처럼 score 순서까지 반영해 SHOE mAP를 계산한다.

반대로 VLM이나 MLLM은 자연어로 “사람이 오토바이를 타고 있다”처럼 답을 내는 경우가 많아서, 각 답마다 깔끔한 confidence score가 없을 수 있다. 이럴 때는 그림 아래쪽 화살표처럼 순위 없이 예측 결과 자체를 보고 SHOE mF1을 계산한다.

쉽게 말하면, SHOE mAP는 “확신도 순위까지 포함해서 평가하는 방식”이고, SHOE mF1은 “확신도 없이 예측 결과 자체가 얼마나 맞았는지 보는 방식”이다.

즉, 이 그림은 SHOE가 confidence가 있는 closed-set detector와 confidence가 애매한 open-vocabulary generative model을 모두 평가하려는 metric이라는 점을 보여준다.

물론 실제 HOI Detection 평가에서는 localization도 함께 중요하다. 예측한 human box와 object box가 정답 box와 충분히 겹쳐야 하며, README 기준 기본 threshold는 min(IoU_human, IoU_object) >= 0.5다. 사람이 어디 있는지, 객체가 어디 있는지 완전히 틀렸다면 semantic label이 비슷해도 좋은 점수를 받을 수 없다.

반대로 localization이나 matching 조건을 만족하지 못한 prediction은 full FP가 되고, match되지 않은 ground truth는 full FN이 된다.

이 방식이 SHOE의 핵심이다.

완전히 맞지는 않았지만 의미적으로 가까운 예측은 부분 점수를 받고, 완전히 엉뚱한 예측은 거의 점수를 받지 못한다.

---

📏 SHOE mAP와 SHOE mF1

위 그림의 마지막 갈림길을 조금 더 정리하면, SHOE는 두 가지 평가 모드를 제공한다.

SHOE mAP

SHOE mAP는 confidence score가 있는 모델을 위한 평가다. prediction을 confidence score 순서대로 줄 세우고, 그 순서에 따라 precision-recall curve를 만든다.

다만 기존 mAP처럼 exact label match로 TP/FP를 딱 자르는 대신, 앞에서 계산한 SHOE similarity 기반 soft TP/FP를 사용한다.

그래서 structured HOI detector 평가에 잘 맞는다.

SHOE mF1

SHOE mF1은 confidence score 없이도 쓸 수 있는 평가다. prediction을 점수순으로 정렬하지 않고, 모든 prediction을 같은 비중으로 본다.

그래서 VLM이나 MLLM처럼 자연어 예측은 잘 내지만 신뢰도 점수는 깔끔하게 제공하지 않는 모델에 유용하다. 계산할 때는 마찬가지로 exact match가 아니라 semantic similarity 기반 precision, recall, F1을 사용한다.

GitHub README에서도 두 모드를 다음처럼 구분한다.

• SHOE mAP: confidence-ranked, score가 있는 모델용
• SHOE mF1: confidence-free, score가 없는 open-vocabulary prediction에도 사용 가능

즉, SHOE는 같은 semantic matching 결과를 바탕으로, confidence가 있으면 mAP로, confidence가 없으면 mF1로 평가할 수 있게 만든다.

---

📊 사람 판단과 얼마나 잘 맞나?

SHOE가 주장하는 핵심 실험 결과는 human judgment와의 정렬이다.

논문과 README에 따르면 SHOE는 평균 human rating과 85.73% agreement를 달성했다.

흥미로운 점은 이것이 human inter-annotator agreement인 78.61%보다도 높고, direct LLM scoring이나 embedding-based baseline보다도 좋았다는 점이다.

이 결과가 의미하는 바는 크다.

평가 metric은 결국 사람이 보기에 타당해야 한다.

사람이 보기에는 lean on couch가 sit on couch와 어느 정도 비슷한데, metric이 0점으로 처리한다면 그 metric은 open-vocabulary 평가에 적합하지 않다.

SHOE는 여러 LLM의 판단을 평균하고, verb/object를 분리하고, HOI 구조에 맞게 similarity를 조합함으로써 사람의 의미 판단에 더 가까운 평가를 만들려고 한다.

📊 SHOE mAP로 평가한 기존 모델의 결과

분석에 앞서

물론 이 결과만 보고 “그럼 기존 HOI detector는 필요 없는가?”라고 말하기는 어렵다. DETR + VLMs는 성능은 강하게 나오지만, 일반적으로 더 무겁고 느리며 비용도 크다. 또한 DETR로 후보 box를 만들고 VLM으로 interaction을 해석하는 pipeline에 가까워서, HOLA 같은 end-to-end HOI detector와 사용 목적이 완전히 같지는 않다.

HOLA 같은 HOI 전용 detector는 closed-set HOI benchmark에서 빠르고 안정적으로 동작하는 장점이 있다. 반면 VLM 기반 방법은 open-vocabulary 표현력과 semantic reasoning이 강하지만, inference 비용, latency, prompt 민감도, confidence 추정 방식 같은 실용적 문제가 남는다. 따라서 이 표의 핵심은 “VLM이 모든 면에서 기존 detector를 대체한다”라기보다, SHOE 같은 semantic metric을 쓰면 VLM의 의미적 예측 능력이 훨씬 더 잘 드러난다는 점이다.

논문에서는 HICO-DET에서 여러 HOI 모델을 기존 mAP와 SHOE mAP로 함께 평가했다.

표를 보면 대부분의 모델에서 기존 mAP보다 SHOE mAP가 더 높게 나온다. 이는 모델이 label을 정확히 맞히지는 못했더라도, 의미적으로 가까운 HOI를 예측한 경우 SHOE가 partial credit을 주기 때문이다.

Default setting의 기존 HOI detector들은 상승 폭이 비교적 작다.

• LAIN (ViT-B): 35.30 → 36.58
• CMMP (ViT-L): 37.77 → 39.06
• ADA-CM (ViT-L): 38.40 → 39.72
• HOLA (ViT-L): 39.05 → 39.92

이 모델들은 애초에 HICO-DET label space에 맞춰 학습된 structured detector에 가깝기 때문에, 기존 mAP와 SHOE mAP의 차이가 크지는 않다. 그래도 의미적으로 가까운 예측이 일부 인정되면서 점수가 조금 올라간다.

더 흥미로운 부분은 DETR + VLMs 결과다.

• GPT-4.1: 49.50 → 61.67
• InternVL3-38B: 42.00 → 58.03
• Qwen2.5-VL-32B: 34.83 → 66.03

특히 Qwen2.5-VL-32B는 기존 mAP에서는 34.83이지만 SHOE mAP에서는 66.03까지 올라간다. 이 차이는 VLM이 benchmark label과 정확히 같은 문자열을 내지 않더라도, 사람이 보기에는 꽤 타당한 open-vocabulary 표현을 많이 생성한다는 뜻으로 해석할 수 있다.

예를 들어 기존 mAP에서는 grab motorcycle과 hold motorcycle이 label이 다르다는 이유로 틀릴 수 있다. 하지만 SHOE mAP에서는 두 표현이 의미적으로 가까우면 soft TP를 받을 수 있다. 그래서 VLM처럼 자유로운 언어 출력을 내는 모델일수록 SHOE mAP에서 성능이 더 잘 드러날 수 있다.

표 caption에서도 VLM의 경우 confidence score 대신 token probability를 proxy로 사용했다고 설명한다. 즉, VLM이 직접 detector처럼 confidence를 주지 않더라도, 생성 확률을 이용해 mAP 계산에 필요한 ranking을 만든 것이다.

결국 이 결과는 SHOE가 단순히 점수를 후하게 주는 metric이라기보다, open-vocabulary 모델이 가진 의미적 표현력을 기존 exact-match mAP보다 더 잘 포착하려는 metric이라는 점을 보여준다.

---

🧭 CrossHOI-Bench와는 뭐가 다른가?

바로 전 포스팅의 연구인 CrossHOI-Bench와 SHOE가 비슷한 문제의식을 공유한다.

둘 다 기존 HOI 평가가 너무 rigid하다는 점을 지적한다.

하지만 접근 방식은 다르다.

CrossHOI-Bench는 benchmark format을 바꾼다.

• HOI를 복수 정답 객관식 문제로 재구성
• curated negative를 제공
• VLM과 HOI 전용 모델을 같은 question format으로 비교

반면 SHOE는 evaluation metric을 바꾼다.

• 기존 prediction과 ground truth를 그대로 두되
• exact label match 대신 semantic similarity를 사용
• mAP/mF1 계산에 soft score를 반영

즉, CrossHOI-Bench가 “시험지를 새로 만들자”에 가깝다면, SHOE는 “채점 방식을 더 의미적으로 만들자”에 가깝다.

둘은 경쟁 관계라기보다 서로 보완적이다.

Open-vocabulary HOI 시대에는 좋은 benchmark도 필요하고, 좋은 semantic metric도 필요하다.

---

🚀 이 논문이 중요한 이유

SHOE가 중요한 이유는 평가가 모델 개발 방향을 바꾸기 때문이다.

metric이 exact label match만 보게 되면, 모델은 사람이 보기에는 맞는 표현을 해도 점수를 못 받는다.

그러면 연구자는 결국 benchmark label에 딱 맞는 답을 내도록 모델을 조정하게 된다.

하지만 open-vocabulary vision-language model의 장점은 label set 밖의 표현력이다.

모델이 grasp cup, hold cup, pick up cup처럼 다양한 표현을 할 수 있다면, 평가 metric도 그 차이를 어느 정도 이해해야 한다.

SHOE는 이 문제를 다음처럼 정리한다.

• HOI label은 단순 class id가 아니라 의미 구조를 가진다.
• verb와 object의 유사도를 따로 봐야 한다.
• localization이 맞는 예측에 대해서는 semantic partial credit을 줄 수 있다.
• confidence가 있는 detector와 confidence가 없는 generative model 모두 평가해야 한다.

이 관점은 앞으로 더 중요해질 가능성이 크다.

VLM이 발전할수록 모델 출력은 점점 더 자연어에 가까워질 것이고, 평가도 단순 label matching에서 semantic evaluation으로 이동할 수밖에 없기 때문이다.

---

⚠️ 그래도 조심해서 봐야 할 점

SHOE가 매우 흥미로운 metric이지만, 모든 문제를 해결하는 것은 아니다.

첫째, semantic similarity가 높다고 해서 항상 시각적으로 맞는 것은 아니다.

예를 들어 sit on couch와 lean on couch가 의미적으로 가까워도, 특정 이미지에서는 둘 중 하나만 정확할 수 있다.

따라서 SHOE 점수는 “의미적으로 가까운 정도”를 반영하는 것이지, 모든 시각적 세부 차이를 완벽하게 판정하는 것은 아니다.

둘째, LLM 기반 similarity table 자체에도 bias가 있을 수 있다.

여러 LLM 평균을 쓰고 human judgment와 비교했다는 점은 강점이지만, 언어적 유사도와 실제 시각적 affordance가 언제나 일치하지는 않는다.

셋째, WordNet synset mapping이 필요한 만큼, 완전히 자유로운 자연어 표현을 다루려면 preprocessing 품질도 중요하다.

즉, SHOE는 exact-match mAP를 대체할 수 있는 강력한 후보이지만, 특히 open-vocabulary 평가에서는 기존 metric과 함께 보면서 해석하는 것이 좋다.

---

🧠 나의 코멘트!

SHOE는 “평가 metric도 이제 언어를 이해해야 한다”는 흐름을 잘 보여주는 연구라고 느껴진다.

기존 computer vision 평가에서는 label이 맞냐 틀리냐가 중요했다. cat이면 cat, dog이면 dog처럼 class가 분리되어 있었기 때문이다.

하지만 HOI는 훨씬 더 언어적이다.

hold, grasp, carry, pick up은 서로 겹치는 의미가 있고, sit on, lean on, rest on도 이미지에 따라 경계가 흐릴 수 있다.

특히 VLM이 등장한 이후에는 모델이 사람이 말하듯 답을 내기 때문에, 평가도 사람이 이해하듯 어느 정도의 의미적 유연성을 가져야 한다.

그런 점에서 SHOE는 open-vocabulary HOI 연구에 꽤 실용적인 도구가 될 수 있다.

나에게 가장 인상적인 부분은 SHOE가 단순히 “LLM에게 점수 매겨달라”고 하지 않는다는 점이다.

대신 HOI를 verb와 object로 나누고, synset 기반 table을 만들고, detection matching과 soft TP/FP/FN을 결합한다.

즉, 기존 detection metric의 구조를 버리지 않으면서, semantic similarity를 자연스럽게 끼워 넣는다.

앞으로 HOI뿐 아니라 scene graph generation, visual relationship detection, embodied AI action recognition 같은 분야에서도 비슷한 semantic evaluation이 더 중요해질 것 같다.

결국 open-vocabulary 모델을 제대로 평가하려면, 정답 문자열을 맞혔는지가 아니라 사람이 보기에 같은 의미의 시각적 관계를 이해했는지를 물어야 하기 때문이다.

SHOE는 그 방향으로 가는 꽤 깔끔한 한 걸음이다.