2026-09-22

오늘 함께 본 다른 변화는 다음과 같다.

• 두 논문은 저자가 겹치고, 같은 GSRR(Good Search Result Rate) 지표를 쓴다.
• 자동 실험 프로토콜 논문은 비디오 탐색 지면 VDD가 자체 retrieval 스택을 가졌다는 것을 프로덕션 세부와 함께 처음 진술했다.
• 레이더에 있던 Tencent의 광고 retrieval 논문 ANGLE의 저자가 모두 Tencent 소속임을 확인했다.

1초대형 개인화 검색을 GPU 경로와 CPU 경로가 나눠 서빙한다 — Meta

논문은 이 대립을 "personalization–scale paradox"라고 부른다. 전체 서빙 인벤토리를 GPU 메모리에 올리기에는 자원이 부족하고, CPU에서는 interaction-heavy 모델을 지연 예산 안에 넣기 어렵다는 것이다. Meta search의 인프라 논문은 공개된 것이 많지 않다. 인용 문헌에도 2020년 Embedding-based retrieval in Facebook search(EBR, KDD 2020)와 2021년 Que2Search(KDD 2021) 이후로는 프로덕션 아키텍처 진술이 오래 없었다. 이번 자료는 이 역설을 새 모델 클래스가 아니라 동시 서빙(co-serving) 오케스트레이션으로 푼다고 주장하고, 프로덕션 A/B 수치와 함께 그 공백을 채운다.

• 원천 corpus는 multi-trillion 규모이고, 서빙에 실리는 인벤토리는 여기에서 따로 뽑는다 확인.
  • 4-trillion figure는 "before selection" 기준이며, ANN(근사 최근접 이웃 검색) scan 대상이 아니다.
  • 정책·품질·언어·프레시니스·중복 검사를 통과한 뒤, 하드웨어별 selector가 GPU snapshot과 CPU snapshot을 독립으로 만든다.
• GPU 경로는 billion-scale 인벤토리를 대상으로 two-tower retrieval과 interaction pre-ranking을 한 프로세스에서 fuse해 실행한다 확인.
  • pre-ranking은 retrieval이 뽑은 후보를 본 랭커에 넘기기 전에 한 번 더 채점해 추리는 단계다.
• CPU 경로는 GPU 쪽의 대략 20배인 tens-of-billions 인벤토리를 다루고, dot product만 쓴다 확인.
  • dedicated dense embedding index, eager term-at-a-time scoring, bulk scanning, finer clustering을 조합한다.
  • 유저·문서 벡터 사이에 cross feature는 넣지 않는다.
• 두 경로는 요청마다 하나만 켤 수도, 둘 다 켤 수도, 각각 독립으로 끌 수도 있다. 후보는 downstream ranker로 넘어가기 전에 top-level aggregator에서 dedupe된다 확인.

• 서빙 지연은 GPU 경로가 P50과 P95에서 더 빠르고, P99에서만 16% 더 느리다 확인.
  • 이는 인터랙션 pre-ranking을 포함해 224개 후보를 shared ranker에 넣기 때문이며, 순수 kernel 비교가 아니다.
  • dense CPU 경로는 dedupe 후 59개를 넘긴다.
• capacity plan 관점에서 CPU 경로는 어떤 참조 dense retrieval 구현 대비 4배 처리량 개선을 낸다. 다만 shared ranking, 네트워킹, GPU 경로를 뺀 vector op만 비교한 값이다 확인.

• full-system A/B에서 legacy CPU-only 구성 대비 model-scored relevance와 substantive engagement가 함께 오른다 확인.
  • 두 경로를 따로 A/B로 붙였을 때도 각자의 배포 스코프에서 양(+)의 값이었다.
• 지표는 GSRR(Good Search Result Rate)이고, 논문은 이를 retention-oriented substantive engagement 지표라고 자체 정의한다.
  • 하루 assigned population은 millions 단위이고, 계정 단위로 랜덤 배정해 대략 반씩 나눈다.

"We present a hybrid GPU–CPU co-serving system that resolves the paradox through orchestration rather than a new model class. A high-depth GPU pathway fuses retrieval and interaction pre-ranking over a curated online pool on the order of a billion documents, while a high-breadth CPU pathway searches an independently selected online inventory roughly twenty times larger with lightweight personalized scoring." — arXiv 2609.21281, 2026-09-18

"The system is deployed in production. A full-system A/B test against the legacy CPU-only configuration improves model-scored relevance and substantive engagement, while separate pathway experiments show positive value at their own deployment scopes." — 같은 자료

• 다만 VDD 논문의 문맥과 종합하면, 이 "Search"는 순수 웹 검색보다는 Facebook 안에서 검색이 비디오 소비로 이어지는 통합 검색 지면에 걸쳐 있다. 근거는 두 논문이 모두 GSRR을 쓴다는 점이다.
• 이 저장소가 추적하는 Facebook Feed의 후보 생성과는 아키텍처가 다르지만, 두 지면이 인프라를 상당 부분 공유한다는 정황이다. 근거는 Xue et al., 2026이 "existing GPU platform"으로 인용된다는 점이다.

↑ 목차

2사람이 관문을 지키는 LLM 자동 실험을 비디오 retrieval에서 37일간 돌렸다 — Meta

LLM agent가 코드 변경, 실행, 평가까지 도는 autoresearch 루프는 이미 있다. 자기완결 스크립트 안에서 몇 분짜리 iteration을 돌리는 것은 잘 알려져 있고, 이번 자료가 다루는 것은 그것이 아니다. 대상은 여러 subsystem에 걸쳐 학습·인덱싱·서빙이 시간 단위로 돌아가는 온라인 시스템에서, 자동화된 에이전트가 hours-long 실행과 weeks-long 캠페인을 돌리려 할 때 생기는 실패 모드다. 코드 변경이 실제로는 no-op이거나, 데이터 window가 새거나, evaluator 시맨틱이 조용히 바뀌었거나, control과 treatment가 서로 다른 서빙 funnel을 지나가는 상황이 그렇다. 이런 상황에서도 캠페인은 성공적으로 "끝날" 수 있지만, 그 결론은 유효하지 않다. 이번 자료는 EvoPilot이라는 human-gated verification(사람이 확인하는 관문을 둔 검증) 프로토콜로 이 취약성을 막는다고 주장하고, VDD의 model-based retrieval 시스템에서 돌린 37일 캠페인으로 그 검증을 실증한다.

• 요청은 세쌍(triple) (s, q, u)이고, seed video s, 기계가 생성한 pivot query q, user/context profile u로 이뤄진다 확인.
• MBR(model-based retrieval)은 downstream ranker가 아니라 dense candidate generator이고, 두 단계로 f(s,q,u,d)를 근사한다 확인.
  • 첫 단계는 두 타워 dot product 기반 ANN이다.
  • 둘째 단계는 조건부 non-linear scoring이며, 옵션이다.
• request tower Q는 pivot query, user context, seed video의 request-side feature를 받고, candidate tower D는 candidate video feature만 받는다 확인.
  • 두 벡터 모두 정규화돼서 dot product와 cosine이 같은 순서를 유도한다.
• 학습의 primary 손실은 out-of-session in-batch InfoNCE다. 공동 참여가 negative로 오염되지 않도록, batch 안에서 같은 세션의 예시는 negative에서 뺀다 확인.
  • InfoNCE는 정답 쌍을 여러 negative 후보와 구별하도록 학습시키는 대조 손실이다.
• interaction head G(h_r, h_d, a(d))는 click과 engagement-derived auxiliary label에 대한 weighted binary cross-entropy를 내는 candidate-specific 함수다 확인.
  • 총 손실은 InfoNCE와 BCE의 가중합이다.
• interaction head의 relevance output은 인터페이스 호환성을 위해 남아 있지만, VDD 설정에서는 학습 가중치가 0이다 확인.
• 임베딩과 인덱스만 매시간 새로 발행하고, 가중치 자체는 매 시간 재학습하지 않는다 확인.
  • D 타워를 servable inventory에 적용해 "hundreds of millions of videos" 규모의 ANN 인덱스를 "existing GPU platform (Xue et al., 2026)" 위에서 만들고, 매 시간 갱신한다.
• 요청 시 ANN이 affinity a(d) 상위 P개를 뽑고, task score의 결정론적 가중합으로 top-K를 남긴다. 베이스라인 구성은 P = K = 3000, interaction head 비활성이고, 이는 순수 two-tower ANN 결과다 확인.
  • candidate-conditioned scoring이 켜져 있으면, 그 사이에 P개 각각에 대해 interaction head가 점수를 낸다.
• MBR 위에는 downstream retrieval funnel과 그 위의 랭커가 있다. 이번 자료는 그 위 계층을 다루지 않는다.

• 캠페인은 7 direction을 대상으로 총 37일 동안, VDD MBR 파이프라인 위에서 인터랙션 head, 데이터, 목적함수 등을 바꿔 가며 실험했다 확인.
• primitive autoresearch attempt는 인터랙션 head가 offline hit-rate를 22 percentage points 떨어뜨린다고 결론 냈지만, 잘못된 결론이었다 확인.
  • 인터랙션 head는 원래 수동 실험에서 개선을 확인하지 못해 꺼져 있었고, 이 attempt는 그 direction을 다시 시도한 것이다.
• EvoPilot이 human-gated verification으로 이 drop을 추적한 결과, 원인은 인터랙션 head가 아니라 evaluation 코드가 output depth를 3,000이 아니라 600으로 계산하는 사전 결함이었다 확인.
  • 결함을 고친 뒤 matched comparison에서는 offline metric이 3.20 percentage points 개선됐다.
• tens of millions 계정 규모로 US·Canada slice에서 계측한 7일 랜덤 온라인 실험에서, VDD slice의 GSRR이 relative +0.66%로 유의미하게 올랐다 확인.
• 실험 리뷰 이후 인터랙션 head 처리가 VDD MBR의 기본 서빙 구성으로 채택됐고, manuscript cutoff 시점까지 켜져 있다 확인.
• Post-study replay와 mutation test는 invalid 비교를 걸러 내고 valid 비교는 통과시켰다. 이번에 붙인 control이 post-hoc 재현에도 견딘다는 검증이다.
• durable state로 중단된 round를 회복해 대략 5 GPU-hour의 아티팩트 재생성 비용을 아낀 것도 별도의 실증 결과다.

"We formalize a VDD request as a triple (s, q, u): the opened seed video s, the machine-generated pivot query q, and a user/context profile u. From a servable inventory 𝒟, the system must retrieve a short ranked list of videos worth watching next. Retrieval is conditioned jointly on (s, q, u). This differs from intent-driven search, which uses a user query alone, and from next-item recommendation, which uses s and u without a query, search relevance, or a retrieval funnel." — arXiv 2609.21257, 2026-09-18

"Publishing applies D to the servable inventory and builds an ANN index of hundreds of millions of videos on an existing GPU platform (Xue et al., 2026). Candidate embeddings and the index are refreshed hourly, but the neural weights are not retrained every hour." — 같은 자료

"After the experiment review, the interaction-head treatment became the default VDD MBR online configuration and remained enabled at manuscript cutoff." — 같은 자료

• Meta 안에서 seed video와 pivot query를 함께 쓰는, "search + recommendation"이 섞인 지면이 자체 retrieval 스택을 가지고 있다는 것이 프로덕션 세부와 함께 처음 진술됐다.
  • 친구 그래프 축인 Facebook Feed나 재생 시퀀스 축인 Instagram Reels와는 다른 축의 discovery 지면이다.
• 이 자료는 산업계 LLM 자동 실험이 실제로 프로덕션 파이프라인 위에서 돌아가면, 명세만으로는 안 되고 evaluator 코드 결함까지 잡아내는 human-gated verification 층이 필요하다는 첫 케이스 스터디다.
  • 이 각도는 radar.md에서 관찰 중인 LLM-native 랭킹의 확산 스레드와 다르다. 그 스레드는 모델 아키텍처 안에 LLM을 넣는 쪽이고, 이 자료는 실험 자동화 위에 LLM을 넣는 쪽이다.
  • 이 자료는 후자 각도의 첫 대규모 프로덕션 진술이기도 하다.

↑ 목차

3광고 retrieval 논문 ANGLE의 저자가 모두 Tencent 소속임을 확인했다 — Tencent

↑ 목차

레이더

오늘 triage한 arXiv cs.IR 신규 논문은 30건이고, 그중 통과는 2건이다. 집계 기준은 파싱된 <entry> 개수 30, 날짜 범위 2026-09-16~09-18이다. 통과한 2편은 같은 날 함께 올라온 Meta의 프로덕션 논문이다. 판정에는 플랫폼 기업 저자, 프로덕션 A/B 진술, 메커니즘·스케일 신규성의 세 요건(삼각)을 썼다.

• 통과 (radar 편입 결정)
  • Hybrid GPU-CPU Retrieval for Personalized Search at Ultra-Large Scale (Meta), arXiv 2609.21281. 이번 자료 1로 자세히 다뤘고, radar.md의 이번 달 신규에 편입한다.
  • Verify, Don't Trust (Meta, EvoPilot과 VDD), arXiv 2609.21257. 이번 자료 2로 자세히 다뤘고, radar.md의 이번 달 신규에 편입한다.
• 탈락 (관찰 대상 아님)
  • Auto-Bidding with Disentangled Advertiser Profiles and Train-Free Adaptation (ADAPT) (Alibaba Taobao), arXiv 2609.21308. Taobao 소속은 확인되지만, 자료가 auto-bidding(광고주가 입찰가를 결정하는 시스템)에 국한되고 랭킹·retrieval 메커니즘의 신규성이 아니다. abstract 수준에서 프로덕션 A/B 수치가 명시되지 않는다. 관찰 대상이 아니다.
  • Hybrid GPU-CPU Retrieval 저자군의 이전 논문은 관련 인용만 확인했다.
  • 학술 증분이거나 도메인이 좁은 나머지 논문은 요건 삼각을 만족하지 않는다.
    • 주제: multi-hop retrieval score confidence, autolab, news personalization interview, fashion matching, subtractive unlearning(SURF), KDD Cup 2026 UniRec 챌린지 솔루션(academic), 텍스트 리랭킹, retrieval-QA 신뢰도, RTL verification, 자체 진화 search index, RAG evidence, agent web search, encrypted keyword search, 자재 예측 RAG, local service AI provider recommendation, sim-to-real person retrieval, algebraic composable search, AI privacy landscape, visual document retrieval MAGIC, EHR 종단 정신건강, 재사용 가능한 RAG 시각화, semantic layer telemetry, LLM embedding reasoning quality, financial SEC filing QA, zero-token graph RAG

산업 블로그 훑기는 월요일에만 한다. 오늘(화요일)은 대상이 아니다.

↑ 목차

다음에 볼 것

↑ 목차