2026-09-15

오늘 함께 본 다른 변화는 다음과 같다.

• Tencent Weixin Moments Ads의 ChronicleRec은 아주 긴 행동 시퀀스를 미리 압축해 캐시할 수 있게 한다. 7일 A/B에서 GMV +1.61%를 얻었다.
• X 오픈소스 미러인 xai-org/x-algorithm에는 2026-09-12 커밋(6bb4594, 4세대+20) 뒤로 새 커밋이 없었다.
  • 4세대+N은 이 노트들이 4세대 공개 뒤의 X 커밋에 차례로 붙인 번호다.
• Meta 엔지니어링·AI 블로그와 Netflix TechBlog에도 새 자료가 없었다.

1광고 크리에이티브를 페이지 전체 손익까지 따져 실시간으로 고른다 — 레이더(Pinterest)

Pinterest에는 특이한 조건이 있다. 이 서비스의 waterfall grid(폭포처럼 열이 정렬되며 아이템 높이가 각각 다른 무한 스크롤 레이아웃)에서는 광고 크리에이티브 하나의 세로 길이가 주변에 놓이는 다른 광고와 유기 Pin의 노출 공간을 사실상 결정한다. 그래서 광고 CTR만 국소적으로 극대화하면 whole-page metric이 오히려 나빠지는 카니벌라이제이션이 생긴다. 카니벌라이제이션(cannibalization)은 한 슬롯의 이득이 다른 슬롯의 손실로 상쇄되는 현상이다. 이번 논문은 이런 조건에서 프로덕션 DCO를 어떻게 설계했는지를 시스템 관점과 모델 관점에서 함께 서술한다.

A. 크리에이티브 최적화를 랭킹과 병렬로 돌려 지연을 감추고, 여섯 유닛으로 크리에이티브 선택을 끝낸다 확인

PinDCO는 크리에이티브 최적화 브랜치를 랭킹과 병렬로 실행한다. 기존 광고 파이프라인은 후보 retrieval 다음에 랭킹이 오는 순차 구조다. 랭킹 모델이 무거워서 크리에이티브 변종마다 랭킹을 다시 돌리기 어려운데, 병렬 브랜치가 이 문제를 푼다. 랭킹 지연을 숨기려는 병렬화이므로, end-to-end 지연은 랭킹 지연이라는 상한(upper bound) 안에 머문다.

크리에이티브 최적화 브랜치는 여섯 유닛으로 이뤄진 파이프라인이다.

1. Creative Asset Manager: retrieval 단계가 돌려준 광고 ID를 key-value 저장소에서 찾아 크리에이티브 메타데이터로 확장한다. QPS와 엔트리 수가 커서, 메타데이터는 최소한만 남기고 앞에 캐시 클러스터를 두어 backend 부하를 줄인다.
2. Pre-Selection: 규칙, multi-armed bandit, linear classifier 수준의 경량 모델이 저기회 크리에이티브를 일찍 걸러 낸다.
   • Ad service 안에서 로컬로 실행하므로 모델 서버 RPC 없이 끝난다.
   • 얼마나 공격적으로 걸러 내느냐가 성능과 비용을 맞바꾸는 조절 지점이다.
   • 극단적으로 한 광고의 모든 변종 기대치가 낮으면, lightweight 모델이 하나만 남겨 뒤 단계를 완전히 건너뛰게 할 수 있다.
3. Creative Component Fusion Network (CCFN): 광고 서비스가 랭킹 요청과 동시에 model inference 서버에 크리에이티브 스코어링을 요청한다.
4. Pixel-aware Adjustment Module (PAM): CCFN 점수에 세로 크기에 따른 페널티를 준다. whole-page 손익을 반영하는 단계다.
5. Multi-Armed Bandit: 예측된 winner를 확률적으로 뒤집어(override) 무작위화된 피드백을 모은다.
6. 최종 winner를 광고 서비스로 반환한다.

여섯 유닛의 순서는 논문 그림 2에 있다. 요지는 "지연 예산을 랭킹 지연 안에 넣고, 그 안에서 창의 스코어링·조정·탐색을 병렬로 끝내라"이다.

B. CCFN은 이미지·타이틀·레이아웃마다 전용 tower를 두고, 컴포넌트별 하이퍼파라미터로 수렴 속도를 맞춘다 확인

CCFN은 세 층의 building block으로 이뤄진다.

• Feature encoding: 연속 피처는 clipping/whitening/log-transformation으로 정규화하고, 범주형·ID 피처는 룩업 임베딩으로 바꾼다.
  • 인코딩된 피처는 컴포넌트별 그룹(예: image, title, layout)과, 어느 컴포넌트에도 국한되지 않는 "Shared" 그룹으로 나눈다.
• Component-specific towers: 각 컴포넌트 그룹은 Shared 그룹과 함께 전용(dedicated) tower에 들어가 컴포넌트별 표현을 만든다.
  • 컴포넌트별 하이퍼파라미터를 두는 이유는, 이미지 tower가 타이틀·레이아웃 tower보다 학습할 정보량이 많아 수렴 속도가 다르기 때문이다.
  • 모든 tower가 같은 dropout rate와 lr을 쓰면, 한 tower에서 overfit이 시작되는 동안 다른 tower는 underfit 상태에 남는다.
  • 각 tower의 dropout rate를 따로 튜닝해 수렴 속도를 맞춘다.
• Component fusion layer: tower 출력 임베딩을 융합해 컴포넌트 간 상호작용을 학습하고, 스칼라 형태의 "creative delta score"를 낸다.
  • 이 delta는 광고 랭킹 모델이 낸 광고 수준 예측(logit)에 더해진다.
  • 그 합이 최종 engagement 라벨(예: 클릭)로 supervise된다.

이 delta-score 구조가 중요한 이유는, CCFN이 광고 수준의 confounding을 랭킹 모델에 맡기고 광고 안 크리에이티브 사이의 상대 차이만 예측하면 되기 때문이다. 여기서 광고 수준의 confounding은 광고 자체가 얼마나 좋은가를 말한다. 그래서 CCFN은 랭킹 모델보다 얇고 피처 셋이 작아도 된다.

피처 카테고리는 네 가지다.

• Content Features: Pinterest image·text encoder가 미리 계산한 벡터와, 도메인 지식으로 만든 수동 피처다.
  • 수동 피처의 예로는 foreground-background 색 분포, foreground product 크기, image aspect ratio가 있다.
• User Features: 인구통계와 유저 이해 신호(예: shopping intent, user embedding)다.
• Empirical Features: 크리에이티브 변종의 과거 성과 통계를 유저·크리에이티브 슬라이싱 스킴에 따라 bucket으로 집계한다.
  • bucket을 작게 잡으면 세밀하지만 sparse해서 노이즈에 약하고, 크게 잡으면 안정적이지만 특수성이 떨어진다.
  • multi-scale aggregation으로 fine-grained bucket과 coarse-level bucket을 함께 쓴다.
• Context Features: 컨텍스트 의존성을 반영한다. 예를 들어 hour-of-day에 따라 크리에이티브 밝기 선호가 달라지고, 모바일과 웹은 최적 레이아웃이 다르다.

C. PAM은 세로가 긴 크리에이티브의 점수를 세로 크기에 따라 깎아 whole-page metric을 지킨다 확인

PAM은 CCFN 출력 점수에 세로 크기 페널티를 곱해 카니벌라이제이션을 반영한다. waterfall grid에서 세로가 긴 광고 크리에이티브는 광고 자체의 CTR을 올릴 수 있지만, 주변에 놓일 다른 광고와 유기 Pin의 노출 공간을 밀어낸다. 그리드 폭이 일정하다고 가정하고, aspect ratio를 세로 크기의 프록시로 쓴다.

• $ar_{rel} = ar_{cand} / ar_{orig}$: 후보 크리에이티브의 aspect ratio를 광고 원본의 aspect ratio로 나눈 상대값이다.
• $P(ar_{rel}) = \mathrm{clip}(1 - \tanh(k(ar_{rel} - 1)), 0, 1)$: 페널티 함수다. aspect ratio가 원본과 같으면 1, 커지면 tanh로 줄어들며, [0, 1] 범위로 클립된다.
• $S = O \cdot P(ar_{rel})$: 최종 점수는 CCFN 출력에 페널티를 곱한 값이다.

$k$는 튜닝할 수 있는 페널티 강도다. 로깅된 모델 점수와 후보 aspect ratio로 winner 선택을 시뮬레이션하는 offline replay로, 목표 average aspect ratio에 맞도록 $k$를 정한다. 논문은 tanh 형태가 임의로 고른 것이라고 밝힌다. 그러면서 단조 감소(monotonically decreasing)이고 값의 범위가 [0, 1]이라는 조건만 지키면 다른 함수도 쓸 수 있다고 남겨 뒀다.

PAM 유무를 비교한 ablation에서, PAM은 CTR 이득을 0.3%p 정도만 희생하면서 aspect ratio 증가를 약 2%p 억제한다. 결과는 DCO 광고(변종이 여러 개인 광고)에 한정한다.

• PAM을 뺀 경우(w/o PAM), No-CR baseline 대비 DCO 광고 CTR은 +9.8%, aspect ratio는 +7.21%다.
• PAM을 넣은 PinDCO는 No-CR baseline 대비 DCO 광고 CTR이 +9.5%, aspect ratio가 +5.22%다.

이 트레이드가 whole-page 관점에서 유리하다는 점은 논문 4.2절의 online metric(아래 E)으로 확증된다.

D. ε-greedy 탐색으로 winner 밖의 크리에이티브도 관측하고, 캐시와 dynamic batching으로 서빙 지연을 줄인다 확인

• ε-greedy exploration: 언제나 최고 점수를 그리디하게 뽑지 않고, ε 확률로 나머지 후보 가운데 하나를 균등하게(uniform) 고른다.
  • 이렇게 탐색하는 이유는 Empirical Features를 채우려면 winner가 아닌 크리에이티브에도 관측치가 필요하기 때문이다.
  • 또 신규 크리에이티브가 대량으로 들어오고 유저 선호가 계속 이동하는 조건에서, 탐색은 selection bias를 줄인다.
• Serving efficiency: 서빙 효율을 위해 캐시와 dynamic batching을 쓴다.
  • Caching: 모델 서버의 로컬 캐시로 feature store 부하를 줄인다. 캐시 히트율을 올리려고 스코어링 요청을 크리에이티브 id로 샤딩해, 같은 크리에이티브가 항상 같은 머신으로 가게 한다.
  • Dynamic batching: 광고 요청 하나에는 광고 후보가 수백 개 들어 있고, 광고마다 크리에이티브 변종이 여러 개다. 이를 그냥 한 요청으로 이어 붙이면(concatenate) stragglers에 취약하고 request/response 처리 병렬성이 떨어진다. stragglers는 느린 후보 하나가 전체를 지연시키는 문제다. 대신 변종을 평탄화(flatten)해 튜닝된 크기의 배치로 나누고 병렬로 스코어링한다.
  • Ablation: dynamic batching을 빼면 P99 지연이 +87%, P90 지연이 +114% 늘어난다. 캐시를 빼면 P99는 +9.6%, P90은 +12.8% 늘어난다. 지연 관점에서는 dynamic batching이 훨씬 중요한 최적화라는 뜻이다.

E. PinDCO는 offline·online 실험의 모든 축에서 baseline을 이겼고, whole-page metric까지 양(+)으로 유지했다 확인

CCFN은 offline 두 지표 모두에서 가장 좋았다 확인(아래 Offline 표). online에서는 PinDCO가 광고 CTR +3.09%로 가장 큰 개선을 내면서, whole-page metric인 Successful Session도 양(+)으로 지켰다 확인(아래 Online 표).

Offline (No-CR baseline 대비 relative % change):

Lightweight-Only(pre-selection 모델만 쓴 구성)도 개선은 있다. 하지만 ROC-AUC 개선 폭을 보면 fine-grained 랭킹에는 부족하다. Peri-CR은 광고 랭킹 모듈과 크리에이티브 모듈을 병렬로 학습·서빙하는 기존 baseline이다.

Successful Session은 클릭·저장·소셜 상호작용처럼 "성공"으로 규정한 액션이 들어 있는 유저 세션의 수다. 광고와 유기 콘텐츠를 모두 포함하는 whole-page-level metric이다.

Online (No-CR baseline 대비 relative % change, 두 개의 platform-level metric):

Lightweight-Only와 Peri-CR은 광고 CTR을 개선하면서도 Successful Session을 각각 −0.24%, −0.12% 깎았다. 반면 PinDCO는 광고 CTR을 +3.09% 올리면서 Successful Session도 +0.04%로 양의 값을 지켰다. 저자들은 이 차이가 "더 좋은 창의 스코어링 모델 + PAM + exploration-driven 학습 데이터"의 조합에서 온다고 진술한다. 결론 절에는 배포 사실을 이렇게 명시했다: "We have deployed PinDCO in the Pinterest Advertising Platform".

"PinDCO achieves the largest gain at +3.09%, substantially outperforming both baselines. … PinDCO achieves a positive +0.04% lift in Successful Session while also delivering the strongest Ad CTR improvement. This result suggests that improving local ad engagement alone is insufficient, and that creative selection should account for broader whole-page-level effects on user experience." — PinDCO: Whole-Page Aware Dynamic Creative Optimization at Scale, 2026-07-21

1. DCO를 랭킹 문제로 다룬 프로덕션 진술이다. 지금까지 저장소 코퍼스에는 광고 크리에이티브 최적화를 별도 시스템으로 다룬 자료가 없었다. Meta의 광고 랭킹 계보(From User Sequences to Scaling Laws 등)와, X가 2026-09-09 커밋(4세대+18)에서 여섯 번째 광고 포맷 header-image-prompt-ad를 연결한 일은 광고 자체의 랭킹·포맷 확장을 다뤘다. 반면 PinDCO는 광고 안에서 어느 크리에이티브를 고를지를 정면으로 문제로 삼는다. 생성형 AI 이후 크리에이티브 변종 수가 폭발한 조건에서 이 자리가 프로덕션 시스템으로 등장했다는 것이 흐름의 신호다.
2. whole-page-aware creative ranking의 첫 프로덕션 진술이다. 유기 피드가 waterfall grid를 쓰는 Pinterest·Instagram·Threads 같은 지면에서는 크리에이티브의 세로 크기가 주변 슬롯의 노출 공간을 직접 결정한다. PAM은 이 상호작용을 aspect ratio penalty로 명시했다. 그리고 ablation에서 CTR을 0.3%p만 희생하고 aspect ratio 증가를 약 2%p 줄인다고 진술한다. 유기 랭킹의 slate optimization(한 화면에 함께 놓이는 아이템 묶음 전체를 최적화하는 것)과 방향이 같은 접근이 광고 크리에이티브 스코어링에도 요구된다는 신호다.
3. delta-score 구조로 크리에이티브 모델과 광고 랭킹 모델을 분리한 프로덕션 사례다. CCFN은 광고 랭킹 모델의 logit과 합산되는 delta만 예측한다. 광고 수준 confounding은 랭킹 모델에 위임하고, 크리에이티브 모델은 광고 안의 상대 차이만 학습한다. 이 분리 덕분에 CCFN은 얇고 피처 셋이 작아도 되며, 광고 랭킹 파이프라인 갱신과 독립적으로 iterate할 수 있다. Netflix Foundation Model은 foundation 위에 head를 붙이는 구조로 지면을 분리했다. PinDCO는 랭킹 모델을 base로 두고 크리에이티브 스코어링을 residual head로 붙이는 구조여서 자리 자체가 다르다.

↑ 목차

2아주 긴 행동 시퀀스를 미리 압축해 캐시하고 광고 전환 예측에 넣었다 — 레이더(Tencent)

최근 등장한 target-independent compression은 유저별로 요약을 한 번 만들어 캐싱한다. 하지만 대부분 query token을 시퀀스 끝에 붙이고 bidirectional encoding을 쓴다. 그 결과 요약이 순서 정보를 잃고 중복될 수 있으며, "최근에 무엇이 있었나"라는 비균질 시간 구조를 놓친다.

이번 논문의 ChronicleRec은 ultra-long 유저 행동 시퀀스를 target-independent Chronicle Token으로 미리 압축해 캐시할 수 있게 만드는 pre-train-and-transfer 프레임워크다. target-independent 계열을 개선하는 방향에서 다음 네 가지를 조합한다.

• Recency-aware multi-granularity merge: 최근 이벤트는 fine-grained로 남기고, 오래된 이벤트는 coarse하게 병합한다.
• Interleaved causal encoding: 학습 가능한 query token을 병합된 시퀀스에 분산 배치하고 causal attention을 쓴다. 각 query는 자기 temporal anchor 이전의 이력만 요약한다.
• Multi-horizon 병렬 브랜치: 서로 다른 recent-history window를 마스킹하는 병렬 브랜치로, 상보적인 long-range 관심을 학습한다.
• Mask-and-predict pre-training과 Chronicle Alignment: 오래된 이력에서 held-out 최근 행동을 재구성하도록 사전 학습해, historical signal을 near-present intent와 정렬한다.

• Tencent AdLive에서 query 배치와 attention 방향을 바꿔 본 ablation에서는 interleaved-causal 조합이 GAUC(유저별로 계산한 AUC의 평균) 0.8034로 가장 높았다 확인.
  • 나머지 조합은 end-causal 0.7890, interleaved-bidirectional 0.7930, end-bidirectional 0.7951이다.
  • 논문이 드는 비교는 조건부 두 개다. causal encoding에서는 interleaved 배치가 end 배치보다 GAUC가 0.0144 높고, interleaved 배치에서는 causal이 bidirectional보다 0.0104 높다.
  • end 배치에서는 bidirectional(0.7951)이 causal(0.7890)보다 높고, 이 비교에 유의성 검정은 제시되지 않았다.
• 같은 Tencent AdLive에서 구성 요소를 하나씩 뺀 ablation에서는 Chronicle Alignment 단계를 뺄 때 GAUC가 가장 크게 떨어졌다 확인.
  • Chronicle Alignment를 빼면 −0.0086 GAUC, recency-aware merge를 빼면 −0.0076, causal mask를 빼면 −0.0074, multi-branch를 빼면 −0.0072 저하된다.
• KuaiRand에서 최근 이력을 가리고 먼 과거만 남겨도, 최근 이력만 보는 baseline보다 GAUC가 크게 높았다 확인.
  • 최근 1,000 이벤트를 완전히 가리고 나머지 오래된 이력만 남겼을 때 GAUC는 0.5499다. 최근 이력만 보는 Short-Attn baseline은 0.5307이다.
  • 이 결과는 먼 과거만으로도 자립적인 관심 신호가 살아 있다는 진술을 통제 실험으로 뒷받침한다.
• Weixin Moments Ads의 pCVR(예측 전환율) 지면에서는 랭킹 백본을 그대로 둔 채 Chronicle Token을 넣었고, 7일 A/B에서 GMV +1.61%를 얻었다 확인.
  • 이 지면에는 MixFormer 랭킹 아키텍처가 이미 자리 잡고 있었다.
  • Chronicle Token은 NS-Token 경로와 S-Token 경로 모두에 들어갔다. NS-Token은 비순차 피처 상호작용을, S-Token은 순차 행동을 다룬다.
  • A/B 결과는 GMV +1.61%, 95% CI [0.678%, 2.547%], p<0.05다. 신뢰구간이 0을 배제한다.

"ChronicleRec increases GMV by +1.61%, with a 95% confidence interval of [0.678%, 2.547%] that excludes zero, i.e., a statistically significant improvement." — ChronicleRec, 2026-09-11

1. target-independent 계열 안에서 order-aware compression을 프로덕션 A/B로 확증했다. 종래 target-independent 요약은 시퀀스 끝에 붙인 query(end-of-sequence query)와 bidirectional attention이 표준이었다. ChronicleRec은 이를 interleaved와 causal로 바꿔, 시간 순서와 위치 정보를 요약 벡터 안에 남긴다. Tencent AdLive에서 GAUC 이득은 causal 조건의 interleaved 배치가 +0.0144, interleaved 조건의 causal encoding이 +0.0104이고, 그 결과가 프로덕션 GMV +1.61%로 이어졌다.
2. ultra-long sequence를 캐시할 수 있다는 점이 온라인 비용 축소에 실제로 효과가 있다. Chronicle Token은 유저당 한 번만 계산해 캐싱할 수 있어서 후보 스코어링과 결합되지 않는다. Meta의 HSTU·Wukong 계보(스케일링 법칙을 보고한 Meta 추천 모델들)와 Netflix Foundation Model은 시퀀스 인코더 자체를 키운 접근이었다. 반면 ChronicleRec은 랭커 백본을 그대로 두고 lifelong 표현만 캐시로 넣는 각도여서 도입 비용이 낮다.
3. distant-history 신호의 독립성 실험 결과는 다른 회사 진술과 비교할 만한 데이터 포인트다. KuaiRand에서 최근 1,000 이벤트를 완전히 마스킹해도 GAUC가 recent-window baseline을 큰 폭으로 이겼다. 이 관찰은 X Phoenix(X For You의 랭킹 트랜스포머)가 recent action 4,096개를 attention window 상한으로 두는 설계와 대비되는 값이다. Netflix Foundation Model이 lifetime history를 인코딩하는 설계와도 대비된다. "먼 과거만으로도 자립적인 predictive 신호가 있다"는 진술을 통제 실험으로 확인한 사례는 흔치 않다.

↑ 목차

검증에서 뒤집힌 것

없음.

↑ 목차

레이더

이번 배치에서 triage한 arXiv cs.IR 23건(신규 12건, cross 6건, replacement 5건) 가운데 두 건이 acceptance 기준을 통과했다.

• PinDCO는 Pinterest 논문으로, RecSys 2026에 accepted됐고 프로덕션에 launched됐다.
• ChronicleRec은 Tencent Weixin Moments Ads의 7일 A/B를 보고했다.

두 건 모두 radar.md의 "이번 달 신규" 절에 항목을 추가했다.

triage에서 언급할 만했지만 반영하지 않은 항목은 다음과 같다.

• OneLA는 generative recommendation의 large-beam decoding에서 recurrent linear-attention 서빙을 최적화하는 시스템 논문이다.
  • 자료: arXiv 2609.12399, 2026-09-11, 저자 이메일 도메인 @kuaishou.com
  • 모든 beam 상태를 shared prompt state와 compact append-only divergent transition records로 표현한다고 진술한다 확인.
  • 이를 lightweight ancestry index와 fused GPU kernel로 처리해 end-to-end decode를 1.54–2.46× 가속하고, memory·data movement를 크게 줄였다고 진술한다 확인.
  • 온라인 A/B 없이 offline speedup만 있어서, acceptance 기준의 프로덕션 진술 축이 부족하다.
  • 다만 OneRec(Kuaishou의 생성형 추천 모델)·OneRec-Thinking 라인의 서빙 확장 스레드로 후속 관찰할 만하다.
• MIMA는 multi-interest recommendation의 interest collapse 문제에 Hungarian matching 기반 multi-positive exclusive assignment를 붙인 프레임워크다.
  • 자료: arXiv 2609.12842, 2026-09-11, 저자 이메일 도메인 @alibaba-inc.com
  • interest collapse는 여러 interest 표현이 서로 비슷해져 구분되지 않는 문제를 말한다.
  • 한 request에서 함께 나온(co-occur) 아이템들을 positive set으로 묶고, 각 positive를 서로 다른 interest에 배타적으로 할당한다.
  • 공개 데이터셋 세 개와 industrial dataset으로 한 offline 실험, 그리고 online A/B에서 "significant business gains"를 진술했지만, 구체적인 uplift 숫자는 abstract에 없다 확인.
  • Alibaba의 어느 지면인지도 명시되지 않았다. 구체 수치가 공개되는 후속을 기다린다.
• Who Are We Recommending To? Recommender Systems in the Agentic Web은 Spotify Research 5인이 쓴 position paper다.
  • 자료: arXiv 2609.11945, 2026-07-22 v1
  • LLM agent가 유저 대리인으로 아이템을 소비·거래하는 세계에서는, 추천의 수신자가 사람인지 에이전트인지에 따라 랭킹이 둘로 갈린다고 논한다.
  • 같은 IR listing에 실렸지만 저자군이 다른 PAMR(arXiv 2609.11942)과 방향이 같다.
  • 프로덕션 A/B나 새 메커니즘이 없어 acceptance 기준 밖이다. Spotify 서빙 스택이 앞으로 어떻게 바뀌는지 조립해 볼 때 참고 자료로 남겨 둔다.

↑ 목차

다음에 볼 것

↑ 목차