0x00

리서치 / 일일 리포트

  • 읽은 자료 2건
  • 정본 반영 1개 파일
  • 레이더 1건
한 줄 요약KuaFu 논문에 따르면, 유저 행동 이력을 아이템 단위로 압축하는 프로파일링이 Tencent 광고·추천 플랫폼에 10개월 배포됐고 홀드아웃 대비 GMV가 1.37% 올랐다.

오늘 함께 본 다른 변화는 다음과 같다.

  • Meta 연구진은 프로파일링 도구 논문에서 자사 추천 모델이 TB 규모이고, 수천 GPU에서 돌며 하루 100B 예제를 받는다고 밝혔다.

1아이템 단위 압축으로 프로파일링 파이프라인을 대체한 KuaFu가 10개월 배포됐다 — 레이더

자료 KuaFu: Compressing Long User Behavior into Understanding at Billion Scale — arXiv, 2026-09-25 v1, 논문. 저자는 11인(Jiahao Hui·Lin Zhu·Yishen Hu·Jingdong Shu·Zetai Jiang·Xining Ran·Ben Tan·Yeshou Cai·Gong Chen·Haijie Gu·Jie Jiang)이다. 저자 소속은 HTML 판에 렌더링되지 않지만, 본문이 "deployed on the Tencent advertising and recommendation platform for ten months, with a 1.37% lift in overall GMV"라고 진술하고 저자 중 Jie Jiang이 ChronicleRec (Tencent PCG Weixin Moments Ads) 저자 명단과 겹쳐, Tencent 광고·추천 라인으로 판단한다 추정.

배경 산업 규모의 추천 시스템은 유저 개개인의 취향을 파악할 때 raw 행동 로그(클릭·조회·구매 등)를 그대로 다루기 어렵다. 그래서 로그를 요약한 유저 프로파일을 랭킹 모델의 입력 피처로 쓴다. 프로파일은 "content-interest summarization"(유저가 어떤 콘텐츠를 좋아하는지), life stage 추정, 구매 인텐트 예측 같은 여러 태스크로 나뉜다. 태스크마다 별도의 소규모 모델이 로그의 일부를 잘라 처리하는 것이 통상적인 관행이다.

이 관행에는 병목이 두 가지 있다.

  • 첫째, 태스크별로 잘라도 시퀀스가 여전히 길다. Content-interest summarization 하나만 봐도 유저당 평균 수백 건, tail에서는 수천 건의 행동 아이템을 읽어야 한다. 이를 프롬프트 텍스트로 직렬화하면 수만 토큰이 된다. LLM으로 프로파일링한다면 context window에 넣기 벅찬 규모다.
  • 둘째, 프로파일은 자주 갱신해야 한다. Tencent의 규모는 10억 유저 프로파일의 주간 재계산이고, 이에 필요한 처리량은 aggregate 약 100K QPM(Query Per Minute)이다. 이 규모에서는 GPU 예산이 고정된 이상 태스크별 모델의 처리량이 하한선을 만든다.

여기서 자연스러운 대안이 압축이다. 시퀀스를 짧은 토큰으로 압축해 LLM에 넣거나, 태스크별로 잘라 넣는 대신 하나의 압축 표현을 여러 태스크가 공유하게 하면 예산 문제를 완화할 수 있다. 그런데 압축 자체가 새로운 문제를 만든다. 저자들은 hallucination 유형 네 가지를 진술한다.

  • fabrication: 존재하지 않은 관심을 지어낸다.
  • omission: 신호를 누락한다.
  • date misattribution: 사건을 잘못된 시점에 귀속한다.
  • broken logic: 잔여 근거로부터 잘못 추론한다.

이 hallucination은 downstream 비즈니스 지표(CTR·GMV)로만 관측된다. 그 지표는 diffuse하고, 한 달치 데이터를 봐야 root cause를 짚을 수 있어 학습 루프를 심각하게 느리게 만든다.

이번 논문의 KuaFu는 이 두 문제를 함께 다루는 압축 표현 레이어다. 압축의 최소 단위를 시퀀스가 아니라 behavior item 하나로 잡고, item마다 독립적으로 압축한 뒤 downstream 태스크가 공유하는 캐시로 쌓아 두는 구조를 제안한다.

새로 알게 된 것A. item마다 따로 압축해 캐시로 쌓고, 토큰 수와 폭을 함께 줄인다

  • 각 behavior item(하나의 클릭, 하나의 조회, 하나의 광고 컨텍스트 등)을 item compressor가 독립적으로 인코딩하고, 그 위의 two-axis projector가 두 축을 함께 줄인다 확인.
    • item compressor의 출력은 shape m × d 임베딩이다.
    • 토큰 축은 m → k(약 10배), width 축은 d → d′(약 20배)로 낮춘다.
    • 그 결과 최종 압축 표현 z_i의 shape은 2–4 tokens × width 128–256이다.
  • 정량으로는 per-item 캐시가 10 KB에서 0.5 KB로 줄었다 확인.
  • Item 단위 압축이라 캐시가 시퀀스 길이에 대해 선형이고, 유저의 새 이벤트는 기존 캐시를 재계산할 필요 없이 추가만 하면 된다 확인.
  • Instruction-token 임베딩은 압축하지 않는다 확인.

"A two-axis projector compresses each item into 2–4 tokens of width 128–256—about 10× compression along the token axis and 20× along the width axis, cutting the per-item cache from 10 KB to 0.5 KB." — KuaFu abstract, 2026-09-25

새로 알게 된 것B. 압축은 네 단계를 차례로 쌓아 학습한다

  • 저자들은 fidelity-oriented four-stage recipe라는 4단계를 순차적으로 쌓아 압축을 학습시킨다 확인.
    1. Understanding: 압축된 표현을 입력으로 받는 decoder가 원본 시퀀스를 재구성하도록 학습한다. 압축과 decoder를 모두 업데이트한다.
    2. Post-training: 42 태스크 유형의 layered-difficulty 데이터로 복합 이해를 학습한다. 여기에는 4개 profiling task가 포함된다.
    3. Co-training: 압축과 생성(태스크별 응답)을 동시에 목표로 한다. Reconstruction 단계에는 sequence-length curriculum(짧은 시퀀스 → 긴 시퀀스)을 넣어 수렴을 안정화한다.
    4. Hallucination-aware RL: 압축과 projector를 freeze한 상태에서 decoder만 DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization, arXiv 2503.14476)로 업데이트한다. Reward는 네 hallucination 유형별 판정을 harm 가중치로 합산한다.

새로 알게 된 것C. RL 보상은 fabrication을 가장 무겁게 벌하고, RL 뒤 fabrication은 33.5에서 4.5로 줄었다

  • Reward 모델은 응답에서 네 유형을 각각 present/absent로 판정하고, 유형마다 harm 가중치로 벌점을 준다 확인.
    • fabrication 0.45(가장 무거움), date misattribution 0.24, broken logic 0.24, missed detection 0.07(가장 가벼움)
    • Completeness는 별도 보너스로 계산한다.
  • 저자들은 fabrication을 가장 무겁게 벌하면 모델이 답변 자체를 거부하는 쪽으로 도피할 수 있다는 부작용을 명시하고, refusal은 별도로 counteract한다고 밝힌다 확인.
  • Hallucination-aware RL 뒤 fabrication hit rate는 33.5에서 4.5로 약 29 pp 줄었고, fully-correct answer rate는 +34.0 pp 올랐다 확인.
  • Date와 logic 에러는 함께 줄었고, missed detection과 missing answer는 소폭 늘었다 확인.
    • 즉 "fabrication에 heavy penalty를 주면 refusal 방향으로의 drift가 나타난다"는 예상된 부작용이 실제로 관측된다.

"Fabrication carries the heaviest weight (0.45) and missed detection the lightest (0.07), with completeness as a separate bonus. After DAPO fabrication falls from 33.5 to 4.5 and the fully-correct rate rises by 34.0 pp." — KuaFu §3.4 / §4.6, 2026-09-25

새로 알게 된 것D. 오프라인에서는 4개 태스크, 5개 headline metric 모두에서 압축하지 않은 기존 모델과 같거나 낫다

  • 4개 프로덕션 profiling task(content-interest summarization 등)마다, 압축된 KuaFu 모델이 uncompressed single-task 프로덕션 모델과 매치되거나 상회한다 확인.
    • 저자들은 이것이 "shared serving budget에서도 태스크별 모델을 대체할 수 있음"의 정량 근거라고 진술한다.
  • 같은 초록은 per-GPU throughput이 +37–350% 늘고 GPU 190대를 절약했다고 밝힌다 확인.

"Across four production profiling tasks, the compressed model matches or exceeds the uncompressed single-task production models on all five headline metrics, increases per-GPU throughput by 37%–350%, and saves 190 GPUs." — KuaFu abstract

새로 알게 된 것E. 공개 벤치마크 MRQA out-of-domain에서 최대 +17.7 EM을 올렸고, RecBench에서는 4B 모델이 8B 모델을 1.90점 앞선다

  • 공개 MRQA에서 기존 prompt compressor 대비 최대 +17.7 EM(exact match, 정답과 정확히 일치한 답의 비율) 향상을 보였다 확인.
    • in-domain 6개: SQuAD·NewsQA·TriviaQA·SearchQA·HotpotQA·NaturalQuestions
    • out-of-domain 6개: BioASQ·DROP·DuoRC·RACE·RelationExtraction·TextbookQA
  • RecBench에서는 KuaFu의 4B 모델이 KuaFu 8B 모델보다 1.90점 앞선다 확인.
    • 저자들은 이를 "압축 구조 자체가 태스크에 잘 맞았기 때문에 파라미터 예산을 줄여도 성능이 유지된다"의 근거로 든다.

새로 알게 된 것F. 온라인 A/B에서는 10개월 동안 5% 홀드아웃 대비 GMV가 +1.37% 올랐다

  • 온라인 검증은 unique visitor 단위로 트래픽을 랜덤 분할한 A/B 실험이다 확인.
  • 두 arm이 profile mining에 쓰는 리소스는 동일하게 유지하고, control은 "1년치 행동, 월간 갱신" 방식의 기존 프로파일 피처를 유지한다 확인.
  • Rollout은 4주 관측 창 안에서 0% → 100%로 진행됐다 확인.
  • full rollout 뒤에는 5% 홀드아웃(새 방식을 적용하지 않고 남겨 둔 비교 집단)을 남겨 10개월을 더 관측했다 확인.
  • 배포 뒤 10개월 동안 홀드아웃 대비 GMV는 +1.37%(95% CI [0.71%, 2.03%])였고, 신뢰구간이 0을 배제한다 확인.
    • 저자들은 "두 arm이 GPU와 스토리지를 동일하게 소비하므로 이득의 원인은 압축이 확보한 두 종류의 headroom(태스크 간 공유 가능한 표현, 그리고 더 긴 시간 창)"이라고 진술한다.

"After full rollout a 5% holdout was retained and observed for a further ten months, over which overall GMV rose by 1.37% against that holdout (95% CI [0.71%, 2.03%])." — KuaFu §4.8, 2026-09-25

새로 알게 된 것G. KuaFu는 랭킹 백본이 아니라 그 앞단의 프로파일링 층을 압축·통합한다

  • Meta HSTU(Meta 유기 추천의 시퀀스 트랜스포머 랭킹 모델)나 Netflix Foundation Model 등이 랭킹 백본 자체를 스케일링한 각도라면, KuaFu는 랭킹 앞단의 profiling layer를 압축·통합하는 각도다.
  • ChronicleRec (Tencent PCG)은 랭커의 입력으로 들어가는 lifelong 표현(아주 긴 유저 행동 이력을 담은 표현)을 target-independent Chronicle Token으로 사전 압축했다. KuaFu는 profiling task 자체를 공유 압축 위에서 재구성한다는 점에서 자리가 다르다.
    • ChronicleRec가 다루는 것은 전환율 예측(pCVR) 지면의 랭킹 백본 입력이고, KuaFu가 다루는 것은 profiling 파이프라인 전체다.
  • 두 자료 모두 Tencent 광고·추천 플랫폼에서 배포됐다는 점(저자 명단에서 Jie Jiang이 반복)에서, Tencent가 lifelong user modeling을 랭커 입력과 프로파일링 파이프라인이라는 두 축에서 함께 밀고 있다는 정황이 강해진다.

새로 알게 된 것H. harm 가중치로 LLM 프로파일링을 제약한 프로덕션 진술은 저장소에서 이번이 처음이다

  • Hallucination-aware RL의 harm 가중치 구조 자체도 새로운 데이터 포인트다. 저장소 코퍼스에서 LLM 기반 프로파일링을 오프라인 A/B와 완전히 다른 손실 함수로 제약하는 프로덕션 진술은 이번이 처음이다.
    • Meta AMBER는 오프라인 지표 중심이고, Comcast LLM profiling은 aggregate offline 비교만 진술했다.
  • fabrication을 가장 무겁게, missed detection을 가장 가볍게 둔 가중치 자체가 "false positive가 유저 신뢰에 미치는 harm이 false negative보다 크다"는 프로덕션 판단이다. 그래서 다른 회사가 LLM profiling을 도입할 때 참조할 만한 형태다.

정본 반영 radar.md "이번 달 신규" 최상단에 KuaFu (Tencent 추정)를 편입했다. Tencent는 이 저장소가 정본으로 추적하는 서비스가 아니므로 services 정본은 만들지 않는다.

의미 LLM 기반 유저 프로파일링이 아이디어에서 주간 10억 유저 규모의 프로덕션 배포로 옮겨 갔다는 정량 근거가 저장소에 처음 들어온다. 저장소가 추적하던 LLM·추천 결합의 자리 목록에 프로파일링 파이프라인 자체를 압축·통합하는 자리가 하나 더 추가된다. 다만 자리 목록의 세는 순서에는 넣지 않고 스레드에 진술만 더한다.

  • 기존 자리 목록:
    • Netflix GenRec: 채점 함수
    • Yandex Gryphon: 생성 retrieval·rank
    • Alibaba MetaStrategy: 오프라인 정책 컴파일러
    • Meta ConnectionMind: 그래프 경로 추론기
    • Meta AMBER: 입력 tokenization
    • Spotify GLIDE: SID(아이템을 계층 코드로 표현한 semantic ID) candidate generator
    • LinkedIn Follows: LLM 임베딩 retrieval
    • Comcast LLM profiling: 오프라인 실험

2프로파일링 도구 논문이 Meta 추천 모델의 하드웨어·데이터 규모를 밝혔다 — Meta

자료 Component Benchmark: Hierarchical Model Profiling for Large-scale Recommendation Systems — arXiv, 2026-09-25 v1, 논문. 저자 14인 전원이 Meta Platforms Inc. Sunnyvale 소속이다. HTML 판의 affiliation 블록에서 도메인 @meta.com을 확인했다.

배경 산업 규모의 추천 모델은 memory-bandwidth-bound 연산(임베딩 lookup), 작은 compute-bound dense 레이어, jagged categorical feature에서 오는 동적 shape이 섞여 있어 프로파일링이 까다롭다. 기존 도구는 end-to-end throughput만 보거나 operator-level trace를 뽑는다. 모델 구성 실무자가 사고하는 단위인 "submodule별 성능"은 바로 보여 주지 못한다. 이번 논문의 Component Benchmark(CB)는 submodule 단위로 계층적 tree 시각화를 제공하는 프로파일링 프레임워크다.

새로 알게 된 것A. Meta 추천 모델은 TB 규모이고, 수천 GPU에서 돌며 하루 100B 예제를 받는다

  • Meta 추천 스택은 TB-scale 모델을 수천 GPU에서 돌리고, 하루 100B 예제를 소비한다 확인.
    • 이번 진술은 하드웨어와 학습 데이터 규모를 aggregate로 명시한다.
    • 저장소가 추적해 온 Meta HSTU/Wukong, ConnectionMind, AMBER 관련 진술은 그와 달리 다음 세 축을 다뤘다.
      • 파라미터 축(HSTU 실험)
      • 지면 축(hot path 5-10%)
      • 이벤트 축(하루 수십억 이벤트)

"These large-scale recommendation models are TB-scale, run on thousands of GPUs and ingest 100B examples per day." — Component Benchmark abstract, 2026-09-25

새로 알게 된 것B. CB는 모델이 아니라 프로파일링 도구다

  • 논문 본문은 open-source DLRM(Meta가 공개한 추천 모델 구현)과 NanoGPT 예제에 CB를 적용한다. kernel-level trace, memory snapshot, Perfetto 시각화 링크를 모아 하나의 tree view로 만드는 아키텍처를 보여 준다.
  • 새로운 랭킹·retrieval 메커니즘은 아니다.

정본 반영 없음. Component Benchmark는 profiling 도구 논문이고, services/facebook.md 정본의 랭킹·retrieval 절 가운데 직접 대응하는 자리가 없다. TB-scale · 수천 GPU · 100B examples/day라는 규모 수치는 이 daily에만 남겨 둔다. 앞으로 facebook.md에 "규모" 절을 열게 되면 참고할 데이터 포인트다.

의미 Meta 랭킹 스택이 TB-scale 모델을 수천 GPU에서 하루 100B 예제로 학습한다는 정량 진술 자체가 새롭다(기존 정본은 파라미터 규모나 지면별 진술이 중심이었다). 다만 이번 자료는 프로파일링 프레임워크의 정당화 문맥에서 나온 aggregate 수치라, 프로덕션 파이프라인 어느 층에 해당하는지가 특정되지 않는다. 단일 추천 모델의 규모인지 여러 지면 모델의 합인지는 후속 자료에서 확인이 필요하다.

레이더

KuaFu (Tencent)를 radar.md에 편입했다. KuaFu는 behavior item 단위 two-axis 압축으로 profiling 파이프라인을 대체했고, 주간 10억 유저·100K QPM 규모에 10개월 배포됐다 확인 — arXiv 2609.31045.

  • 수치: GMV +1.37% (95% CI [0.71%, 2.03%]), 190 GPU 절약, 4B > 8B 1.90pt(RecBench), MRQA OOD +17.7 EM 확인
  • 저자 소속은 Jie Jiang이 ChronicleRec 저자와 일치한다는 점에서 추정한 것이다 추정.

다음에 볼 것