0x00

리서치 / 일일 리포트

  • 읽은 자료 3건(모두 레이더 후보)
  • 정본 반영 0
  • 레이더 신규 2건과 오픈 스레드 갱신 1건
한 줄 요약추적 서비스(X·Meta·Netflix)의 정본을 바꿀 만한 새 발표는 없었다. 대신 프로덕션 진술이 있는 arXiv 논문 두 편을 레이더에 올렸다.

오늘 함께 본 다른 변화는 다음과 같다.

  • ByteDance 광고는 시퀀스 길이를 20K까지 늘린 랭킹 모델을 프로덕션에 배포했다고 밝혔다.
  • Webtoon은 추천 파운데이션 모델을 사업 지표에 맞추는 RL post-training 단계를 제시했다.
  • Kuaishou 연구진이 참여한 HD-Rec은 공개 벤치마크 결과만 있어 레이더 오픈 스레드에 한 줄만 보탰다.

1ByteDance 광고가 시퀀스 길이 20K의 랭킹 모델을 프로덕션에 배포했다 — 레이더

자료 TM20K: Teacher Retains Full Tokens, Student Merges Efficiently — E-Commerce Sequence Modeling in Ad Recommendation — arXiv 2608.07055, 2026-08-07, 논문(ByteDance 저자 12인)

배경 "긴 유저 시퀀스를 랭킹 모델에 그대로 넣으면 더 좋다"는 명제는 지금 추적 서비스 세 곳에서 서로 다른 방향으로 검증되고 있다.

  • Meta HSTU/GEM(Meta의 두 시퀀스 모델 계보로, HSTU는 오가닉 쪽, GEM은 광고 쪽이다)은 파라미터와 시퀀스를 함께 늘리는 스케일링을 주장한다 확인 — topics/sequence-transformer-ranking.md
  • Meta 광고의 유저 모델 LLaTTE는 "semantic feature가 있어야만 스케일링이 성립한다"는 반대 조건을 걸었다 확인 — daily/2026-08-09.md
  • Netflix Foundation Model(FM)은 2M→1B shadow에서 "일관된 개선"을 봤다 확인.
    • shadow(production-shadow)는 실서비스 트래픽에 나란히 돌리되 결과는 사용자에게 보여 주지 않는 평가 단계다.

세 진술은 서로 절반쯤 맞물리면서 절반쯤 부딪히는 상태다. 여기에 8월 7일 arXiv에 올라온(오늘 읽은) ByteDance 논문이 네 번째 진술을 더했는데, 방향이 또 다르다. 이번 논문은 파라미터를 늘리는 대신 시퀀스 길이를 20K까지 확장했다. 프로덕션 서빙 지연을 거의 늘리지 않으면서 이 확장을 해내는 방법으로는 teacher/student KD(knowledge distillation, teacher 모델이 만든 신호를 student 모델이 따라 배우게 하는 방법)를 골랐다.

새로 알게 된 것A. teacher와 student 모두 full attention을 쓰고, student는 token merge로 가벼워진다

  • teacher와 student 모두 target-only attention(쿼리 하나에 대해서만 어텐션을 접는 흔한 최적화)이 아니라 full attention을 쓴다 확인.

    "Both teacher and student models take the full attention mechanism rather than pure target-sequence attention for effective sequence scaling." — TM20K 논문 초록, 2026-08-07

  • student가 가벼워지는 이유는 attention을 접기 때문이 아니라 token merge로 시퀀스 자체를 압축하기 때문이다.

  • teacher는 무겁게 학습해서 정답 신호를 만들고, student는 KD로 그 신호를 따라가며 성능을 끌어올린다.

새로 알게 된 것B. 시퀀스 길이 20K로 프로덕션에 배포했고, 서빙 지연은 5.6% 늘었다

  • 논문은 시퀀스 길이 20K에서 ADSS +1.036%, 서빙 지연 +5.6%를 보고했고, 훈련·서빙 비용은 기존 SOTA와 거의 같다고 밝혔다 확인.

    • ADSS는 ByteDance의 광고 지표다. 정확한 정의는 논문 본문에서 확인해야 한다.

  • 논문은 이 모델을 ByteDance의 이커머스 광고 추천 시스템에 배포했다고 밝힌다 확인.

    "successfully deployed in ByteDance's e-commerce advertising recommender system" — 같은 초록, 2026-08-07

  • 지연이 5.6%만 늘어난 것이 사실이라면, 20K 확장이 서빙에 주는 부담은 시장이 예상하던 것보다 작다.

정본 반영 없음. 추적 서비스에 속하지 않아서 정본 파일은 고치지 않았다. 대신 radar.md의 "이번 달 신규" 절에 새 엔트리로 추가했다.

의미 긴 시퀀스가 좋다는 명제 자체는 더 강해지지만, 그것을 어떻게 서빙 가능하게 만드느냐에 대해서는 회사마다 아직 다른 답을 내놓는다. TM20K는 스케일링 법칙 스레드가 다루는 Meta·Netflix에 이어 ByteDance가 낸 데이터 포인트지만, 파라미터 스케일링을 이야기하는 HSTU와 LLaTTE, Netflix FM과 달리 시퀀스 길이 스케일링을 KD로 감당한다. 초장기 시퀀스에 KD를 쓴다는 진술이 세 곳 이상에서 쌓이면 topics/ 노트로 승격할지 판단하겠다.

2Webtoon이 추천 파운데이션 모델에 RL post-training을 붙였다 — 레이더

자료 Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training — arXiv 2608.06792, 2026-08-07, 논문(Webtoon, RecSys '26 Industry Track)

배경 추천 파운데이션 모델(recommender foundation model, RFM)은 한 번 프리트레이닝해 두고 홈 피드, For You, 검색 같은 여러 서빙 지면에 재사용하는 접근이다. Netflix Foundation Model과 Meta GEM이 이 계열의 대표 사례다(services/netflix.md, services/facebook.md). 지면별 적응은 보통 SFT(Supervised Fine-Tuning, 감독 학습으로 세부 태스크에 미세조정하는 방법)로 처리한다. 그런데 SFT가 click이나 like 같은 즉시 신호를 목표로 삼으면, 정말로 최적화하고 싶은 사업 지표와 어긋나기 쉽다. 사업 지표는 retention, revenue처럼 sparse하고 지연이 있는 신호다.

8월 7일 arXiv에 올라온 Webtoon 논문은 이 어긋남을 3단계 post-training으로 푸는 접근을 제시한다. LLM에서 익숙한 SFT → RLHF 순서를 추천에 그대로 옮겨 놓은 형태다.

새로 알게 된 것A. post-training을 LP, FFT, RFT의 3단계로 나눈다

  • 파이프라인은 LP → FFT → RFT의 3단계다 확인.
    • LP(Linear Probing)는 프리트레이닝된 표현을 얼려 두고, 무작위로 초기화된 downstream head만 먼저 안정시킨다. head가 크게 흔들리는 것을 막는 웜업 단계다. downstream head는 프리트레이닝된 표현 위에 붙여 세부 태스크의 출력을 내는 층이다.
    • FFT(Full Fine-Tuning)는 모델 전체를 target task에 맞춰 특화한다.
    • RFT(Reinforcement Fine-Tuning)는 학습된 reward model을 써서 policy를 사업 지표에 정렬한다. 여기서 policy는 실제로 서빙하는 추천 모델이다.

새로 알게 된 것B. 사업 지표는 reward model 학습에만 쓰고, policy는 dense 신호로 학습한다

  • 핵심 설계는 policy를 dense implicit feedback(클릭처럼 자주 쌓이는 암묵적 행동 신호)으로 학습하고, sparse business target은 reward model에만 쓰는 것이다 확인.

    "Rather than directly optimizing the serving policy on sparse business targets, we train the policy on dense implicit feedback and use business-metric supervision only for reward modeling." — Progressive Alignment 초록, 2026-08-07

  • 이유는 분명하다. sparse target(예: 결제 전환)으로 직접 최적화하면 gradient가 거의 흐르지 않는다.

  • reward model이 dense 신호와 sparse 신호 사이에서 중간 대리자 역할을 맡고, policy는 dense 신호로 학습하기 때문에 안정적이다.

새로 알게 된 것C. 온라인 A/B 결과를 진술하지만 숫자는 없다

  • 초록은 온라인 A/B 결과를 진술하기는 하지만 숫자는 없다 확인. A/B에 대해서는 이렇게만 쓴다: "Large-scale online A/B tests further show that the proposed framework improves production recommendation quality over a conventional non-foundation baseline".
  • 구체적인 지표와 수치는 본문에서 확인해야 한다.

정본 반영 없음. radar.md의 "이번 달 신규" 절에 새 엔트리로 추가했다.

의미 Webtoon 논문은 파운데이션 모델에 downstream head를 붙이는 지점에서 한 걸음 더 나아가 RL alignment 단계를 하나 더 추가한다. Netflix FM이 downstream head를 어떻게 붙이는지에 대해서는 우리 정본(services/netflix.md의 Foundation Model 절)이 아직 얇다. 이 접근이 두세 곳에서 더 재현되면 recsys FM 표준 파이프라인의 후반부인 post-training을 새로 그려야 하지만, 아직은 한 회사가 처음 내놓은 진술이라서 당분간 관찰만 한다.

레이더

오늘 arXiv cs.IR 신규 30건을 선별한 결과 3건이 레이더 수용 기준(플랫폼 기업 저자나 프로덕션 주장, 메커니즘의 신규성, 대규모 스케일 결과를 본다)을 통과했다. 새 엔트리는 그 가운데 두 건에만 만들었다.

  • TM20K(ByteDance)는 위 1절의 논문이다. radar.md 이번 달 신규에 새 엔트리를 만들었다.
  • Progressive Alignment(Webtoon)는 위 2절의 논문이다. 같은 자리에 새 엔트리를 만들었다.
  • HD-Rec(arXiv 2608.06997, 2026-08-07)은 공개 벤치마크 결과만 있어서 프로덕션 진술은 아직 없다. 그래서 새 엔트리는 만들지 않고 생성형 retrieval / semantic ID 오픈 스레드에 "2026-08-11 추가 근거" 한 줄만 덧붙였다.
    • Kuaishou의 시니어 라인(Ruiming Tang, Guorui Zhou, Han Li)이 참여했다.
    • Semantic ID(SID, 아이템을 계층 코드로 표현한 것)를 cross-domain까지 확장한다. 수단은 계층 코드북과 domain sparse MoE(mixture of experts, 여러 전문가 하위 네트워크를 게이트로 골라 섞는 구조)다.
    • Kuaishou 라인이 SID 계열에 합류했다는 신호로만 기록해 둔다.
  • 나머지 27건은 순수 학술 증분이라서 탈락시켰다. RAG 최적화, 학술 retrieval 방법론, geo/legal/edu 도메인, 음악 도메인 한정 recsys 등이다.
  • 산업 블로그 스윕은 월요일에 하는 작업이라 오늘은 하지 않았다. 다음 스윕은 2026-08-17(월)에 한다.

다음에 볼 것