0x00 EN

리서치 / 일일 리포트

  • 읽은 자료 1건
  • 정본 반영 1개 파일
  • 레이더 1건
한 줄 요약Pinterest가 홈피드 랭킹 모델의 임베딩 테이블을 첫 epoch에 고정하는 방식으로 여러 epoch 학습을 켜고 온라인 저장 1.09% 상승을 보고했다.

1홈피드 랭커를 과적합 없이 여러 epoch 학습한다 — Pinterest

자료 Safe and Efficient Multi-Epoch Embedding Training — Pinterest Engineering, 2026-11-06, 블로그.

배경 추천 랭킹 모델은 보통 학습 데이터를 한 번만 훑는 1 epoch로 학습한다. 아이템·유저 ID마다 벡터를 두는 거대한 임베딩 테이블이 같은 데이터를 두 번 보면 급격히 과적합하기 때문이다(multi-epoch 과적합). 데이터를 더 많이 쓰려면 학습 기간 창을 늘려야 하고, 그만큼 오래된 데이터가 섞인다. 이번 글은 Pinterest 홈피드 랭킹 모델에서 이 과적합의 원인을 임베딩 테이블로 좁히고, 테이블 학습 시점을 늦춰 여러 epoch 학습을 프로덕션에 적용한 결과를 보고한다.

새로 알게 된 것A. 임베딩 테이블을 첫 epoch에 고정하면 여러 epoch 학습이 이득으로 바뀐다

  • 홈피드 랭킹 모델은 학습을 1 epoch에서 2 epoch로 늘리면 오프라인 save 지표가 6% 가까이 떨어졌다 확인 — Pinterest 블로그.
    • 이 모델은 5개 지면 데이터로 사전학습한 foundation model 백본을 3주 창, 1 epoch로 미세조정해 왔다.
  • 모델 부분을 하나씩 고정해 보니 하락의 주원인은 임베딩 테이블이었다 확인 — 같은 글.
    • 테이블을 끝까지 고정하고 3 epoch 학습하면 1 epoch 모델 대비 +1.25%였다.
  • 채택한 방법은 첫 epoch에는 테이블을 고정하고, 다음 epoch부터 나머지 모델과 함께 학습하는 지연 갱신이다 확인 — 같은 글.
    • 10일 창에서 마지막 epoch까지 고정하면 +0.49%, 반대로 첫 epoch에만 함께 학습하고 나머지에서 고정하면 −0.80%였다.
    • 20일 창에서는 같은 방식이 +1.16%였고, 이득은 3 epoch 부근에서 포화했다.
  • 프로덕션 홈피드 랭킹 모델에 여러 epoch 학습을 켜고 온라인 save +1.09%를 얻었다 확인 — 같은 글.

"The modeling and system insights allowed us to enable multi-epoch training in production, leading to +1.09% online saves." — Safe and Efficient Multi-Epoch Embedding Training (블로그), 2026-11-06

새로 알게 된 것그 밖의 변경

  • 같은 Pinterest의 광고 쪽 연구에서는 ID 임베딩 테이블이 이런 multi-epoch 하락을 보이지 않았다고 쓴다 확인 — 같은 글.
  • 학습 시간 쪽에서는 분산 임베딩 조회가 전체 학습 시간의 15% 넘게 차지해, 다음 배치의 임베딩을 미리 가져오는 반동기 파이프라인을 붙였다 확인 — 같은 글.

정본 반영 radar.md ## 이번 달 신규에 Pinterest 항목을 추가했다.

의미 추천 랭커의 1 epoch 관행이 임베딩 테이블 때문이라는 점을 프로덕션에서 분리해 보인 사례다. 추적 서비스(X·Meta·Netflix·Reddit)가 같은 학습 일정을 쓴다는 근거는 없으므로 레이더에 둔다.

레이더

다음에 볼 것