- 읽은 자료 1건
- 정본 반영 2개 파일
- 레이더 1건
1참여 유도 포스트의 해당 행동 점수를 뺄 수 있게 됐다 — X
자료 xai-org/x-algorithm@269340c — xAI, 2026-11-21, 코드. 이 노트들이 붙인 번호로는 4세대+69다(4세대+N은 2026-08-13 4세대 공개 뒤의 커밋에 이 노트들이 차례로 붙인 번호다).
배경 X For You의 최종 점수는 Phoenix(Grok 기반 트랜스포머 랭커)가 예측한 행동별 확률에 가중을 곱해 더한 값이고, 이 가중합은 VMRanker(가중합과 DPP 슬레이트 재정렬을 맡는 서비스)가 계산한다. "답글 달아 주세요", "공유하면 ○○" 같은 참여 유도(engagement bait) 포스트는 답글·공유 확률이 높게 나와 가중합에서 이득을 본다. 2026-11-19 커밋(4세대+67)은 이런 안전 라벨이 붙은 후보를 VMRanker에 표시해 보내는 경로만 만들었고, VMRanker가 그 표시를 어떻게 쓰는지는 비어 있었다. 이번 커밋은 VMRanker 쪽 처리를 채우고, 인기 영상 retrieval 인덱스와 teacher 점수 증류 손실을 추가했다.
새로 알게 된 것A. 참여 유도 라벨이 붙으면 그 행동의 예측만 가중합에서 빠진다
VMRanker는 후보에 답글·공유·클릭 유도 표시가 있으면 해당 행동의 Phoenix 예측을 비우고 가중합을 계산한다 확인 —
vm-ranker/scoring/value_model.rs:214-237- 표시는 home-mixer가 실험 페이로드(후보마다 붙여 보내는 부가 정보)의
reply_ineligible,share_ineligible,click_ineligible로 싣는다. - 공유 표시는 공유, DM 공유, 링크 복사 공유 세 헤드를 함께 비운다. 좋아요 같은 다른 헤드는 그대로 남는다.
if payload.reply_ineligible { scores.reply_score = None; } if payload.share_ineligible { scores.share_score = None; scores.share_via_dm_score = None; scores.share_via_copy_link_score = None; } if payload.click_ineligible { scores.click_score = None; }- 표시는 home-mixer가 실험 페이로드(후보마다 붙여 보내는 부가 정보)의
이 처리를 켜는 스위치는 기본 off다 확인 —
vm-ranker/params.rs:327-332- 스위치는
ExcludeIneligibleEngagementHeads(rust_home_mixer_vm_ranker_exclude_ineligible_engagement_heads)다. - home-mixer가 라벨을 보내는 스위치(
VMRankerSendEngagementIneligible, 4세대+67)도 기본 off라, 두 스위치가 모두 켜져야 점수가 바뀐다. - 헤드별로 뺀 후보 수는
vm_ranker_ineligible_head_candidates_total메트릭에 남는다.
- 스위치는
테스트는 답글 표시가 있을 때 점수가 정확히 "답글 가중 × 답글 확률"만큼 줄고, 스위치가 꺼져 있으면 그대로임을 고정한다 확인 —
vm-ranker/scoring/mod.rs:482-553
새로 알게 된 것B. 48시간 안에 조회 1만 회와 좋아요 100개를 넘긴 영상만 모으는 인덱스가 생겼다
- Phoenix retrieval용 인덱스 서비스에 인기 영상 SID 인덱스(semantic ID로 포스트를 묶은 retrieval 인덱스)를 만드는 파이프라인이 추가됐다 확인 —
phoenix-rankall/src/config/mod.rs:110-128, 262- 조건은 영상 포스트이면서 조회 수 10,000 이상, 좋아요 100 이상이다. 시간창은 48시간이다.
- 최근 7일 NSFW 영상 인덱스에 든 포스트는 빼고, 2일 영상 인덱스에 든 포스트만 남긴다. 두 목록은 parquet 파일의 포스트 ID로 읽는다.
- 처리기는 새 파일
processor/sid_popular_video_processor.rs(167줄)이고, 테스트가 두 문턱 가운데 하나라도 못 넘기면 빠지는 것을 고정한다.
- 이 인덱스는 학습·조회 쪽 proto에 retrieval 데이터셋 30번(
POPULAR_VIDEO_2DAY)으로 등록됐다 확인 —recsys.proto - home-mixer는 이제 데이터셋별 top-k를 Phoenix retrieval 요청에 실을 수 있지만, 기본값이 빈 문자열이라 기본 요청은 그대로다 확인 —
params/param.rs:22-27- 형식은 "데이터셋이름=k"를 쉼표로 이은 문자열이다(
sources/phoenix_source.rs:168-175). - 인기 영상 인덱스를 실제로 조회하게 하는 기본 설정은 이 커밋에 없다.
- 형식은 "데이터셋이름=k"를 쉼표로 이은 문자열이다(
- AI 생성 영상 2일 인덱스 두 곳(작성자 표시, 모델 탐지)에서 온 후보는 별도 served type(후보가 들어온 경로 라벨)으로 표시된다 확인 —
sources/phoenix_source.rs:177-186- 라벨은
ForYouPhoenixRetrievalAiVideo이고, 선택·비선택 후보 수를PhoenixRetrievalAiVideoTweets통계로 남긴다.
- 라벨은
새로 알게 된 것C. teacher 점수는 랭킹 모델의 증류 손실로 쓰려고 남기는 것이었다
- 학습 코드가 학습 데이터의 teacher 점수 열을 읽어, 랭킹 모델 학습에 증류(distillation, 큰 모델의 예측 확률을 다른 모델이 학습 목표로 삼는 방식) 손실을 더할 수 있게 됐다 확인 —
phoenix/xrex/models/recsys_overarch_model.py:57-69- 손실 종류는 확률 BCE와 logit MSE 두 가지이고 기본은 BCE다(
recsys_distillation_loss.py). - 기본 증류 대상은 링크 열기, 광고 MMP 클릭, VQV(영상을 일정 시간 이상 실제로 본 행동) 세 행동이다(
teacher_distill.py:13). - 지정한 시간 구간에 노출된 행의 teacher 점수를 버리는 옵션(
distill_bad_spans_ms)이 있다. teacher가 잘못 동작한 기간을 빼려는 장치로 본다 추정. 근거는 이름이 bad spans라는 점뿐이다.
- 손실 종류는 확률 BCE와 logit MSE 두 가지이고 기본은 BCE다(
- 이 증류는 기본 off다 확인 — teacher 이름 기본값(
distill_teacher)이 빈 문자열이고, 이를 지정하는 학습 config가 같은 커밋에 없다. - home-mixer가 4세대+67부터 남기는 서빙 점수가 이 teacher 점수 열의 원천이라고 본다 추정. 근거는 두 경로가 모두 teacher라는 이름으로 행동별 확률을 다룬다는 점뿐이고, 둘을 잇는 로그 변환 코드는 레포에 없다.
새로 알게 된 것그 밖의 변경
- 영상 캐러셀 후보를 MoE retrieval(여러 전문가 모델을 섞은 retrieval 경로)로 들어온 영상으로만 한정하는 스위치가 기본 off로 생겼다 확인 —
params/param.rs:1538-1543 - Under the Hood(유저가 자기 계정·포스트의 라벨과 피드 점수를 보는 투명성 툴) 트레이스 카드를, 유저 설정을 끈 사람에게는 넣지 않는 스위치가 기본 off로 생겼다 확인 —
params/param.rs:817-822 - 인용 포스트 영상 길이를 TES 별도 호출 대신 이미 받은 인용 콘텐츠에서 계산하도록 바뀌었다(정책 변화 없음) 확인 —
candidate_hydrators/quote_hydrator.rs - 학습 데이터에 라이브 방송 여부 열이 붙고, immersive 지면 학습 config에 방송 포스트용 평가 지표가 켜졌다 확인 —
configs/xrecsys.py - 앱 전환 가치 라벨이 0.10달러 미만 이벤트를 세지 않고 8시간 라벨 기간을 쓰는 상수가 생겼다 확인 —
purchase_value.rs - 변경 파일 59개 가운데 계정 제재 서비스(abuse-enforcement-service) 10개와 grox 4개는 피드 랭킹과 직접 관련이 없어 목록만 확인했다 확인 — 커밋 diff
"Candidates whose reply, share or click predictions were left out of the value model because home-mixer flagged that head as ineligible" —
vm-ranker/metrics.rs메트릭 설명(코드), 2026-11-21
정본 반영 services/x.md ## 한 줄 요약의 기준 커밋을 269340c로 올렸다. Phoenix 절의 참여 유도 라벨 불릿을 "VMRanker가 해당 헤드를 뺄 수 있고 기본 off"로 다시 쓰고 home-mixer 전송 경로를 하위 불릿으로 내렸다. ### Phoenix retrieval 인덱스에 인기 영상 인덱스 불릿을, ### 학습·서빙 인프라 도입과 teacher 단락에 증류 손실 문장을 넣고 이전 추정 불릿을 확인으로 바꿨다. 캐러셀 항목과 Under the Hood 절에 기본 off 스위치 하위 불릿을 하나씩 더했고, ## 용어에 증류 행을, 출처 표와 커밋 요약표에 269340c 행을 추가했다. radar.md ARGUS 항목에 X 증류 손실 추가 근거 한 줄을 넣었다.
의미 이틀 전 추정으로 둔 두 가지가 코드로 확인됐다: 참여 유도 라벨은 해당 행동 점수를 빼는 데 쓰이고, teacher 점수는 증류 학습용이다. 둘 다 기본 off라 지금 For You 순위는 그대로다. 참여 유도 처리는 포스트 전체를 깎지 않고 유도한 행동의 몫만 없애는 방식이라, 라벨이 붙어도 좋아요·체류 예측으로 얻는 점수는 남는다.
검증에서 뒤집힌 것
- 어제 daily의 r/RedditEng 후보 두 편("Introducing a Global Retrieval Ranking Model in the Ads Funnel", "An In-Depth Look at the Notifications Recommender System")은 새 글이 아니었다. services/reddit.md 출처에 이미 2024년과 2025년 글로 올라 있고, 제3자 미러가 붙인 "며칠 전" 표기가 낡은 것이었다.
레이더
- ARGUS 광고 CTR 스레드에 X 증류 손실 추가 근거를 한 줄 넣었다.
다음에 볼 것
- 참여 유도 처리 두 스위치의 기본값 — 크론 미러에서 둘 중 하나라도 on이 되면 For You 점수가 실제로 바뀐다.
- 인기 영상 인덱스 조회 설정 — 데이터셋별 top-k 기본값에 인기 영상(30번)이 들어가는지 본다.
- 증류를 켜는 학습 config — teacher 이름을 지정하는 config가 공개되면 어떤 모델이 학생인지 확인한다. 원천 연결은 지금 추정이다.
- 오늘 확인한 다른 소스에는 창 안의 새 자료가 없었다. Meta Engineering 최신 글은 11-18, Netflix 블로그 최신 글은 11-17이었다. SEC에는 10-K·10-Q·실적 8-K 제출이 없었고, arXiv cs.IR 30건은 어제 분류한 2026-11-19 제출분까지라 새 제출이 없었다.
조회 실패: r/RedditEng RSS — 2026-11-22 HTTP 404(2026-11-13 RSS 지원 종료 공지 뒤) 조회 실패: redditinc.com/news — 이 세션의 페이지 조회 도구가 열지 못했다 조회 실패: ai.meta.com/blog — 목록 최신 글이 2026-07로 보여 일부만 로드된 것으로 보고 확인하지 못한 것으로 둔다 조회 실패: research.netflix.com/publications — HTTP 404