설문 신호 — 물어보고, 그 답으로 랭커를 학습시킨다

참여 로그는 유저가 무엇을 했는지만 알려 준다. 설문은 유저에게 직접 묻는다. "이 포스트가 시간을 쓸 가치가 있었나", "이 영상이 네 관심사에 얼마나 맞나"라고 묻고, 그 답을 라벨로 써서 랭커를 바꾼다.

문제는 하나로 요약된다. 설문 응답은 참여 로그보다 4자릿수 이상 희소하다.

"the model has a limited number of labeled positive and negative examples for user-item pairs, accounting for less than one ten-thousandth of the total video exposures"

확인 — USM (TikTok), arXiv:2412.10674, 2024. 설문 커버리지를 숫자로 밝힌 유일한 1차 출처다.

Meta도 같은 말을 하지만 정성적으로만 한다: "User perception feedback collected using surveys are extremely sparse" 확인 engineering.fb.com, 2026-01-14.

이 정도 데이터로는 랭커를 직접 학습시킬 수 없다. 그래서 공개된 시스템은 전부 설문을 밀집 신호로 환산하는 중간 장치를 두고 있다. "설문을 랭킹에 반영한다"는 문장은 아무것도 설명하지 않는다. 그 중간 장치가 무엇인지가 이 노트의 본론이다.

방식 4가지 — 희소한 설문이 랭커를 움직이는 법

이 노트는 희소한 설문이 랭커를 움직이는 방식을 네 가지로 나눈다. 방식마다 설문이 들어가는 자리가 다르다. 그 자리는 모델 밖의 가중치, 설문 응답을 예측하는 모델, 기존 예측 위의 가벼운 레이어, 가중합 안의 헤드다 확인(아래 ①~④ 절).

각 항목의 근거는 아래 절에서 하나씩 인용한다 확인.

모델을 건드리지 않는 방식은 ①뿐이다. 나머지 셋은 모두 "설문 응답을 예측하는 함수"를 만들어 희소성을 우회한다.

②와 ③의 차이가 특히 중요하다. ②는 원시 피처에서 설문을 새로 예측한다. ③은 이미 학습된 참여 예측들 위에 가벼운 층을 하나 더한다. ③이 훨씬 적은 라벨로 수렴한다 추정(근거: 입력 차원이 헤드 개수 수준으로 줄어들고, 본 모델이 이미 표현학습을 끝냈다).

① 가중치를 설문으로 정한다 — Meta 2021

Meta는 2021년 뉴스피드 랭킹 글에서, 예측 하나하나를 얼마나 반영할지를 사람들이 설문에서 더 의미 있고 시간을 쓸 가치가 있다고 답한 행동에 맞춘다고 썼다 확인.

"the way we take each prediction into account for Juan is based on the actions that people tell us (via surveys) are more meaningful and worth their time" "People with higher correlation gain more value from that specific event, as long as we make this method incremental and control for potential confounding variables."

확인 — engineering.fb.com, 2021-01-26

설문은 value model V = Σ w·Y에서 w를 무엇으로 고르느냐에 대한 답이다. 메커니즘을 이해하는 데는 두 번째 문장이 더 중요하다. Meta가 여기서 "correlation"이라고 쓴 것은 설문 응답과 각 참여 이벤트의 상관을 재서 가중치를 조정한다는 뜻이다 추정. 즉 설문은 라벨이 아니라 가중치 캘리브레이션의 기준점으로 쓰인다. 수식도, 상관 계수도, 갱신 주기도 공개되지 않았다.

수식과 헤드 구조는 multi-task-ranking.md에, Meta 쪽 맥락은 facebook.md에 정리했다.

② 설문 응답을 예측하는 모델을 만든다 — YouTube 2021

YouTube는 시청한 영상을 별점으로 평가하는 설문을 받고, 그 응답을 모든 유저에 대해 예측하는 모델을 학습했다 확인. 가장 오래되고 가장 널리 알려진 방식이다.

• 설문은 시청한 영상을 별점으로 매기게 한다: "rate the video you watched from one to five stars" 확인
• 후속 질문은 점수가 낮을 때와 높을 때 모두 이어진다 확인.
  • 1–2점을 주면 왜 낮은지 묻는다.
  • 4–5점을 주면 이렇게 묻는다: "was it inspirational or meaningful?"
• valued watchtime은 4–5점을 준 시청만 계산한 시청 시간이다 확인.
  • YouTube의 정의는 이렇다: "the time spent watching a video that you consider valuable"
• 희소성에 대한 답은 모든 유저의 설문 응답을 예측하는 모델이다 확인.
  • YouTube는 이렇게 썼다: "we trained a machine learning model to predict potential survey responses for everyone"
• 예측이 실제 응답과 맞는지는 홀드아웃으로 상시 감시한다 확인.
  • 일부 응답을 일부러 학습에서 뺀다고 썼다: "purposely hold back some of the survey responses from the training"

확인 — On YouTube's recommendation system, Cristos Goodrow, 2021-09-15

구조적으로는 이것이 가장 과감한 선택이다. 설문을 보조 신호로 쓰지 않고, 최적화 대상 자체를 설문 예측치로 바꿨다(watchtime → valued watchtime). 대신 대리 모델이 틀리면 목적함수 전체가 틀린다. YouTube가 홀드아웃 감시를 명시하는 이유가 이것으로 보인다 추정.

모델 구조와 투입 위치(랭커의 어느 헤드인지, 가중치가 얼마인지)는 블로그에 나오지 않는다 관찰 2026-08-09. 검사한 코퍼스는 이 절이 인용한 YouTube 블로그 본문 1건이다.

③ 기존 예측 위에 정렬 레이어를 추가한다 — Meta UTIS, 2026

Meta는 본 랭킹 모델이 이미 내놓는 참여 예측들을 입력으로 받는 가벼운 정렬 레이어를 설문 응답으로 학습했다 확인. 설문은 매일 일부 시청 세션을 무작위로 골라 띄우는 한 문항짜리이고, 학습할 때는 응답을 이진화한다 확인.

확인 — Adapting the Facebook Reels RecSys AI Model Based on User Feedback, engineering.fb.com, 2026-01-14. 이 글(UTIS 블로그)은 이 저장소가 찾은 자료 가운데 설문 신호의 메커니즘을 가장 구체적으로 밝힌 1차 출처다.

UTIS는 User True Interest Survey의 약자다. 설문은 이 영상이 관심사와 얼마나 맞는지를 1–5 척도로 묻는다 확인(UTIS 블로그).

"Daily, a certain proportion of users viewing sessions on the platform are randomly chosen to display a single-question survey asking, 'To what extent does this video match your interests?' on a 1-5 scale."

핵심 메커니즘은 다음 세 문장에 담겨 있다 확인(UTIS 블로그).

"User perception feedback collected using surveys are extremely sparse but such feedback can be generalized in large scale recommendation systems using our novel model 'Perception Layer' architecture that uses existing event predictions as additional features."

"We trained a lightweight UTIS alignment model layer on the collected user survey responses using existing predictions of the main model as input features."

"The survey responses used to train our model were binarized for easy modelling and denoises variance in responses."

이 구조가 희소성 문제에 대한 답이다. 설문 모델의 입력은 원시 피처가 아니라 본 랭킹 모델이 이미 산출하고 있는 참여 예측 벡터다 확인(UTIS 블로그). 입력 차원이 헤드 개수 수준으로 줄어드니 수만 건 규모의 라벨로도 학습이 된다 추정.

또 1–5 척도를 이진화해서 응답 분산을 억제한다 확인(UTIS 블로그). 5단계 회귀를 포기하고 노이즈를 줄이는 쪽을 택한 것이다.

UTIS가 들어가는 곳은 두 군데로 나뉜다 확인(UTIS 블로그).

• 후기 랭킹 단계(LSR, Late Stage Ranking)에서 UTIS는 헤드가 아니라 value formula의 추가 입력항이다.

  "UTIS is deployed in parallel to the LSR model, providing an additional input feature into the final value formula."

• Early Stage / retrieval 단계에서는 2단 증류를 쓴다. 설문으로 LSR의 UTIS 예측을 만들고, 그 예측을 라벨 삼아 retrieval 모델을 정렬한다.

  "large sequences based on user-to-item retrieval models are aligned using knowledge distillation based objectives trained on UTIS predictions from LSR as labels."

  설문 응답이 retrieval까지 직접 가는 것은 아니다.

UTIS 블로그는 오프라인 지표 세 개와 10M+ 유저 A/B 결과를 함께 밝혔다 확인.

⚠ 이 성과 지표는 해석에 주의해야 한다. "high survey ratings +5.4%"는 높은 평점 응답이 5.4% 늘었다는 뜻이고(낮은 평점은 6.84% 줄었다), 이 모델은 바로 그 설문을 예측하도록 학습됐다. 목적함수와 평가지표가 같은 대상을 재고 있다. 이 순환을 벗어나는 근거는 engagement +5.2%가 같이 올랐다는 데 있다. 설문 최적화가 참여를 줄이지 않았다는 뜻이다 추정.

⚠ 오프라인 baseline이 무엇인지 밝히지 않았다. accuracy 59.5%의 비교 대상이 "설문 헤드 없는 본 모델"인지 "다수 클래스 예측"인지 글에 나오지 않는다 관찰 2026-08-09(UTIS 블로그 본문 1건).

④ 헤드로 넣되 "누가 답하는가"를 보정한다 — TikTok USM, 2024

TikTok USM은 설문 응답 예측을 참여 헤드와 나란히 최종 점수의 가중합에 넣는다 확인. 그리고 유저가 설문에 답할 확률을 따로 예측해, 누가 답하는가에서 생기는 응답 편향을 보정한다 확인.

확인 — USM: Unbiased Survey Modeling for Limiting Negative User Experiences in Recommendation Systems, TikTok, 2024

• 설문은 2종이다 확인.
  • Satisfaction은 3점 척도다: "I like it" / "Neither like nor dislike it" / "I don't like it"
  • Inappropriate는 사유를 고르게 한다: sexually suggestive, disgusting, hateful, violent, spammy, uninteresting
• 설문 예측은 참여 헤드와 나란히 가중합에 들어간다 확인. 결합식이 공개된 유일한 사례다 확인.
  • 결합식은 final_s(item) = Σ wᵢ·p(surveyᵢ) + other_s(item)이다.
• 핵심 기여는 응답 편향 보정이다 확인. 별도의 survey-submit model이 응답 확률을 예측하고, 1/P(ans|ss)로 샘플에 IPW(응답 확률의 역수로 샘플에 가중을 주는 보정)를 적용한다 확인.
  • 출발점은 이 문장이다: "users' willingness to answer and submit the survey is not uniform"
• 온라인 성과로는 신고, 싫어요, 설문 부적절 응답률이 모두 줄었다 확인.
  • reports −1.75%, dislikes −2.57%, survey inappropriate rate −2.06%

①②③이 다루지 않는 문제를 여기서만 다룬다. 설문에 답하는 사람은 무작위 표본이 아니다. 화난 사람이 더 많이 답한다면 설문 모델은 불만을 과대추정한다. Meta UTIS 글에도 YouTube 블로그에도 이 보정에 대한 언급이 없다 관찰 2026-08-09(검사한 코퍼스: 두 블로그 본문 2건).

↑ 목차

X — 설문 프롬프트는 있는데, 랭킹으로 가는 경로가 안 보인다

X는 For You 타임라인에 설문 프롬프트를 실제로 노출한다. 그런데 공개 코드에서는 그 응답이 랭커로 전달되는 연결 경로를 찾을 수 없다. X가 설문을 랭킹에 쓰는지는 단정할 수 없고, 공개된 것은 수집 장치뿐이라고만 말할 수 있다 추정.

공개 코드에는 설문 프롬프트를 띄우고 노출을 세는 장치가 있다 확인(아래 목록). the-algorithm 항목은 twitter/the-algorithm의 2025-09-03 커밋(c54bec0) 기준이다.

• For You에는 설문 프롬프트 전용 후보 파이프라인이 있다 확인 — the-algorithm, ForYouRelevancePromptCandidatePipelineConfig.scala.
  • 후보 ID는 문자열 리터럴 "feed-survey-prompt"이다(:55).
• 클라이언트 이벤트에는 이 프롬프트의 컴포넌트명과 액션이 정해져 있다 확인 — the-algorithm, ClientEventsBuilder.scala:54,60,113-114.
  • 컴포넌트명은 "for_you_survey_feed"이고, 액션은 "served_prompts"다.
• 프롬프트 UI는 제목, positive / negative / neutral 3버튼, 자유 텍스트 후속 입력, 표시 타입 4종으로 이루어진다 확인 — the-algorithm.
  • 근거 파일은 RelevancePromptFollowUpFeedbackType.scala와 RelevancePromptDisplayType.scala다.
  • 자유 텍스트 후속 입력은 RelevancePromptFollowUpTextInput이다.
  • 표시 타입은 Normal / Compact / Large / ThumbsUpAndDown이다.
• 노출 빈도 상한과 삽입 위치가 파라미터로 명시되어 있다 확인 — the-algorithm, ForYouParam.scala:568-585.
  • 최소 삽입 간격 for_you_relevance_prompt_min_injection_interval_minutes는 default 1440분 = 24시간이다(min 0 / max 144000분 ≈ 100일).
  • 삽입 위치 for_you_relevance_prompt_position은 default 15다.
• 마스터 스위치는 기본으로 꺼져 있고, 질문과 버튼 문구는 레포에 없다 확인 — the-algorithm.
  • 마스터 스위치 for_you_relevance_prompt_enable은 default false다(:562-566).
  • 질문과 버튼 문구 4종은 전부 default ""다(:587-609).
  • 이 레포의 일관된 패턴(값은 런타임, 형태만 코드)과 같다.
• 2026 Rust 세대도 이 프롬프트를 여전히 요청한다 확인 — xai-org/x-algorithm, home-mixer/sources/prompts_source.rs.
  • PromptsSource가 supported_prompt_types에 PromptType::RELEVANCE_PROMPT를 넣어 보낸다.

공개 코드에 없는 것은 다음 세 가지이고, 이 절의 결론은 여기에 있다 확인(아래 목록).

1. 홈 타임라인 응답은 학습 신호 스트림(UUA)으로 구조화되지 않는다 확인.
   • BaseFeedbackSubmitClientEvent는 eventNamespace.page로 분기하는데, case "search" 하나만 처리하고 나머지는 case _ => None으로 버린다(:16,39).
   • 구조화되는 것은 검색 결과 페이지의 두 모듈뿐이다. relevance_prompt_module은 TweetRelevantToSearch로, did_you_find_it_module은 DidYouFindItSearch로 구조화된다.
2. 홈 쪽 로깅은 "몇 개를 표시했는가"만 센다 확인 — ClientEventsBuilder.scala:113-114.
   • eventValue = count(relevancePrompt)이므로, 기록되는 것은 응답 내용이 아니라 노출 카운트다.
3. 랭커에 설문 헤드가 없다 확인 — multi-task-ranking.md.
   • Phoenix는 X의 트랜스포머 랭커이고, Navi는 2025 Scala 세대의 프로덕션 heavy ranker다.
   • Phoenix 공개 체크포인트 19개, 프로덕션 22개, 2025 Navi 15개를 확인했다.
   • 어느 목록에도 설문 계열 헤드가 없다.

X는 설문을 랭킹 라벨이 아니라 제품 지표나 수동 분석용으로 쓰고 있거나, 소비 경로가 공개 범위 밖에 있다 추정. 근거는 위 3가지의 조합이다. "X는 설문을 랭킹에 쓴다"고도 "안 쓴다"고도 단정할 수 없다. 공개된 것은 수집 장치뿐이라고만 말할 수 있다.

지면과 랭커 맥락은 x.md에 정리했다.

↑ 목차

Netflix — 설문이 아니라 명시적 평점, 그리고 온보딩 취향 조사

Netflix의 공개 자료는 랜덤 표본 설문이 아니라 모든 유저가 언제든 누를 수 있는 제품 컨트롤(별점 → thumbs → two thumbs up)을 다룬다 추정. 이 노트의 주제와는 구조가 다르다. 희소하지만 무작위가 아니고, 응답 편향의 성격도 다르다.

아래 1차 출처는 2026-08-09 갱신에서 확보했다. 이전 판의 "no primary source found"에서 승격한 것이다.

• 2017년 별점에서 thumbs로 전환한 발표는 버튼의 의미를 랭킹 동작으로 정의한다 확인 — Goodbye Stars, Hello Thumbs, about.netflix.com.
  • thumbs up은 "비슷한 것 더 추천", thumbs down은 "그만 추천"이다.
  • 별점 대비 평점 활동이 200% 증가했다. 척도를 낮출수록 응답이 늘어난다는 실측이다.
  • UTIS의 이진화, YouTube의 4–5점 축약과 같은 방향의 선택을 제품 레벨에서 한 것이다.
• 같은 발표는 % Match를 "시청 습관·행동 분석만으로" 산출되는 표시용 점수로 설명한다. 명시 평점은 추천의 입력이고 화면의 퍼센트는 시청 행동만으로 계산한다는 분리로 읽힌다 추정. 원문은 이 분리를 직접 말하지 않는다.
• 2022년의 Two Thumbs Up은 "정말 좋았음"을 별도 신호로 삼아 추천에 더 강하게 반영한다 확인 — 발표.
  • 3단계 명시 척도를 복원한 것이다(별점 5단계 → 이진 → 3단계).
• 가입할 때 좋아하는 타이틀을 고르게 하는 명시적 취향 조사(온보딩 타이틀 픽커)가 2015 논문부터 현행 헬프 문서까지 이어진다 확인 — TMIS 2015 §5.5, help.netflix.com.
  • 선택사항이고, 건너뛰면 "다양하고 인기 있는" 기본 셋으로 시작한다.
  • 콜드스타트에 한정된 elicitation(선호를 직접 물어 수집하는 것) 방식이다.
  • 이 노트의 네 방식 어디에도 속하지 않는 콜드스타트 elicitation이다. ②는 설문 응답을 예측하는 대리 모델을 전 노출에 적용하는 방식이라 이것과 다르다.

랜덤 표본 설문(UTIS류)을 랭킹 라벨로 쓴다는 1차 출처는 여전히 없다 추정. 검사한 코퍼스는 netflixtechblog.com과 about.netflix.com의 추천 관련 글(2026-08-09 열람)이고, 미공개 자료까지 없다는 근거는 아니다.

2024 장기 만족 블로그의 보상 함수 r=f(play, complete, thumb)에 thumb이 항으로 들어 있어, 명시 평점이 랭킹에 쓰인다는 사실은 확인된다 확인 — netflix.md.

유사 기능(Meta의 Show more/less, X의 not_interested)은 설문이 아니라 유저 컨트롤로 분류하는 게 맞다. facebook.md의 "유저 컨트롤" 절에 정리했다.

↑ 목차

Meta 자체 문서 간 불일치 — Reels

UTIS 블로그는 Facebook Reels를 명시하는데, Facebook Reels system card에는 "survey"라는 단어가 한 번도 나오지 않는다. system card는 Meta의 규제 대응 공개 문서다. 카드가 나열하는 예측 태스크 10개(시청시간, 풀스크린 진입, 완주, 건너뛰기, like, hide, "see less" 요청, 세션 시작, 다음 릴 이동 등)는 전부 참여 행동이거나 부정 행동이고, 설문 항목은 없다.

관찰 2026-08-09 — 검사한 코퍼스는 fb-reels system card 본문 1건(최종 갱신 2026-06-19)이고, 여기에 survey 문자열이 0회 나온다. 대조 대상은 UTIS 블로그 2026-01-14 글이다.

⚠ 카드 인용에는 유효기간이 있다는 점에 주의해야 한다. facebook.md의 "system card 인용의 유효기간" 절에 정리했다.

두 가지 해석이 가능하고, 둘을 구분할 근거는 없다 추정.

• UTIS는 헤드가 아니라 value formula의 추가 입력항이라서 "예측 태스크" 목록에 들어가지 않는다는 해석이다. 블로그 서술과 일관된다.
• system card가 갱신 시점 기준으로 아직 반영하지 않았다는 해석이다.

이 저장소 규칙의 실전 사례다. 엔지니어링 블로그가 규제 공개 문서보다 앞서 있고, 두 문서를 합쳐야 전체 구조가 드러난다. 규제 문서를 정본으로 삼으면 UTIS가 전혀 보이지 않는다.

↑ 목차

이 케이스에서 일반화할 수 있는 것

설문 신호에 대한 서술은 설문이 랭커의 어느 자리에 들어가는지를 밝혀야 정보가 된다. 희소성 해법을 공개한 세 서비스는 모두 설문을 예측하는 함수를 만들었고, 응답 편향까지 보정하는 곳은 TikTok 하나다.

• "설문을 랭킹에 쓴다"는 문장은 정보를 담고 있지 않다. 네 방식이 전부 다른 시스템이다.
  • 네 방식은 가중치를 정하는 ①, 대리 모델을 만드는 ②, 기존 예측 위에 추가하는 ③, 헤드로 넣는 ④다.
  • 어느 쪽인지 밝히지 않은 서술은 인용할 가치가 없다.
• 희소성 해법은 결국 "설문을 예측하는 함수"다. 라벨이 0.01% 미만이면 직접 학습이 불가능하므로, 전 노출에 적용할 수 있는 밀집 예측치로 환산한 뒤 그것을 랭킹에 넣는다. 세 서비스가 독립적으로 같은 형태에 도달했다.
• 입력을 본 모델의 출력으로 잡으면 라벨이 훨씬 적게 든다. Meta UTIS의 핵심이 이것이고, 이 선택이 "경량 레이어"를 가능하게 한다.
  • 반대로 대리 모델을 원시 피처에서 새로 학습하면(YouTube 방식) 데이터가 더 필요하고, 목적함수 전체가 그 모델에 의존하게 된다.
• 응답 편향을 다루는 곳이 하나뿐이다. TikTok만 submit propensity(설문 제출 확률)를 IPW로 보정한다. 설문 기반 지표를 비교할 때는 이 보정이 있는지 확인해야 한다.
• 설문 최적화 성과는 설문 지표로 보고되므로 순환이다. 이 순환을 벗어난 근거는 참여나 integrity 같은 다른 종류의 지표가 같이 개선됐는가에만 있다.
• 1–5 척도는 그대로 쓰이지 않는다. Meta는 이진화하고, YouTube는 4–5점만 valued로 계산한다. 5단계 순서 정보는 둘 다 버린다.
• 설문 프롬프트가 코드에 있다고 해서 랭킹 신호라는 뜻은 아니다. X가 정확히 그런 경우다. 수집 장치와 소비 경로를 따로 확인해야 한다.

↑ 목차

누가 이걸 쓰는가

이 노트가 다룬 곳 가운데 설문을 랭킹에 쓰는 방식까지 공개한 곳은 Meta, YouTube, TikTok이다 확인(방식 4가지). X는 수집 장치만 공개했고, Netflix의 1차 자료는 랜덤 표본 설문이 아니라 명시 평점을 다룬다 추정(X 절, Netflix 절).

• Facebook / Meta는 설문 운용을 가장 자세히 공개했다 확인 — facebook.md.
  • 2019-05에 설문을 도입했다: 친한 친구 목록, "worth your time", Page 관심도, Group 중요도.
  • 2021-01에는 가중치 w를 정하는 근거를 밝혔다.
  • 2021-04에 inspirational, 토픽 관심, angry 반응 많은 포스트로 확장했다.
  • 2026-01에 UTIS를 공개했다.
  • 지면 맥락과 value model은 facebook.md에 정리했다.
• X는 For You에 feed-survey-prompt를 서빙하는 파이프라인을 실제로 갖고 있고, 이 파이프라인은 2026 세대에도 남아 있다 확인(수집) — x.md.
  • 다만 응답이 랭킹으로 가는 경로는 공개 코드에 없다 추정(소비 부재).
• YouTube는 1–5점 설문으로 대리 모델을 학습하고 valued watchtime을 목적함수로 삼는다. 이 저장소에 서비스 노트는 없다 확인.
• TikTok은 설문 헤드를 가중합에 직접 넣고 응답 편향을 IPW로 보정한다. 이 저장소에 서비스 노트는 없다 확인.
• Netflix는 랜덤 표본 설문의 1차 출처가 없는 대신, 명시 평점의 1차 출처가 가장 충실하다 확인 — netflix.md.
  • 1차 출처가 있는 것은 다음 셋이다.
    • thumbs(2017, 활동 200% 증가)
    • two thumbs(2022)
    • 온보딩 타이틀 픽커(2015~현행)
  • thumb이 보상 함수의 항이라는 사실도 확인된다.

↑ 목차

아직 확인하지 못한 것

UTIS의 내부 구조와 가중치, Meta의 설문 샘플링률과 응답 편향 보정 여부, YouTube 대리 모델의 투입 위치는 이 노트가 본 자료에서 확인하지 못했다.

• Meta의 설문 샘플링률. 공개된 표현은 "a certain proportion of users viewing sessions" 하나뿐이다. TikTok의 < 1/10,000에 대응하는 Meta 수치가 없다.
• UTIS alignment layer의 실제 구조. 레이어 수, 입력으로 쓰는 예측 헤드가 몇 개인지, 학습 주기가 어떻게 되는지는 블로그에 없다.
• UTIS가 value formula에 들어갈 때의 가중치. Meta는 어느 문서에서도 w 실값을 공개한 적이 없다(facebook.md).
• Meta가 응답 편향(누가 설문에 답하는가)을 보정하는지 여부. 언급 자체가 없다.
• YouTube 대리 모델이 랭커의 어느 단계에 들어가는가. 헤드인지 별도 모델인지, valued watchtime이 리트리벌까지 내려가는지 확인하지 못했다.
• 2021 Meta 블로그의 "correlation" 방법론. 설문 응답과 참여 이벤트의 상관을 어떻게 재고 얼마나 자주 갱신하는지 확인하지 못했다.
• Instagram / Threads의 설문 운용 여부. 두 서비스 노트(instagram.md, threads.md)에는 설문을 랭킹에 쓴다는 1차 출처가 없다. instagram.md가 정리한 Instagram의 가중치 결정 방법은 offline replay·tuning과 Bayesian optimization이다.

↑ 목차

출처

• Adapting the Facebook Reels RecSys AI Model Based on User Feedback — 2026, 블로그(engineering.fb.com). UTIS를 다뤘고, 설문 신호의 메커니즘을 가장 구체적으로 밝힌 1차 출처다.
• How machine learning powers Facebook's News Feed ranking algorithm — 2021, 블로그. 설문으로 value model 가중치를 정한다는 유일한 서술이 담겨 있다.
• Using Surveys to Make News Feed More Personal — 2019, 블로그(뉴스룸). 설문 4종을 도입했다.
• Incorporating More Feedback Into News Feed Ranking — 2021, 블로그(뉴스룸). inspirational, 토픽, angry로 확장했다.
• Facebook Reels system card — 2026-06-19 갱신, 규제 대응 문서. 설문 언급이 0회다.
• On YouTube's recommendation system — 2021, 블로그(Cristos Goodrow). 1–5점 설문과 valued watchtime, 대리 모델을 설명한다.
• USM: Unbiased Survey Modeling for Limiting Negative User Experiences in Recommendation Systems — 2024, 논문(TikTok). 설문 커버리지 수치와 결합식이 나오는 유일한 출처다. PDF가 아니라 HTML 판을 읽었다.

Netflix (1차)

• Goodbye Stars, Hello Thumbs — 2017, 발표. thumbs의 의미 정의와 활동 200% 증가, % Match를 다룬다.
• Two Thumbs Up, Even Better Recommendations — 2022, 발표.
• The Netflix Recommender System (TMIS) §5.5 — 2015, 논문. 온보딩 타이틀 픽커를 설명한다.
• How Netflix's recommendations system works — 현행 헬프 문서. 픽커가 존속한다는 사실을 확인했다.

2차 (참고용 — 1차 확보로 강등 해제)

• Variety — Netflix Launches 'Two Thumbs Up' · TechCrunch — 2022, 보도. 2021 하반기 글로벌 테스트 시점처럼 1차에 없는 세부 사항만 참고한다.

공개 소스코드

• twitter/the-algorithm — 2025-09-03 커밋 c54bec0. ForYouRelevancePromptCandidatePipelineConfig.scala, ForYouParam.scala:562-609, ClientEventsBuilder.scala:54-114, BaseFeedbackSubmitClientEvent.scala, ItemTypeFilterPredicates.scala, RelevancePrompt*.scala.
• xai-org/x-algorithm — 2026, home-mixer/sources/prompts_source.rs.

↑ 목차