원작자: David, 테크 플로우 (techflowpost)
1월 20일 오후, X는 새로운 추천 알고리즘을 오픈소스로 공개했습니다.
머스크의 답변은 꽤 흥미로웠습니다. "이 알고리즘이 멍청하고 대대적인 수정이 필요하다는 것을 알고 있지만, 적어도 우리가 실시간으로 개선하려고 애쓰는 모습을 볼 수 있습니다. 다른 소셜 미디어 플랫폼들은 감히 이런 시도를 하지 못할 겁니다."
이 성명에는 두 가지 의미가 있습니다. 첫째, 알고리즘에 문제가 있음을 인정하는 것이고, 둘째, "투명성"을 마케팅 포인트로 활용하는 것입니다.
이것은 X의 두 번째 오픈 소스 알고리즘입니다. 2023년 버전의 코드는 3년 동안 업데이트되지 않아 실제 시스템과는 동떨어져 있었습니다. 이번에는 완전히 새롭게 작성되었으며, 핵심 모델은 기존 머신러닝(ML) 에서 Grok 트랜스포머로 변경되었습니다. 공식 설명에 따르면 Grok 트랜스포머는 "수동 특징 추출 작업을 완전히 없애줍니다."
쉽게 말해서, 과거에는 알고리즘이 엔지니어의 수동적인 매개변수 조정에 의존했지만, 이제 AI는 사용자의 상호 작용 기록을 직접 분석하여 콘텐츠를 보여줄지 여부를 결정합니다.
콘텐츠 제작자에게 있어 이는 "언제 게시물을 올려야 하는가" 또는 "팔로워를 늘리기 위해 어떤 태그를 사용해야 하는가"와 같은 기존의 신비로운 방법들이 더 이상 통하지 않을 수 있음을 의미합니다.
또한 오픈 소스 GitHub 저장소를 살펴보고 AI의 도움을 받아 코드에 숨겨진 까다로운 로직이 있다는 것을 발견했는데, 이는 파헤쳐 볼 가치가 있었습니다.
알고리즘 논리의 진화: 수동 정의에서 AI 자동 판단까지
먼저 기존 버전과 새 버전의 차이점을 명확히 합시다. 그렇지 않으면 이후 논의가 혼란스러워질 수 있습니다.
2023년 트위터는 Heavy Ranker라는 버전을 오픈소스로 공개했는데, 이는 기본적으로 전통적인 머신러닝(ML) 입니다. 엔지니어들은 게시물에 이미지가 포함되어 있는지, 게시자의 팔로워 수는 몇 명인지, 게시된 시점은 얼마나 되는지, 링크가 포함되어 있는지 등 수백 가지의 "특징"을 수동으로 정의해야 했습니다.
그런 다음 각 특징에 가중치를 할당하고, 최적의 조합을 찾기 위해 여러 조합을 조정합니다.
이 새로운 오픈 소스 버전은 Phoenix라고 불리며, 아키텍처가 완전히 다릅니다. 대규모 AI 모델에 더 많이 의존하는 알고리즘이라고 생각하면 됩니다. 핵심은 Grok의 트랜스포머 모델을 사용하는데, 이는 ChatGPT와 Claude에서 사용하는 것과 같은 유형의 기술입니다.
공식 README 문서에는 "수동으로 설계된 모든 기능을 제거했습니다."라고 아주 명확하게 명시되어 있습니다.
콘텐츠 특징을 수동으로 클레임 데 의존했던 기존 규칙들은 모두 폐지되었습니다.
그렇다면 이 알고리즘은 콘텐츠가 좋은지 나쁜지를 어떻게 판단할까요?
해답은 당신의 행동 패턴 에 있습니다. 과거에 어떤 게시물에 좋아요를 눌렀는지, 누구에게 답글을 달았는지, 어떤 게시물에 2분 이상 머물렀는지, 그리고 어떤 유형의 계정을 차단했는지 등을 분석합니다. Phoenix는 이러한 행동 패턴을 변환기에 입력하여 모델이 패턴을 학습하고 요약할 수 있도록 합니다.
비유하자면, 기존 알고리즘은 각 항목에 체크 표시를 하고 점수를 매기는 수기로 작성된 채점표와 같았습니다.
새로운 알고리즘은 마치 사용자의 모든 인터넷 검색 기록을 파악한 인공지능처럼, 사용자가 다음에 무엇을 보고 싶어할지 직접 예측합니다 .
콘텐츠 제작자에게 있어 이는 두 가지를 의미합니다.
첫째, "최적의 게시 시간"이나 "골든 태그"와 같은 기존 팁은 이제 관련성이 떨어집니다. 모델이 더 이상 이러한 고정된 특징을 고려하지 않고 각 사용자의 개별적인 선호도를 살펴보기 때문입니다.
둘째, 콘텐츠 홍보가 얼마나 효과적으로 이루어질지는 "콘텐츠를 접한 사람들이 어떻게 반응하느냐"에 달려 있습니다. 이러한 반응은 15가지 행동 예측으로 정량화되었으며, 다음 장에서 자세히 살펴보겠습니다.
알고리즘이 당신의 15가지 반응을 예측합니다
Phoenix는 추천 게시물을 받으면 사용자가 해당 콘텐츠를 볼 때 보일 수 있는 15가지 가능한 행동을 예측합니다.
- 긍정적인 행동에는 좋아요, 답글, 공유, 인용, 게시물 클릭, 작성자 프로필 클릭, 동영상 절반 이상 시청, 이미지 확대, 공유, 일정 시간 동안 페이지에 머무르기, 작성자 팔로우 등이 포함됩니다 .
- 부정적인 행동 : "관심 없음"을 클릭하거나, 작성자를 차단하거나, 작성자를 음소거하거나, 신고하는 행위 등.
각 행동은 예측된 확률에 해당합니다. 예를 들어, 모델은 사용자가 이 게시물을 좋아할 확률이 60%, 이 작성자를 차단할 확률이 5%라고 판단할 수 있습니다.
그런 다음 알고리즘은 간단한 작업을 수행합니다. 이러한 확률에 각각의 가중치를 곱하고, 모두 더하여 총점을 계산합니다.
공식은 다음과 같습니다.
최종 점수 = Σ ( 가중치 × P(행동) )
긍정적인 행동에는 양의 가중치가 부여되고, 부정적인 행동에는 음의 가중치가 부여됩니다.
총점이 높은 게시물은 상단에, 총점이 낮은 게시물은 하단에 표시됩니다.
공식을 벗어나 생각해 보면, 본질적으로는 다음과 같습니다.
콘텐츠의 좋고 나쁨을 판단하는 기준은 이제 글의 완성도(가독성과 진정성은 확산에 중요한 요소임)보다는 "그 콘텐츠가 당신에게 어떤 반응을 불러일으키는지"에 더 크게 좌우됩니다. 알고리즘은 게시물 자체의 질에는 관심이 없고, 오직 당신의 행동에만 주목합니다.
이러한 관점에서 보면, 극단적인 경우엔 무례한 게시물이 거부할 수 없는 댓글과 비판을 불러일으키는 반면, 질은 높지만 아무런 반응이 없는 게시물보다 더 높은 점수를 받을 수도 있습니다. 이것이 시스템의 근본적인 논리일지도 모릅니다.
하지만 새로운 오픈소스 버전의 알고리즘은 행동 가중치의 구체적인 값을 공개하지 않지만, 2023년 버전은 공개했습니다.
이전 버전 참조: 보고서 1개 = 좋아요 738개
다음으로 2023년 데이터를 살펴보겠습니다. 오래된 데이터이긴 하지만, 알고리즘이 다양한 행동의 "가치"를 어떻게 평가하는지 이해하는 데 도움이 될 수 있습니다.
2023년 4월 5일, X는 실제로 GitHub에 체중 데이터 세트를 공개했습니다.
다음은 수치입니다.
좀 더 쉽게 말하자면:
데이터 출처: GitHub twitter/the-algorithm-ml 저장소의 이전 버전입니다. 원본 알고리즘을 보려면 클릭하세요.
몇몇 수치는 자세히 살펴볼 가치가 있습니다.
첫째, 좋아요는 사실상 가치가 없습니다. 좋아요의 가중치는 0.5에 불과하며, 모든 긍정적인 행동 중 가장 낮습니다. 알고리즘의 관점에서 좋아요는 거의 0의 가치를 지닙니다.
둘째로, 상호 작용적인 대화가 진정한 가치입니다. "댓글을 달고, 작성자가 답글을 다는 것"의 가중치는 75로, "좋아요"보다 150배나 높습니다. 알고리즘은 일방적인 "좋아요"보다 주고받는 대화를 우선시합니다.
셋째, 부정적인 피드백은 막대한 손실을 초래합니다. 한 번의 차단이나 음소거(-74)를 상쇄하려면 148개의 좋아요가 필요하고, 한 번의 신고(-369)를 상쇄하려면 738개의 좋아요가 필요합니다. 더욱이 이러한 부정적인 점수는 계정의 평판 점수에 누적되어 이후 모든 게시물의 분포에 영향을 미칩니다.
넷째, 영상 완료율에 대한 가중치가 0.005로 터무니없이 낮아 거의 무시할 수 있는 수준입니다 . 이는 완료율을 핵심 지표로 삼는 더우인과 틱톡과는 극명한 대조를 이룹니다.
공식 문서에는 또한 "파일에 있는 정확한 가중치는 언제든지 조정할 수 있습니다... 그 이후로 플랫폼 지표를 최적화하기 위해 주기적으로 가중치를 조정해 왔습니다."라고 명시되어 있습니다.
무게는 언제든지 조정할 수 있으며, 실제로 조정되었습니다.
새 버전에서는 구체적인 수치를 공개하지 않지만, README에 설명된 논리적 프레임 동일합니다. 즉, 긍정적인 점수는 더해지고, 부정적인 점수는 차감되며, 가중 합산이 수행됩니다.
구체적인 수치는 바뀌었을지 몰라도, 관계의 중요성은 여전히 변함없을 가능성이 높습니다. 누군가의 댓글에 답글을 다는 것은 좋아요 100개를 받는 것보다 훨씬 더 유익합니다. 상대방이 당신을 차단하고 싶게 만드는 것은 아예 소통이 없는 것보다 더 나쁩니다.
이 점을 알고 있다면, 우리 창작자들은 무엇을 할 수 있을까요?
트위터의 기존 및 새로운 알고리즘 코드를 분석한 결과, 몇 가지 실질적인 결론을 도출할 수 있습니다.
1. 댓글을 남긴 사람들에게 답글을 달아주세요. "댓글에 답글을 단 작가"는 가중치 표에서 가장 높은 점수(+75)를 받습니다. 이는 사용자가 일방적으로 '좋아요'를 누르는 것보다 150배나 높은 점수입니다. 그렇다고 댓글을 구걸하라는 뜻은 아닙니다. 댓글을 남긴 사람에게 답글을 달아주세요. 간단한 "감사합니다" 정도의 답글도 알고리즘에 반영됩니다.
2. 사람들이 차단하고 싶게 만드는 콘텐츠를 만들지 마세요. 차단 한 건으로 인한 부정적인 영향을 상쇄하려면 좋아요 148개가 필요합니다. 논란이 되는 콘텐츠는 쉽게 반응을 유도하지만, "이 사람 너무 짜증나, 차단해"와 같은 반응이라면 계정 평판 점수가 계속 떨어져 이후 게시물의 확산에 악영향을 미칩니다. 논란을 불러일으키는 콘텐츠는 양날의 검과 같습니다. 타인에게 피해를 주기 전에 먼저 자신에게 피해를 입게 됩니다.
3. 외부 링크는 댓글란에 넣어주세요. 알고리즘은 사용자가 사이트에서 이탈하는 것을 원하지 않습니다. 머스크 본인이 공개적으로 밝혔듯이 본문 내 링크는 불이익을 받습니다 . 트래픽을 유도하고 싶다면 본문에 내용을 작성하고 첫 번째 댓글에 링크를 남기세요.
4. 스팸 행위를 방지하세요. 새 코드에는 작성자 다양성 점수 시스템이 포함되어 있어 동일 작성자가 연속해서 게시물을 올리면 순위가 낮아집니다. 이는 사용자 피드의 다양성을 높이기 위한 것이지만, 잘 선택된 게시물 하나가 연속해서 열 개의 게시물을 올리는 것보다 훨씬 효과적이라는 단점이 있습니다.
6. 이제 "최적의 게시 시간"은 존재하지 않습니다. 기존 알고리즘에는 사용자가 직접 정의하는 "게시 시간"이라는 요소가 포함되어 있었지만, 새 버전에서는 이 부분이 제거되었습니다. Phoenix는 사용자의 행동 순서만을 분석하고 게시 시간은 고려하지 않습니다. 따라서 "화요일 오후 3시에 게시하는 것이 가장 효과적이다"와 같은 전략은 점점 더 효용성이 떨어지고 있습니다.
위 내용은 코드 수준에서 읽을 수 있는 내용입니다.
X의 공개 문서에는 이 오픈 소스 저장소에 포함되지 않은 몇 가지 가산점과 감점 요인이 있습니다. 블루 라벨 인증은 가산점을 제공하며, 모든 글자를 대문자로 사용하면 감점되고, 민감한 콘텐츠는 도달 범위를 80% 감소시킵니다. 이러한 규칙은 공개되어 있지 않으므로 자세히 설명하지 않겠습니다.
요약하자면, 이번 오픈 소스 프로젝트는 상당히 실용적입니다.
이 시스템은 완전한 아키텍처, 후보 콘텐츠 검색 로직, 순서 점수 매기기 프로세스, 그리고 다양한 필터 구현을 포함합니다. 코드는 주로 Rust와 Python으로 작성되었으며, 명확한 구조를 가지고 있고, README 파일은 많은 상용 프로젝트보다 더 자세한 내용을 제공합니다.
하지만 몇 가지 핵심 요소는 공개되지 않았습니다.
1. 가중치 매개변수는 공개되지 않았습니다. 코드에는 "긍정적인 행동은 점수를 더하고, 부정적인 행동은 점수를 차감한다"라고만 명시되어 있을 뿐, 좋아요에 대한 정확한 점수나 차단에 대한 차감 점수는 구체적으로 명시되어 있지 않습니다. 2023년 버전에서는 최소한 수치라도 공개되었지만, 이번에는 공식의 기본 프레임 제공되고 있습니다.
2. 모델 가중치는 공개되지 않습니다. Phoenix는 Grok Transformer를 사용하지만 모델의 매개변수는 표시되지 않습니다. 모델이 어떻게 호출되는지는 확인할 수 있지만 내부적으로 어떻게 계산되는지는 알 수 없습니다.
3. 학습 데이터가 공개적으로 제공되지 않습니다. 모델 학습에 어떤 데이터가 사용되었는지, 사용자 행동은 어떻게 샘플링되었는지, 긍정 및 부정 샘플은 어떻게 구성되었는지 불분명합니다.
예를 들어, 이 오픈 소스는 "총점 계산에 가중 합산 방식을 사용합니다"라고 말하면서도 가중치가 무엇인지 알려주지 않거나, "행동 확률 예측에 트랜스포머를 사용합니다"라고 말하면서도 트랜스포머의 내부 구조가 어떻게 생겼는지 알려주지 않는 것과 같습니다.
이에 비해 틱톡과 인스타그램은 이러한 세부 정보를 공개조차 하지 않았습니다. 이번에 X가 공개한 오픈소스 콘텐츠는 다른 주요 플랫폼보다 더 많은 정보를 담고 있는 것은 사실입니다. 하지만 여전히 "완전히 투명하다"고는 할 수 없습니다.
그렇다고 오픈 소스에 가치가 없다는 말은 아닙니다. 개발자와 연구자에게는 코드를 보는 것이 보지 않는 것보다 항상 낫습니다.
