최근 주말에 OpenAI 창립자 일리아와의 인터뷰를 읽으며 정말 즐거운 시간을 보냈습니다. 이 일리아와의 인터뷰는 여러 번 다시 볼 가치가 있습니다. 스케일링 시대에서 연구 시대로의 전환(해시레이트 끊임없이 확장하는 것만으로는 더 큰 지능을 달성할 수 없다는 것을 강조)에 대한 이야기 ​​외에도, 가장 인상 깊었던 것은 "연구 취향"에 대한 그의 이야기였습니다. 연구 과정에서 이러한 미각은 매우 불확실한 것들을 연구할 때 자신의 미각(신념과 경험)을 활용하여 처음부터 끝까지 모든 것을 검증할 수 있게 해줍니다. AI에 대한 이러한 믿음의 핵심은 신경망의 의인화(인간 뇌의 원리)입니다. 이러한 미각 감각은 근본적인 것입니다. 실험과 신념이 일치하지 않는 경우, 때로는 데이터 자체의 버그 때문일 수 있습니다. 하지만 현재 상황과 우리가 볼 수 있는 알려진 데이터만 본다면 진정으로 올바른 길을 찾기 어려울 수 있습니다. 이러한 연구 취향은 AI LLM 연구에만 적용되는 것이 아닙니다. 사업을 시작하든, 투자를 하든, 에어드랍 에 참여하든, 신제품을 개발하든, 여러분은 매우 불확실한 상황 대면 됩니다. 여러분의 취향은 사물의 본질에 대한 근본적인 이해, 혹은 몇 가지 기본 원칙이나 기타 근본적인 차원에 달려 있습니다. 예를 들어, 제품 관리자로서 거의 아무도 사용하지 않는 기능을 발견했다면, 사용자에게 필요하지 않다고 판단하여 삭제했을 수 있습니다. 하지만 디자인에 문제가 있어서 사용자가 해당 기능을 알아차리지 못했을 가능성도 있습니다. 반대로, 제품 취향이 부족한 사람은 제한된 정보만을 바탕으로 결정을 내릴 수도 있습니다. 수년 전, 일리아는 CSDN에서 RNN을 사용하여 덧셈, 뺄셈, 곱셈, 나눗셈 계산을 수행하는 방법을 설명하는 딥러닝 관련 기사를 읽었습니다. 당시 그는 그저 놀라웠습니다. 하지만 일리아의 호기심은 덧셈, 뺄셈, 곱셈, 나눗셈을 예측할 수 있다면 더 복잡한 연산도 수행할 수 있을 것이라는 생각을 하게 했습니다. 또한 그는 신경망이 뇌 구조 시뮬레이션이라는 이론적 토대에 기반을 두고 있다는 것을 깨달았습니다. 이 두 가지 사실은 일리아가 지능형 LLM 연구를 탐구하는 데 중요한 토대를 마련했습니다.

중국어 버전 | _2024111120230_ |