Token thực chất là gì? Một khóa học nhập môn không thể bỏ qua để hiểu về Trí tuệ nhân tạo. 1. Các mô hình AI lớn đơn giản là không thể xử lý trực tiếp văn bản thô mà chúng ta nhập vào. Bước đầu tiên trong việc xử lý tất cả nội dung là chuyển đổi văn bản thành các token. 2. Nói một cách đơn giản, token là đơn vị xử lý nhỏ nhất mà văn bản được chia nhỏ trước khi đưa vào mô hình. 3. Một token có thể là cả một từ, một phần của từ, một dấu chấm câu, hoặc thậm chí chỉ là một khoảng trắng. 4. Các từ thông dụng thường được tách thành một từ đơn, trong khi các từ dài hoặc ít dùng thường được chia thành các đoạn nhỏ hơn. Ví dụ, từ "encoding" trong tiếng Anh được tách thành hai phần: encode và -ing. 5. Dưới đây là tham khảo chuyển đổi chung: 1 token xấp xỉ tương đương với 4 ký tự tiếng Anh, hoặc 3/4 từ tiếng Anh; tuy nhiên, con số này không cố định và sẽ thay đổi tùy thuộc vào ngôn ngữ và công cụ phân tách token. 6. Quy trình xử lý hoàn chỉnh như sau: Đầu tiên, văn bản được phân đoạn và chuyển đổi thành các token. Sau đó, mỗi token được ánh xạ tới một ID số tương ứng. Tiếp theo, các ID được chuyển đổi thành các vectơ mà mô hình có thể nhận dạng. Chỉ sau khi hoàn thành ba bước này, mô hình mới chính thức bắt đầu xử lý nội dung của bạn. 7. "Cửa sổ ngữ cảnh", mà mọi người thường nghe đến, cũng được đo bằng token — số lượng token tối đa mà một cửa sổ có thể chứa sẽ quyết định trực tiếp lượng nội dung mà mô hình có thể "ghi nhớ" trong một cuộc hội thoại lần. 8. Cuối cùng, và đây là điều chắc chắn ai cũng quan tâm: Token cũng là đơn vị tính toán cốt lõi cho trí tuệ nhân tạo tạo sinh. Số tiền chúng ta chi cho AI đều quyết toán dựa trên số lượng Token đã sử dụng. Những gì tôi vừa đề cập chỉ là phần nổi của tảng băng trôi; logic cơ bản đằng sau Token thú vị hơn nhiều so với bạn nghĩ.