66B là một mô hình ngôn ngữ quy mô lớn, có thể xử lý nhiều tác vụ ngôn ngữ tự nhiên, từ sinh văn bản cho đến trả lời câu hỏi và tóm tắt tài liệu. Nó được xây dựng dựa trên kiến trúc Transformer, với 66 tỷ tham số, cho phép biểu diễn ngữ cảnh phức tạp và độ trễ thấp trên nhiều tác vụ.
Mô hình sử dụng các lớp Transformer đa tầng, với cơ chế self-attention mở rộng và kỹ thuật tối ưu hóa như RLHF hay fine-tuning trên tập dữ liệu đa ngôn ngữ. 66B có cân bằng giữa hiệu suất và chi phí, cho phép tích hợp vào hệ thống sản phẩm AI mà không yêu cầu tài nguyên cực kỳ đắt đỏ.
Quá trình huấn luyện 66B dựa trên một tập dữ liệu đa dạng gồm văn bản từ sách, bài viết, và web crawl, được làm sạch theo tiêu chuẩn chất lượng cao. Giao thức bộ nhớ và param tuning giúp ổn định quá trình huấn luyện, hạn chế thiên vị và tăng độ tin cậy của đầu ra. Tiềm năng của 66B được đánh giá qua nhiều bài toán NLU và NLG.
Với 66B, người dùng có thể thực hiện soạn thảo văn bản, trả lời câu hỏi, tóm tắt tài liệu, và hỗ trợ sáng tạo nội dung. Tuy nhiên, người dùng nên lưu ý đến cách kiểm tra và đánh giá đầu ra, vì mô hình có thể phóng đại thông tin hoặc tạo sự thiếu chính xác trong các ngữ cảnh nhạy cảm. Các ứng dụng doanh nghiệp có thể gồm trợ lý ảo, tạo nội dung tự động, và phân tích tài liệu.