66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các tác vụ AI khác dựa trên dữ liệu huấn luyện.
Kiến trúc dựa trên khung transformer với nhiều lớp tự chú ý và các khối feed forward sâu. Mô hình có một bộ từ vựng lớn, cơ chế học liên kết ngôn ngữ và tối ưu cho tính di động trên nhiều ngôn ngữ.
Hiệu suất được đánh giá bằng perplexity, thông lượng và mức tiêu thụ bộ nhớ. Các kỹ thuật tối ưu hóa gồm giảm dung lượng precision, lượng tham số sparse, và tối ưu hóa bộ nhớ tĩnh.
66B được huấn luyện trên một tập dữ liệu đa ngôn ngữ, kết hợp văn bản nhiều domain và mã nguồn để cải thiện khả năng hiểu và tạo văn bản trên nhiều ngữ cảnh.
Trong thực tế, 66B có thể hỗ trợ viết nội dung, tóm tắt văn bản, trả lời câu hỏi, trợ giúp lập trình và phân tích ngôn ngữ tự nhiên trong nhiều ngành nghề.