Gemma (Gemini), mã nguồn mở AI của Google miễn phí nhưng… “rất đắt”.
Có câu chuyện kể rằng, anh CEO yêu cầu đội dev dựng một server để chạy mã nguồn mở mistral/meta llama 2 vì thấy chi phí để trả Open AI đã lên tới gần $700/tháng.
Sau khi dựng môi trường, cấu hình đầy đủ và chạy thử, đội dev báo lại CEO chi phí dự tính để phục vụ tối đa 1000 người, mất tầm $5000/tháng. Tốc độ sẽ không nhanh, chất lượng muốn tốt và xịn như chatgpt phải fine-tune dataset riêng tốn thêm chi phí train, model finetune ngót thêm ít nhất $2000 cơ bản và chi phí khác.
Wow, rõ là đắt luôn và không có tính kinh tế gì cả. Đó chỉ là case của một công ty nhỏ, lượng request/phút không cao, nhưng cứ tính công ty có 3000, 5000 khách hàng thì số tiền bạn đốt còn nhiều gấp mấy lần kiếm được.
Đó là lý do anh CEO vẫn phải tiếp tục phát triển sản phẩm theo hướng tích hợp API, để dành tâm trí, nguồn lực cạnh tranh bằng mô hình kinh doanh, chất lượng phục vụ chứ không phải lo nghĩ chuyện cấu hình hạ tầng nữa.
Đây là câu chuyện có thật, chi phí cụ thể có thể không tuyệt đối nhưng cũng thấy rằng, open source thực sự rất đắt nếu để phục vụ nhiều request/minute (lượt yêu cầu/phút).
Nếu là cá nhân và startup nhỏ, nhìn cấu hình sẽ rất cần hạ tầng mạnh để chạy quy mô request lớn.
Câu hỏi khác là: nếu xét về tính kinh tế và tính hiệu quả, bỏ qua yếu tố tự hào dân tộc, thì các tập đoàn bigtech VN hoàn toàn có thể fine-tune mã nguồn mở Gemma thay vì mất thời gian xây dựng từ đầu.
Cấu trúc Gemma xịn, đa phương thức. Quan trọng: Data vẫn nằm lại quốc gia.
Phải chăng việc nghiên cứu khoa học, tự xây dựng model AI riêng cũng là cách tuyển dụng và bồi dưỡng nhân tài.
Chỉ lo là, các mã nguồn mở ngày càng mạnh, chi phí giảm, cấu trúc tốt, chất lượng tốt thì các big tech trong nước có nuôi lâu dài được lực lượng nhân sự/nhà nghiên cứu nếu bản thân model/sản phẩm “cây nhà lá vườn” không thể bán hay thương mại hoá. Các ông chủ có tiếp tục dấn thân mảng AI nếu chỉ đơn giản là tôi muốn xài cái tôi trồng được.
Cuối cùng thì làm nghiên cứu giỏi nhưng phải thương mại được, sau đó có tiền đầu tư quay lại cơ bản nhiều khi là lối đi tốt hơn, như chính cách Open AI đã dùng mã nguồn mở Transformer (cũng thuộc Google) để đánh lại Google và dẫn đầu cuộc chơi cho tới tận hôm nay.
- bài viết trên facebook