Sử dụng miễn phí API tương tự OpenAI bằng Groq

Vấn đề

Mấy nay bỗng nhiên trên các trang mạng xã hội của tôi xuất hiện dày đặc các tin tức về AI, về các mô hình ngôn ngữ lớn (LLMs). Chúng chủ yếu đề cập đến cách ứng dụng các mô hình ngôn ngữ trong công việc, tạo ra công cụ phục vụ cái này cái kia, và cả sự phát triển đáng ngạc nhiên của nó. Mỗi ngày thông tin cứ ào ào đến: AI đã làm được cái này, AI đã làm được cái kia… hú hồn 🫣, rồi chả mấy chốc mà AI chiếm hết công việc của loài người.

Điều đó khiến tôi dường như cũng bị cuốn hút vào cuộc chơi này. Không hẳn là "đú trend", mà vì AI bây giờ đang rất mạnh. Nhớ lại trước đây khi nhắc đến AI, đó là một cái gì rất khó tiếp cận. Các bài toán xoay xung quanh AI như xử lý ngôn ngữ tự nhiên, xử lý ảnh, phân loại… với hàng tá thuật toán phức tạp, đòi hỏi quá trình học tập và nghiên cứu không đơn hề đơn giản… Thì giờ đây, ai cũng có thể tiếp cận được lời giải chỉ bằng các mô hình ngôn ngữ lớn.

Và thế là giờ đây tôi tập trung vào AI nhiều hơn. Tôi đang nghiên cứu một vài giải pháp để tiến tới một ứng dụng tiếp theo trong sự nghiệp indie của mình. Không chắc là nó có thành công hay không nhưng rất đáng để thử vì đây cũng như một cách để học hỏi kinh nghiệm. Bây giờ chưa tiện nói ra mà chỉ có thể bật mí nó là một ứng dụng liên quan đến mạng xã hội 😄.

Thôi, quay lại nội dung chính!

Mặc dù Ollama - một công cụ hỗ trợ chạy rất nhiều mô hình ngôn ngữ chỉ bằng một dòng lệnh duy nhất mà tôi đã đề cập trong bài viết Sử dụng miễn phí mô hình ngôn ngữ lớn (LLM) tương thích ChatGPT API. Ollama là một giải pháp để thay thế việc trả tiền cho các dịch vụ tương tự OpenAI API. Nhưng Ollama không phải ai cũng dùng được do vì nó đòi hỏi một lượng tài nguyên máy tính nhất định, hay nói cách khác là bạn cần có một máy tính cấu hình cao hơn để chạy các mô hình có tham số lớn hơn.

Như tôi chẳng hạn, một chiếc Macbook không đến nỗi nào (Pro M2 😅) nhưng đành bó tay với các mô hình cỡ 70B tham số trở lên. Với các mô hình 8B, 13B thì chạy rất tốt nhưng nhiều khi mình cần mô hình mạnh mẽ hơn để thử nghiệm tính năng mới thì đành bất lực.

Thật may, trong một bài đăng trên mạng xã hội gần đây tôi đã phàn nàn về việc không biết dùng các mô hình "xịn" ở đâu thì được nhiều người gợi ý sử dụng Groq. Wow 😱!

Groq cung cấp API miễn phí từ các mô hình miễn phí. Sự khác biệt giữa Groq và Ollama đó là họ "host" các models mã nguồn mở và cho chúng ta sử dụng API miễn phí. Tất nhiên sẽ đi kèm với giới hạn về tốc độ cũng như lượng token sử dụng trong ngày. Nhưng các con số đang rất hào phóng.

Đây là danh sách các models mà Groq đang hỗ trợ Supported Models | Groq

Bạn cũng có thể gọi API để biết Groq đang mở những model nào. Tính năng này hữu ích trong trường hợp ứng dụng cần lựa chọn phiên bản của các models.

Trong tất cả models được hỗ trợ, nổi bật nhất là mô hình Llama 3.1 405B của Meta. Đây là model mới nhất của Meta với sức mạnh mà nhiều người đánh giá là ngang ngửa với gpt4. Nhưng điều đáng tiếc là do nhu cầu quá lớn nên Groq đã tạm thời tắt mô hình này, chưa có thời gian cụ thể mở lại cho người dùng.

Groq hỗ trợ API theo chuẩn của OpenAI nên rất dễ thay thế/tích hợp vào hệ thống đã có. Ví dụ một lệnh gọi API Chat completion.

import Groq from "groq-sdk";

const groq = new Groq({ apiKey: process.env.GROQ_API_KEY });

async function main() {
  const completion = await groq.chat.completions
    .create({
      messages: [
        {
          role: "user",
          content: "Explain the importance of fast language models",
        },
      ],
      model: "mixtral-8x7b-32768",
    })
    .then((chatCompletion) => {
      console.log(chatCompletion.choices[0]?.message?.content || "");
    });
}

main();

Rất giống với OpenAI phải không? Có thể thấy sự góp mặt của thư viện groq-sdk, nhưng nếu dùng thư viện openai thì vẫn được, chỉ cần thay thế baseURL lúc khởi tạo.

import OpenAI from "openai";

const openai = new OpenAI({
  apiKey: process.env.GROQ_API_KEY,
  baseURL: "https://api.groq.com/openai/v1",
});

Dưới đây là bảng giới hạn tốc độ của các models:

Ví dụ nếu dùng llama-3.1-70b-versatile thì bị giới hạn 100 lần gọi mỗi phút, hơn 14k lần gọi trong ngày với 1 triệu token…

Một điều ấn tượng là tốc độ phản hồi của Groq rất nhanh. Theo tìm hiểu thì họ dùng "Công nghệ suy luận AI Groq LPU™" - là một con chip thế hệ mới, giúp tăng tốc xử lý các tác vụ AI dựa trên ngôn ngữ. Có thể lý do cho sự miễn phí là để quảng bá công nghệ mới này.

Bạn còn nhớ NextChat chứ, hãy thử tích hợp Groq với NextChat.

Đầu tiên tạo một API keys ở trong Console API Keys

Sau đó vào NextChat > Cài đặt, thiết lập lại URL, API Key, đồng thời thêm vào một số model mới.

Mô hình llama-3.1-70b-versatile chỉ xếp sau 405B nên chắc nhiều người dùng quá, thi thoảng gọi API bị lỗi phải thử lại 1-2 lần thì mọi thứ lại hoạt động bình thường.