Tích hợp ChatGPT vào dịch bài viết trong AdminCP

Vấn đề

Tuần trước tôi vừa phát hành tính năng đa ngôn ngữ cho trang web. Bạn biết đấy, mỗi một tính năng được thêm vào thì sẽ khiến cho tôi cần bỏ ra thêm thời gian để vận hành. Sau khi đưa tính năng đó vào chạy thật, tôi đã dành nguyên một ngày trời để sao chép lại các bài viết, bỏ vào ChatGPT nhờ nó dịch, sau đó đưa lại vào nội dung của bài viết tiếng Anh, chỉnh sửa lại định dạng nếu có sai sót… rồi xuất bản bài viết đó. Nghe thì có vẻ đơn giản nhưng đó thực sự là cơn ác mộng với lập trình viên. Ồ hóa ra mình đang làm việc thay cho những dòng code.

Nghĩ vậy, tôi cần làm gì đó để tối ưu công việc này, hay chí ít là không lặp lại nó một cách nhàm chán. Thế thì chỉ còn mỗi cách là tìm kiếm một nhà cung cấp dịch vụ nào cho phép gọi API của ChatGPT, tích hợp vào trang quản trị của mình và viết mã sao cho nó dịch được trực tiếp bài viết tiếng Việt thành phiên bản tiếng Anh. Hmm… nhưng như thế thì có khả năng mình phải chi ra một khoản tiền.

Vậy còn cách nào nữa hay không?

Tìm hiểu

Như mọi người biết, ChatGPT cho phép chúng ta sử dụng miễn phí tại trang của họ. Muốn hỏi gì, tìm gì thì cứ lên đó chat, không bị dính bất kỳ giới hạn nào, chỉ có một lưu ý là thời gian phản hồi sẽ chậm hơn mỗi khi vào giờ cao điểm, nghĩa là lượng người dùng tăng lên đột xuất.

ChatGPT cũng cung cấp dịch vụ API. Thay vì vào trang web của họ thì giờ đây chỉ cần gọi trực tiếp API. Điều này mang lại nhiều giá trị vì nếu tích hợp được ChatGPT vào hệ thống, nhiều dịch vụ sẽ trở nên “thông minh” hơn theo đúng nghĩa đen. Hãy tưởng tượng chỉ cần ra lệnh cho hệ thống, một số công việc được hoàn thành một cách tự động thì nhàn hạ biết bao nhiêu.

Về giá cả, tùy vào model sử dụng mà sẽ có cách tính phí khác nhau. Ví dụ dưới đây là bảng giá của GPT-3.5 Turbo.

Với 4K context, mỗi 1K tokens đầu vào (nghĩa là độ dài câu hỏi) có giá 0.0015$. Tokens theo họ có thể hiểu theo đơn vị là “từ”, 1K Tokens có thể tương đương với 1.000 từ. Trong đó 4K và 16K đại diện cho sự hiểu biết của ChatGPT. Nghĩa là context càng lớn thì ChatGPT càng “hiểu sâu biết rộng”.

Nếu tính sơ sơ, 1 bài viết của tôi khoảng 1K - 1,5K từ, nếu gọi API thì bao nhiêu lâu để cho đến 1$!?

Nhưng sự thật là ChatGPT API chưa thể thanh toán tại Việt Nam, vì thế ước muốn cũng chỉ là ước muốn. Ý tưởng ban đầu của tôi là làm cách nào để Crawl lại được dữ liệu phản hồi từ trang chat của ChatGTP. Thuật ngữ Crawl này xuất phát từ rất lâu rồi, nó rất thích hợp trong trường hợp nhà cung cấp dịch vụ nào đó không cung cấp API. Tuy nhiên điểm trừ của phương pháp này là thiếu sự ổn định. Hơn nữa ChatGPT cũng cao tay hơn một bước khi họ tích hợp Cloudflare Turnstile - một dịch vụ Captcha ngăn chặn hành vi Crawl dữ liệu đến từ Cloudflare.

Chẳng lẽ bó tay? Tôi lang thang trên Github để tìm kiếm sự trợ giúp của “đồng nghiệp” khắp nơi trên thế giới và vô tình khám phá ra được một repository transitive-bullshit/chatgpt-api này.

Nếu nhìn sơ qua chúng ta thấy đây là một công cụ cho phép chúng ta tương tác với ChatGPT thông qua CLI hoặc Node.js, đặc điểm của nó là cần cung cấp một OPENAI_API_KEY, đó cũng chính là cái key để OpenAI tính tiền bạn gọi api của họ đấy, mà tôi thì đâu có!

Nhưng “magic” xuất hiện ở phía cuối, có một hàm ChatGPTUnofficialProxyAPI cho phép chúng ta tương tác với chatGPT thông qua Access Token (AC). mà AC thì dễ rồi, có thể lấy thông qua Dev Tools của trình duyệt hoặc chỉ cần truy cập thẳng vào URL https://chat.openai.com/api/auth/session này để trích xuất thông tin.

Nhưng mỗi AC là chưa đủ, như đã nói ở đầu bài, ChatGPT còn có sự bảo hộ của Turnstile, vì thế muốn sử dụng AC này cần có sự xuất hiện của một Proxy Server - Hiểu đơn giản bằng cách nào đó, server này “bypass” được Turnstile, cầm AC tương tác với ChatGPT thay cho bạn. Tài liệu có liệt kê 2 tác giả “hào phóng” dựng server miễn phí cho mọi người sử dụng, kèm với một vài hạn chế về Rate Limits.

Tất nhiên, cái nào cũng có mặt lợi hại của nó. Chính tác giả của repos trên cũng cân nhắc việc xóa bỏ ChatGPTUnofficialProxyAPI trong tương lai vì nhiều nguyên nhân. Một phần trong đó là tính ổn định và khả năng bảo mật thông tin.

Nhưng sau cân nhắc, tôi vẫn quyết định sử dụng công cụ này.

Quá trình

Nếu thư viện hoạt động như dự tính, tôi sẽ tạo ra một máy chủ cục bộ trên máy của mình để sử dụng cho tính năng dịch bài tự động, đầu vào là nội dung cần dịch và đầu ra là nội dung đã được dịch. Một lý do để không public API này là vì tôi không còn máy chủ, tất cả service đã đẩy hết lên Cloudflare tại bài viết Hoàn tất chuyển đổi blog thành "Web is on the edge". Worker thì không hỗ trợ thư viện Node.js này cho nên không thể đẩy lên được. Hơn nữa, thời gian viết bài không phải là liên tục cho nên không cần thiết phải duy trì máy chủ API này liên tục.

Có một điều cần lưu ý đó là ChatGPT không phản hồi hết câu trả lời trong một lần nếu như nó quá dài, để tiếp tục, bạn cần bấm vào nút “Continue” nếu ở trên web, may mắn là thư viện có hỗ trợ cú pháp next để yêu cầu ChatGPT tiếp tục câu trả lời còn dang dở.

Trong hàm gửi tin nhắn, có 2 tùy chọn là conversationId và parentMessageId đại diện cho ID của cuộc trò truyện và tin nhắn trước đó. Sở dĩ có parentMessageId là để cho nó hiểu được ngữ cảnh trước đó để đưa ra câu trả lời chính xác hơn, còn conversationId để gom các tin nhắn vào cùng một cuộc trò truyện và tránh lan man. Vì thế tôi cần lưu lại parentMessageId mỗi khi ChatGPT phản hồi để lần gửi tin nhắn tiếp theo, nó sẽ hiểu được ngữ cảnh trước đó.

Sau đó tôi tạo một class ChatGPT gồm 2 phương thức sendMessage và sendNext đại diện cho một lần chat và một lần yêu cầu tiếp tục phản hồi nếu câu trả lời chưa đầy đủ. Sử dụng thư viện fastify để tạo một máy chủ HTTP đơn giản. Cuối cùng là tích hợp vào AdminCP như thế này đây.

Mã nguồn của máy chủ cục bộ của tôi bạn có thể tham khảo tại đây tonghoai/chatgpt-translate.