Trợ lý tóm tắt bài viết bằng LLM

Tôi lưu rất nhiều bài viết để đọc sau nhưng hiếm khi quay lại. Tôi muốn một công cụ dán link vào là có bản tóm tắt ngắn để quyết định có nên đọc kỹ hay không.

Quan trọng hơn, tôi coi đây là bài tập để hiểu cách làm việc với một mô hình ngôn ngữ trong một ứng dụng thật, thay vì chỉ chat.

Tôi dựng một ứng dụng Next.js nhỏ: người dùng dán URL, server lấy nội dung, cắt bớt phần thừa rồi gửi cho mô hình kèm một prompt yêu cầu tóm tắt theo gạch đầu dòng.

Những chỗ tôi phải học

Tôi vấp ở khâu giới hạn độ dài đầu vào và chi phí gọi API. Tôi học cách cắt văn bản hợp lý và cache lại kết quả để không gọi lại cùng một bài.

Công cụ chạy được và tôi dùng nó thật cho việc đọc của mình. Nó không hoàn hảo: với bài quá dài, bản tóm tắt đôi khi bỏ sót ý.

Điều tôi thu được lớn nhất không phải sản phẩm, mà là hiểu rõ hơn về cách một tính năng AI được ghép vào một ứng dụng web bình thường.