Cách vận hành các ứng dụng GenAI với Apigee

Cách vận hành các ứng dụng GenAI với Apigee

Generative AI đã vượt qua giai đoạn “hype” và được áp dụng thực tế, nhưng các doanh nghiệp thường gặp phải thách thức trong việc quản lý, bảo mật và mở rộng các triển khai LLM, đặc biệt là API. Các câu hỏi thường gặp bao gồm: làm thế nào để bảo vệ tổ chức, kiểm soát chi phí khi mở rộng LLM, theo dõi việc sử dụng và cung cấp trải nghiệm người dùng tốt nhất? Dưới đây là cách Apigee giúp giải quyết các vấn đề liên quan đến LLM APIs và cung cấp bộ giải pháp tham khảo để triển khai. Cùng Cloud Ace tìm hiểu nhé

AI Agent khai thác sức mạnh của LLM để thực hiện nhiệm vụ cho end user. Các agent này có thể được xây dựng bằng nhiều công cụ khác nhau, từ nền tảng no-code, low-code đến các framework như LangChain hoặc LlamaIndex. Apigee đóng vai trò là cầu nối giữa các ứng dụng AI và các agent, giúp tăng cường bảo mật bằng cách bảo vệ API LLM khỏi các rủi ro hàng đầu theo OWASP, quản lý xác thực và ủy quyền người dùng, đồng thời tối ưu hóa hiệu suất với bộ nhớ đệm ngữ nghĩa (semantic caching). Bên cạnh đó, Apigee còn kiểm soát chi phí thông qua giới hạn token và điều phối các tương tác giữa nhiều agent AI trong các trường hợp sử dụng nâng cao.

AI Agent có thể cần sử dụng nhiều LLM khác nhau tùy vào nhiệm vụ. Apigee tối ưu hóa quá trình này bằng cách định tuyến thông minh, quản lý chuyển đổi dự phòng và kiểm soát quyền truy cập. Ngoài LLM, các agent còn cần kết nối với cơ sở dữ liệu và hệ thống bên ngoài để đáp ứng nhu cầu người dùng. Apigee giúp quản lý, bảo mật các API này thông qua API. Đối với các tích hợp phức tạp, người dùng có thể tận dụng Google Cloud’s Application Integration platform để mở rộng khả năng kết nối và xử lý dữ liệu.

Không có mô hình cố định cho mọi trường hợp, kiến trúc tương tác giữa agent và LLM phụ thuộc vào nhu cầu cụ thể. Không phải lúc nào cũng cần định tuyến yêu cầu đến nhiều LLM - trong một số trường hợp, có thể kết nối trực tiếp với cơ sở dữ liệu và hệ thống bên ngoài từ Apigee agent proxy layer. Apigee cung cấp sự linh hoạt để tùy chỉnh kiến trúc theo yêu cầu.

Dưới đây là các lĩnh vực Apigee hỗ trợ:

Cloud Ace

Google Cloud Managed Service Provider