🎯 Mục Đích

Workflow này nhằm mục đích tạo ra các tập dữ liệu vector sẵn sàng cho AI để sử dụng trong các mô hình ngôn ngữ lớn (LLMs). Việc này giúp tăng cường khả năng hiểu biết và xử lý ngôn ngữ tự nhiên của hệ thống AI thông qua việc sử dụng các dữ liệu được tối ưu hóa từ nhiều nguồn khác nhau.

⚙️ Cách Hoạt Động

1. Kích hoạt thủ công: Người dùng nhấn “Test workflow” để bắt đầu quy trình.
2. Tác vụ AI: Kế hoạch hành động AI (agent) được khởi động.
3. Lưu trữ Vector tại Pinecone: Kết nối với cơ sở dữ liệu Pinecone để lưu trữ các vector.
4. Tạo embeddings với Google Gemini: Sử dụng Google Gemini để tạo embeddings cho văn bản.
5. Tải dữ liệu mặc định: Dữ liệu được tải từ nguồn cài sẵn (documentDefaultDataLoader).
6. Chia nhỏ văn bản: Sử dụng phương pháp chia nhỏ văn bản theo ký tự để xử lý.
7. Mô hình trò chuyện Gemini: Sử dụng mô hình trò chuyện của Google Gemini cho các tác vụ xử lý.
8. Trình phân tích đầu ra: Phân tích đầu ra thành định dạng có cấu trúc.
9. Thiết lập trường: Cấu hình các trường như URL và Webhook URL.
10. Yêu cầu web: Gửi yêu cầu HTTP tới các API cần thiết.
11. Định dạng dữ liệu JSON: Định dạng dữ liệu được trả về từ các thao tác trước đó.
12. Webhook cho dữ liệu đã cấu trúc: Gửi dữ liệu đã xử lý tới một webhook khác.
13. Webhook cho phản hồi của tác nhân AI: Gửi phản hồi từ AI tới webhook.

🔗 Tích Hợp Chính

• manualTrigger: Kích hoạt quy trình theo cách thủ công.
• agent: Điều phối các tác vụ cần thiết từ AI.
• vectorStorePinecone: Lưu trữ và truy xuất dữ liệu vector.
• embeddingsGoogleGemini: Tạo embeddings ngữ nghĩa từ dữ liệu văn bản.
• documentDefaultDataLoader: Tải dữ liệu để xử lý.
• textSplitterRecursiveCharacterTextSplitter: Chia nhỏ văn bản để dễ quản lý.
• lmChatGoogleGemini: Gọi đến mô hình trò chuyện để xử lý và phản hồi.
• outputParserStructured: Phân tích và định dạng đầu ra có cấu trúc.
• httpRequest: Gửi và nhận yêu cầu HTTP từ các dịch vụ bên ngoài.
• chainLlm: Kết nối và định dạng dữ liệu đầu ra.
• informationExtractor: Trích xuất thông tin cần thiết từ dữ liệu đã xử lý.

💼 Giá Trị Kinh Doanh

Workflow giải quyết vấn đề về việc tạo ra các tập dữ liệu ngữ nghĩa phù hợp cho việc huấn luyện các mô hình ngôn ngữ lớn, từ đó cải thiện khả năng xử lý ngôn ngữ tự nhiên, tiết kiệm thời gian và nguồn lực cho các nhà phát triển và tổ chức nghiên cứu AI.

📊 Đánh Giá Kỹ Thuật

• Phức Tạp: Điểm phức tạp cao do số lượng node lớn và các quy trình liên kết chặt chẽ.
• Bảo trì: Đòi hỏi kiến thức về nhiều công nghệ khác nhau và khả năng đồng bộ các API.
• Tối ưu hóa: Có thể xem xét giảm số lượng mô hình trò chuyện nếu chúng thực hiện chức năng tương tự hoặc cải thiện các đoạn mã hoặc node không cần thiết.

🏷️ Thẻ

• #AI
• #DataProcessing
• #MachineLearning
• #Pinecone
• #GoogleGemini