Kiến trúc

​

Tổng Quan Hệ Thống

Your App → OpenModex Gateway → [ Auth → Routing → Caching → Provider ] → Response

​

Luồng Yêu Cầu

​

Các Thành Phần Cốt Lõi

​

Cổng API

• REST API tương thích OpenAI — thay thế trực tiếp API của OpenAI
• Streaming SSE — phân phối token theo thời gian thực
• Tính idempotent — thử lại an toàn với header Idempotency-Key (TTL 24 giờ)

​

Công Cụ Định Tuyến

​

Bộ Ngắt Mạch

1. Đóng — yêu cầu được định tuyến bình thường
2. Nửa mở — sau các lỗi liên tiếp, lưu lượng bị giảm
3. Mở — nhà cung cấp tạm thời bị loại khỏi nhóm định tuyến
4. Phục hồi — các kiểm tra sức khỏe định kỳ khôi phục nhà cung cấp

​

Bộ Chuyển Đổi Nhà Cung Cấp

• Chuyển đổi định dạng yêu cầu (định dạng OpenAI → định dạng gốc của nhà cung cấp)
• Chuẩn hóa phản hồi (gốc nhà cung cấp → định dạng OpenAI)
• Ánh xạ lỗi sang mã lỗi nhất quán
• Chuyển đổi giao thức streaming

​

Lớp Bộ Nhớ Đệm

• Bộ đệm khớp chính xác — hash của (mô hình + tin nhắn + tham số)
• TTL có thể cấu hình — 60 giây đến 24 giờ cho mỗi yêu cầu
• Dựa trên Redis — tra cứu bộ đệm dưới mili giây
• Tiết kiệm chi phí — phản hồi từ bộ đệm được tính phí ~50% tỷ lệ đầu vào, không chi phí đầu ra

​

Pipeline Thanh Toán

1. Mỗi yêu cầu phát ra một sự kiện thanh toán đến Kafka
2. Các sự kiện được xử lý bất đồng bộ và lưu trữ
3. Số dư tài khoản được cập nhật nguyên tử qua Redis Lua scripts
4. Phân tích được đẩy sang Apache Doris cho bảng điều khiển và báo cáo

​

Cơ Sở Hạ Tầng

​

Bảo Mật

• Khóa API được hash khi lưu trữ; chỉ tiền tố được lưu để tra cứu
• Khóa nhà cung cấp BYOK được mã hóa bằng mã hóa phong bì AWS KMS
• Giới hạn tốc độ sử dụng các phép toán Redis nguyên tử để ngăn điều kiện tranh chấp
• Tất cả lưu lượng được mã hóa bằng TLS 1.3
• Mật khẩu được hash bằng Argon2id

​

Sơ Đồ Luồng Dữ Liệu

┌─────────────┐     ┌──────────────────────────────────────────────┐
│  Your App   │────▶│  OpenModex API Gateway                       │
│             │◀────│                                              │
└─────────────┘     │  ┌──────┐  ┌────────┐  ┌───────┐  ┌──────┐ │
                    │  │ Auth │─▶│ Router │─▶│ Cache │─▶│ Send │ │
                    │  └──────┘  └────────┘  └───────┘  └──┬───┘ │
                    │                                      │     │
                    └──────────────────────────────────────┼─────┘
                                                           │
                    ┌──────────────────────────────────────┼─────┐
                    │  AI Providers                        ▼     │
                    │  ┌────────┐ ┌──────────┐ ┌────────┐       │
                    │  │ OpenAI │ │ Anthropic│ │ Google │  ...  │
                    │  └────────┘ └──────────┘ └────────┘       │
                    └────────────────────────────────────────────┘