اپهای AI دیگر «چتباکس ساده» نیستند؛ به ابزار، دیتابیس و اکشن وصل میشوند. OWASP GenAI LLM Top 10 2026 دقیقاً برای همین معماری نوشته شده.
ریسکهای داغ
1. Prompt Injection — ورودی کاربر یا سند، دستور سیستم را دور میزند
2. Sensitive Information Disclosure — نشت secret از context یا ابزارها
3. Excessive Agency — ایجنت اجازه زیادی برای حذف/پرداخت/ارسال دارد
4. Supply Chain — مدل، پلاگین و dependency آلوده
5. Data/Model Poisoning — داده آموزش یا دانشپایه خراب
6. Unbounded Consumption — هزینه و DoS روی توکن/API
7. Misinformation — خروجی غلط با اعتماد زیاد
8. Hidden Context Exposure — نشت system prompt یا حافظه پنهان
9. Vector/Embedding Weaknesses — بازیابی غیرمجاز از RAG
10. Improper Output Handling — اجرای کورکورانه SQL/HTML/کد مدل
الگوی دفاعی درست
فرض کنید مدل فریب میخورد؛ معماری اطراف را سخت کنید:
- Least Agency + تأیید انسانی برای اکشنهای برگشتناپذیر
- Authorize قبل از Retrieval در RAG
- خروجی مدل را untrusted بدانید و validate کنید
- سقف توکن، نرخ و بودجه برای هر کاربر
اگر چتبات یا ایجنت به محصولتان اضافه میکنید، این لیست باید کنار OWASP وب کلاسیک در اسپرینت امنیتی باشد.