Newest papers

Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAG

Abhishek Rai · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28364 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trong khi đó, chúng tôi trình bày nokast-secureRAG, một mô hình ngôn ngữ nhỏ với chỉ số ben-parameter 0.5B hoạt động như một tường lửa ngữ nghĩa giữa thu thập và sản xuất. Nó cùng nhau đánh giá truy vấn người dùng và đánh dấu lại các mô hình độc lập, đạt được 95.0% thỏa thuận trước khi tấn công sinh viên được phát hành, trong khi các cặp được phân loại là an toàn, đáng ngờ, hoặc độc hại. Mô hình chính được đào tạo bằng cách sử dụng một tín hiệu giáo viên-người phán xét-học sinh: một giáo viên 35B tạo ra 5,233 ví dụ trên bốn gia đình tấn công, và trong một trường hợp độc lập 120B đánh dấu lại các mô hình, đạt được 95.0% thỏa thuận trước khi tấn công sinh viên được phát hành. Trên một bộ thử nghiệm không phân phối, chúng tôi so sánh tỷ lệ

Machine translation (Meta M2M100); the English original follows.

Abstract

Local Retrieval-Augmented Generation (RAG) systems are vulnerable to indirect prompt injection and retrieval poisoning, where malicious instructions in retrieved content are mistaken for trusted input. We present nokast-secureRAG, a roughly 0.5B-parameter small language model that acts as a semantic firewall between retrieval and generation. It jointly evaluates the user query and retrieved context, classifying the pair as safe, suspicious, or malicious. The model is trained using a teacher-judge-student pipeline: a 35B teacher generates 5,233 examples across four attack families, and an independent 120B judge re-labels them, achieving 95.0% agreement before student fine-tuning. On a held-out in-distribution test set, the model achieves 0.994 detection recall at a 0.026 false-positive rate and a 0.006 attack-success-rate proxy, outperforming a regex baseline, a public prompt-injection classifier, Llama Guard 3 1B, and its untuned version. Prompt-Guard-86M reaches 0.900 recall but has a 0.690 false-positive rate. On a judgment-flip test, where the same sentence is benign or malicious depending on context, the model correctly classifies both cases 75% of the time, outperforming the compared baselines. Ablations indicate that retrieved context carries the main attack signal, while query-context consistency reduces false positives. Single-request latency is 293-404 ms, above the target of 100 ms, while amortized throughput latency is 37 ms under batching. On the external PoisonedRAG benchmark, recall falls to near zero, indicating that fluent fact-poisoning attacks lie outside the detector's instruction-consistency threat model. We report this limitation alongside the in-distribution results. The model, data-generation pipeline, and evaluation harness are released open source.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Guard (computer science), Recall, Latency (audio), Language model, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange