Openai cumpără promptfoo pentru a garanta securitatea modelelor sale de inteligență artificială

Într-un efort pentru a ajuta clienții săi corporați să reducă riscurile implementării software-ului de inteligență artificială, OpenAI a decis să cumpere startup-ul Promptfoo. Acesta permite marii companii să gădească problemele de securitate în modelele de inteligență artificială în curs de dezvoltare. OpenAI va anunța luni integrarea tehnologiei Promptfoo în platforma sa OpenAI Frontier, care permite crearea și gestionarea agentilor de IA.

Promptfoo și securitatea modelilor de inteligență artificială

Promptfoo, o startup din San Francisco, a fost fondată doar doi ani în urmă și a dezvoltat instrumente de cod deschis pentru a testa securitatea sistemelor de inteligență artificială. De asemenea, ajută companiile să își atace propriile produse în scopul de a găsi vulnerabilități, un proces cunoscut sub numele de red-teaming.

În prezent, Promptfoo are aproximativ o cățea parte dintre cele mai mari 500 de companii din lista Fortune 500 printre clienții săi.

Openai și securitatea

OpenAI a luat și ea măsuri pentru a dotă a produsele și agentii de IA cu funcții de securitate. În ultimele săptămâni, a prezentat un agent de IA care ajută echipelor de securitate să găsească și să fixeze vulnerabilități în mari baze de date, asemănătoare unei instrumente a rivalului său Anthropic PBC.

În urma acestei achiziții, Frontier de OpenAI va primi capacități automate de testare a securității și red-teaming. De asemenea, va permite organizațiilor să monitorizeze schimbările și să urmărească probele, în scopul de a rămâne la curent cu nevoile de risc și de conformitate.

OpenAI declară că va continua să dezvolte cod deschis de Promptfoo, în timp ce va adăuga tehnologia acesteia la Frontier.