Открытый бенчмарк · версия 0.4
Сравнение инструментов обезличивания персональных данных
Насколько надёжно открытые инструменты убирают персональные данные из документов перед отправкой в нейросеть. Проверка на 1 000 русских и 1 000 британских синтетических документах, которые не видел ни один из инструментов.
Русские документы
| Инструмент | Документов с утечкой | Номера | Имена, адреса, организации | Точность |
|---|---|---|---|---|
| pii-roundtrip | 0,1% | 100,0% | 100,0% | 98,4% |
| pii-guard | 59,9% | 92,8% | 73,6% | 87,6% |
| Presidio | 83,4% | 92,0% | 60,9% | 76,1% |
| OpenAI privacy-filter | 95,0% | 96,0% | 74,4% | 81,3% |
| GLiNER Guard Omni | 99,7% | 72,7% | 77,9% | 77,0% |
| Регулярные выражения с контрольными суммами | 100,0% | 91,7% | 0,0% | 100,0% |
Британские документы
| Инструмент | Документов с утечкой | Номера | Имена, адреса, организации | Точность |
|---|---|---|---|---|
| pii-roundtrip | 0,6% | 100,0% | 100,0% | 99,9% |
| GLiNER Guard Omni | 57,6% | 95,6% | 88,7% | 94,8% |
| Presidio | 58,4% | 93,3% | 58,7% | 78,9% |
| OpenAI privacy-filter | 82,5% | 95,5% | 83,8% | 93,0% |
| Prompt Anonymizer | 100,0% | 68,8% | 51,8% | 99,0% |
| Регулярные выражения с контрольными суммами | 100,0% | 91,7% | 0,0% | 100,0% |
Как читать таблицы
- Документов с утечкой: доля документов, в которых после очистки осталось хотя бы одно настоящее значение. Чем меньше, тем лучше. Это главный показатель: одной оставшейся фамилии достаточно, чтобы узнать человека.
- Номера: доля скрытых паспортов, СНИЛС, ИНН, счетов и карт (для британских документов NHS, National Insurance, IBAN и карт).
- Имена, адреса, организации: доля скрытых значений этих типов.
- Точность: доля скрытых фрагментов, в которых действительно есть персональные данные. Показывает, не скрывает ли инструмент всё подряд.
Метод
- Документы синтетические, составлены по образцу настоящих договоров, справок, писем, кадровых документов и выписок. Часть номеров записана словами, через точки и с опечатками.
- Набор сгенерирован после последних правок pii-roundtrip и опубликован с хешами и правилами оценки до первого запуска. Каждый инструмент прогнан на нём один раз, прогоны записаны в журнал.
- Каждый инструмент запущен с настройками из своей документации, пороги на этих данных не подбирались.
- Дополнительно инструменты проверены на внешних наборах коротких текстов, в том числе выпущенных авторами pii-guard и GLiNER Guard. Инструмент не оценивается на наборе своих авторов.
Сравнение провёл автор pii-roundtrip, Владимир Бескоровайный. Чтобы его можно было проверить, опубликованы код, данные, результаты, журнал прогонов и скрипт воспроизведения. pii-roundtrip использует модели pii-guard и GLiNER Guard Omni и добавляет к ним правила; разница в результатах складывается из этих правил.
Полный отчёт с интервалами, порогами и результатами на внешних наборах: REPORT.md. Код и данные: GitHub.