Если я правильно вас понял, вы утверждаете, что на машине где-то есть еще один контейнер с этим ключом.
И в этом втором контейнере не стоит защита от экспорта, и пароля на нем тоже нет.
Поэтому при попытке экспорта Windows по сертификату находит этот другой контейнер и разрешает выгрузить ключ.

Можно ли как-то убедиться, что дело именно в этом?
Есть ли возможность гарантированно удалить все контейнеры с приватным ключом от заданного сертификата?

Спасибо!