Спасибо! с помощью предложенного кода идентификатор ключа удается получить, как у Вас и описано.
Прокомментируйте пожалуйста строчки

CPPUNIT_ASSERT(CryptMsgUpdate(hMsg, &buffer[0], (DWORD)buffer.size(), TRUE));
BYTE rawData[] = { 0xFF, 0xAA };
CPPUNIT_ASSERT(CryptMsgUpdate(hMsg, rawData, sizeof(rawData), TRUE));

значение rawData и CryptMsgUpdate дважды вызывается с TRUE
насколько это универсальное решение

Что касается rawData, то для получения каких-то данных из detached-сообщения можно передать любые сырые данные, можно кажется даже и вовсе их не передавать, но если вы хотите проверить подпись, добавить подпись, то правильные данные уже строго требуются. Вообще, я скажу так: передавать правильные данные -- всегда верное решение, остальное -- это уже хитрости.