Могу только предположить, что glassfish использует KeyManager и TrustManager, реализованные в JTLS, т.к. их алгоритмы прописаны по умолчанию в java.security при установке JTLS. В 2.0 была добавлена проверка, о которой я писал - проверка на соответствие провайдера, прописанного в "Алгоритмах" панели JCP, и провайдера, реализующего хранилище ключей, передаваемое в KeyManager. В своем коде glassfish создает подключение с использование KeyStore провайдера SUN и, видимо, KeyManager из JTLS. В 1.0 проверки не было, и glassfish как-то использовал эти *manager'ы. Вероятно, из-за того, что доступ консоли администратора не требовал клиентской аутентификации, проблем не было (и проверки в 1.0 не было).
Указанные параметры, чтобы были закомментированы, можно задать с помощью Security.setProperty() программно в коде, например, https-клиента с ГОСТ TLS, который работает на той же java, что и glassfish.