Comandos de ejemplo para generar CSR con OpenSSL en Windows
(con información desde archivo de texto para poder utilizar acentos)

openssl genpkey -algorithm RSA -out ejemplo.key

openssl req -new -key ejemplo.key -out ejemplo.csr -config ejemplo.txt

Contenido de ejemplo del archivo de texto:

[req]
default_bits = 2048
prompt = no
default_md = sha256
distinguished_name = dn
req_extensions = req_ext

[dn]
C = AR
ST = "Ciudad Autónoma de Buenos Aires"
L = "Ciudad Autónoma de Buenos Aires"
O = empresa ejemplo
OU = IT
CN = ejemplo.com.ar

[req_ext]
subjectAltName = @alt_names

[alt_names]
DNS.1 = ej.com.ar
DNS.2 = em.com.ar
DNS.3 = plo.com.ar

Puede verificar la correcta generación de su aquí