Aún utilizando un txt como el del ejemplo provisto por Macroseguridad, los caracteres especiales no se muestran correctamente:

En Windows, los archivos .txt se guardan como ANSI por default, pero esto podría estar configurado de otra forma en su equipo.
Solución: verifique que la codificación de su archivo .txt sea ANSI mediante un editor de texto (como Notepad++) o simplemente al momento de guardar el archivo en su equipo:

Si por algún requerimiento necesita que el archivo txt posea formato -utf8 puede modificarlo de esta forma:

En este caso, (archivo .txt con formato -utf8 ); deberá forzar el formato -utf8 mediante el comando de generación de CSR:

openssl req -new -key ejemplo.key -out ejemplo.csr -config ejemplo.txt -utf8

NOTA: en el caso de forzar -utf8, la cantidad de caracteres disponibles para los campos O y OU de su CSR, podrían verse afectados (como máximo 64) y dar este error:

Error making certificate request FC1D0000:error:06800097:asn1 encoding routines:ASN1_mbstring_ncopy:string too long:crypto\asn1\a_mbstr.c:106:maxsize=64

Esto ocurre porque, al utilizar -utf8, OpenSSL valida estrictamente la longitud de cada campo en bytes (no en cantidad de caracteres), ya que emplea el formato UTF8String. En cambio, esto no sucede cuando se utiliza codificación ANSI.

Solución: reduzca la cantidad de caracteres en los campos mencionados o utilice un archivo en formato ANSI para evitar la validación estricta.