不，它们不区分大小写。引用RFC 5280（强调我的）：

当 subjectAltName 扩展包含域名系统
标签时，域名必须存储在 dNSName（一个 IA5String）中。
名称必须采用“首选名称语法”，由
RFC1034 的第 3.5 节指定并由
RFC1123 的第 2.1 节修改。 请注意，虽然
域名中允许使用大写和小写字母，但大小写无关紧要。

引用的RFC 1034回应了这一点：

请注意，虽然域名中允许使用大写和小写字母，但大小写无关紧要。也就是说，两个拼写相同但大小写不同的名称将被视为相同。

（作为RFC 1123的一部分引用的修改是允许合法主机名的第一个字符是数字，并且与大小写无关。）