아웃룩 인터넷 보안경고 인증서 오류 해결

아웃룩 인터넷 보안경고 인증서 오류 해결 - SMTP·IMAP SSL/TLS 설정방법

잡가이버 2026. 9. 8. 18:12

아웃룩 인터넷 보안경고 인증서 오류 - SSL/TLS 설정 해결방법

Microsoft Outlook을 실행할 때마다 “서버에서 사용하는 보안 인증서를 확인할 수 없습니다”, “보안 인증서 이름이 잘못되었거나 사이트 이름과 일치하지 않습니다”, “보안 인증서가 만료되었거나 유효하지 않습니다”라는 인터넷 보안 경고가 반복되는 경우가 있습니다.

이런 문제가 발생하면 무조건 인증서부터 설치하기보다 먼저 어떤 인증서에서 문제가 발생한 것인지 구분해야 합니다.

Outlook에서 사용하는 인증서는 크게 두 가지입니다.

종류	용도	문제 발생 시
메일 서버 SSL/TLS 인증서	Outlook과 IMAP·SMTP·Exchange 서버 통신 암호화	서버명·포트·도메인·인증서 확인
S/MIME 인증서	메일 디지털 서명·내용 암호화	Outlook 전자메일 보안에서 설정

중요

“메일 서버 보안 인증서 이름이 일치하지 않습니다”라는 오류는 S/MIME 인증서를 설치한다고 해결되지 않습니다.

먼저 서버 SSL/TLS 오류인지 S/MIME 설정 문제인지 구분한 뒤 아래 순서대로 진행합니다.

위와 같은 보안경고가 나타난다면 바로 예를 누르기보다 인증서 정보를 먼저 확인합니다.

1. 아웃룩 인증서 경고창에서 무엇을 확인해야 할까?

Outlook의 인증서 오류는 대부분 다음 세 가지 중 하나입니다.

보안 인증서를 신뢰하도록 선택하지 않았습니다.

보안 인증서 이름이 잘못되었거나
사이트 이름과 일치하지 않습니다.

보안 인증서가 만료되었거나
아직 유효하지 않습니다.

경고창에서 인증서 보기를 선택하고 다음 항목을 하나씩 확인합니다.

① 발급 대상 : 인증서가 어떤 도메인용인지 확인
② SAN : Subject Alternative Name에 현재 메일서버 주소가 포함되어 있는지 확인
③ 발급기관 : 인증서를 발급한 CA 확인
④ 유효 시작일 : 아직 사용 가능한 기간이 시작되지 않았는지 확인
⑤ 만료일 : 인증서가 이미 만료되었는지 확인
⑥ 인증 경로 : Root CA와 Intermediate CA가 정상인지 확인

서버 이름과 인증서 이름을 비교

예를 들어 Outlook 계정설정의 받는메일 서버가 다음과 같다고 가정합니다.

mail.example.com

그런데 인증서를 열었을 때 다음과 같이 표시된다면 이름이 다릅니다.

server105.hostingcompany.com

이 경우 Outlook 입장에서는 mail.example.com에 접속했는데 server105.hostingcompany.com용 인증서가 나타난 것이기 때문에 보안경고를 띄우는 것이 정상입니다.

사용자가 인증서를 억지로 신뢰시키는 것보다 메일업체가 안내하는 올바른 서버주소를 Outlook에 입력하거나 서버 인증서를 수정하는 것이 근본적인 해결방법입니다.

2. Windows 날짜 및 시간부터 확인

인증서가 정상인데 내 PC에서만 만료됨 또는 아직 유효하지 않음 오류가 표시된다면 Windows 날짜가 잘못됐을 가능성이 있습니다.

Windows 11에서는 다음으로 이동합니다.

시작 → 설정 → 시간 및 언어 → 날짜 및 시간

다음 항목을 활성화합니다.

자동으로 시간 설정
자동으로 표준 시간대 설정

그다음 지금 동기화를 눌러 Windows 시간을 인터넷 시간서버와 다시 맞춰줍니다.

특히 메인보드 배터리가 방전됐거나 BIOS 초기화 이후 PC 시간이 틀어진 경우 정상 인증서도 잘못된 것으로 판단될 수 있습니다.

3. Outlook 계정의 메일 서버주소 확인

날짜와 시간이 정상이라면 이제 Outlook에 등록한 실제 메일 서버주소를 확인합니다.

아래 이미지는 Classic Outlook 기준입니다. Microsoft 365용 Classic Outlook, Outlook 2021·2019 등에서는 메뉴 배치가 비슷하지만 새 Outlook에서는 메뉴구성이 다릅니다.

Classic Outlook에서는 다음 순서로 이동합니다.

Outlook → 파일 → 계정 설정 → 계정 설정

등록된 이메일 계정을 선택한 뒤 변경 또는 서버 설정을 선택합니다.

여기에서 다음 두 주소를 확인합니다.

받는 메일 서버 : IMAP 또는 POP3
보내는 메일 서버 : SMTP

메일업체에서 안내한 공식 서버주소와 정확하게 일치해야 합니다.

예를 들어 Gmail이라면 임의로 gmail.com이나 Google 서버 IP를 입력하는 것이 아니라 공식 서버주소를 사용합니다.

IMAP : imap.gmail.com
SMTP : smtp.gmail.com

4. Outlook SMTP·IMAP 포트와 SSL/TLS 설정

메일서버 주소가 맞다면 이번에는 포트와 암호화 방식을 확인합니다.

계정 설정에서 해당 이메일을 선택한 뒤 변경 → 기타 설정 또는 현재 버전에 표시되는 고급 설정으로 이동합니다.

이곳에서 받는 메일과 보내는 메일의 서버주소뿐 아니라 포트번호와 암호화 방식을 확인해야 합니다.

위 화면에서는 받는 메일 서버와 보내는 메일 서버 각각의 포트를 설정합니다.

많이 사용하는 포트는 다음과 같습니다.

서비스	포트	보안
IMAP	993	SSL/TLS
POP3	995	SSL/TLS
SMTP	465	SSL/TLS
SMTP Submission	587	STARTTLS

하지만 IMAP 993 / SMTP 465를 무조건 입력하면 안 됩니다.

네이버, Gmail, 카카오메일, 회사 메일서버마다 설정이 다를 수 있기 때문에 반드시 해당 이메일 서비스의 공식 설정값을 사용해야 합니다.

SPA도 무조건 체크하지 않습니다.

기존 Outlook 설정글에서는 SPA(보안 암호 인증)를 무조건 활성화하라는 설명을 종종 볼 수 있습니다.

하지만 SPA는 SSL/TLS와 같은 기능이 아니며 메일서비스가 이를 지원해야 합니다.

메일업체 설명에 SPA를 사용하라는 안내가 없다면 임의로 활성화하지 않는 것이 좋습니다.

5. 인증서 이름이 계속 다른 경우 - 호스팅 메일 확인

개인 도메인을 사용하는 회사메일이나 웹호스팅 메일에서 특히 많이 발생합니다.

예를 들어 이메일 주소가 다음과 같다고 해보겠습니다.

master@example.com

그렇다고 메일서버 주소가 반드시 다음인 것은 아닙니다.

mail.example.com

호스팅 회사가 실제로 다음 서버를 사용하도록 안내할 수도 있습니다.

mail17.hostingcompany.com

그리고 인증서 역시 mail17.hostingcompany.com에 발급돼 있다면 Outlook 서버설정도 호스팅사가 안내한 주소를 사용해야 인증서 이름이 일치합니다.

반대로 회사에서 꼭 mail.example.com이라는 자체 도메인을 사용해야 한다면 서버관리자가 해당 도메인이 SAN에 포함된 인증서를 발급해 SMTP·IMAP 서비스에 연결해야 합니다.

6. 회사 네트워크에서만 Outlook 인증서 오류

집에서는 정상적으로 Outlook이 실행되는데 회사에서만 인증서 경고가 나타난다면 Proxy 또는 SSL Inspection을 확인합니다.

기업용 방화벽이나 보안솔루션은 암호화된 TLS 통신을 검사하기 위해 중간에서 자체 인증서를 사용할 수 있습니다.

Outlook
   ↓
회사 보안장비
   ↓
실제 메일서버

정상적인 회사 환경이라면 IT 관리자가 회사 Root CA를 업무용 PC에 자동 배포합니다.

그런데 회사 인증서가 설치되지 않았거나 만료됐다면 Outlook이 중간 인증서를 신뢰하지 못해 오류가 발생할 수 있습니다.

가장 쉽게 확인하려면 회사 네트워크 대신 스마트폰 핫스팟에 PC를 연결한 뒤 Outlook을 실행해봅니다.

핫스팟에서는 정상인데 회사망에서만 오류가 발생한다면

Outlook 자체보다는 회사 Proxy, Firewall, SSL Inspection 또는 사내 DNS 설정을 먼저 확인하는 것이 좋습니다.

7. S/MIME 인증서 설치 - 메일 디지털 서명·암호화

지금부터 나오는 화면은 SMTP·IMAP 서버 인증서 오류 해결설정이 아닙니다.

회사에서 개인 S/MIME 인증서를 발급받아 메일에 전자서명을 넣거나 메일 내용을 암호화하려는 사용자가 사용하는 설정입니다.

STEP 1. Outlook 옵션 열기

Classic Outlook을 실행한 뒤 왼쪽 상단의 파일을 클릭합니다.

왼쪽 메뉴 가장 아래에 있는 옵션을 선택합니다.

Outlook 옵션 창이 열리면 왼쪽에서 보안 센터를 선택한 다음 오른쪽의 보안 센터 설정을 클릭합니다.

위 화면처럼 보안 센터 → 보안 센터 설정까지 들어갔다면 다음 단계로 넘어갑니다.

STEP 2. 전자 메일 보안 선택

보안 센터가 열리면 왼쪽 목록에서 전자 메일 보안을 클릭합니다.

여기에 암호화된 전자 메일 항목이 표시됩니다.

아직 Windows에 S/MIME 인증서가 설치되지 않았다면 먼저 회사나 인증기관에서 받은 .p12 또는 .pfx 개인 인증서를 준비합니다.

인증서를 Windows에 설치한 상태라면 설정 버튼을 눌러 Outlook에서 사용할 인증서를 지정할 수 있습니다.

STEP 3. 보안설정 새로 만들기

암호화된 전자메일 항목에서 설정을 선택합니다.

보안 설정 변경 창이 열리면 맨 위의 보안 설정 이름에 알아보기 쉬운 이름을 입력합니다.

예를 들어 다음처럼 입력하면 됩니다.

회사메일 S-MIME
개인메일 전자서명
FJVPS 업무메일 인증서

위 화면에서 이제 서명 인증서와 암호화 인증서를 지정하게 됩니다.

STEP 4. 서명 인증서 선택

서명 인증서 오른쪽의 선택 버튼을 클릭합니다.

Windows에 정상적으로 설치된 개인 인증서 목록이 나타납니다.

여기서 반드시 다음을 확인합니다.

인증서에 표시된 이메일 주소가 현재 Outlook 이메일과 일치하는지
인증서 유효기간이 남아 있는지
개인키가 포함된 인증서인지
회사에서 지정한 인증서가 맞는지

위 스크린샷에 보이는 2023년 만료일은 과거 촬영 당시 인증서 정보입니다.

현재 설정할 때는 사용자가 가지고 있는 인증서의 실제 만료일을 확인합니다. 이미 만료된 인증서는 새 메일 서명용으로 사용하지 않습니다.

STEP 5. 해시 알고리즘 선택

서명 인증서를 선택한 뒤 해시 알고리즘을 선택할 수 있습니다.

일반적으로 SHA-256 계열을 사용합니다.

설정이 끝났다면 확인을 눌러 저장합니다.

STEP 6. 암호화 인증서 선택

메일 내용 자체를 S/MIME로 암호화하려면 암호화 인증서도 설정합니다.

인증기관 정책에 따라 서명용과 암호화용으로 동일 인증서를 사용할 수도 있고 서로 다른 인증서를 사용할 수도 있습니다.

인증서를 선택했다면 다시 확인을 눌러 전자메일 보안 설정을 저장합니다.

STEP 7. 전자메일 보안 옵션 결정

전자메일 보안 화면에서는 다음 옵션을 설정할 수 있습니다.

보내는 메시지의 내용 및 첨부파일 암호화
보내는 메시지에 디지털 서명 추가
서명된 메시지를 일반 텍스트로 보내기

회사 정책이 있다면 회사 보안담당자가 지정한 값을 사용하세요.

모든 메일을 무조건 암호화하면 상대방이 S/MIME 환경을 지원하지 않을 때 메일을 열 수 없는 문제가 생길 수 있으므로 일반 사용자가 임의로 전체 암호화를 켜는 것은 권장하지 않습니다.

STEP 8. 만료된 S/MIME 인증서 확인

인증서 목록에서 만료일을 확인합니다.

다만 만료됐다고 과거 인증서를 무조건 삭제하지 않는 것이 좋습니다.

예전에 S/MIME로 암호화한 메일을 다시 열 때 기존 개인키가 필요할 수 있기 때문입니다.

삭제하기 전에 반드시 인증서와 개인키 백업 여부를 확인하세요.

STEP 9. 외부 이미지 자동 다운로드 설정

이 화면은 서버 인증서와 직접적인 관계가 아니라 HTML 이메일에 포함된 외부 이미지 자동 다운로드에 대한 보안설정입니다.

스팸메일은 외부 이미지를 통해 메일 열람여부를 추적할 수 있기 때문에 Outlook의 기본 보안설정을 유지하는 것이 좋습니다.

8. FailAllCertificateErrors 레지스트리는 함부로 사용하지 않기

기존 해결방법 중에는 Outlook Registry를 수정하는 방법도 알려져 있습니다.

먼저 Win + R을 눌러 실행창을 연 뒤 다음을 입력하면 Registry Editor가 실행됩니다.

regedit

기존 Outlook 2016 관련 정책에서는 다음 경로가 사용됐습니다.

HKEY_CURRENT_USER
\Software
\Policies
\Microsoft
\Office
\16.0
\Outlook
\HTTP

여기에서 과거 다음 DWORD 값이 사용됐습니다.

FailAllCertificateErrors

여기서 주의해야 합니다.

FailAllCertificateErrors라는 이름만 보면 “모든 인증서 오류를 무시한다”는 뜻처럼 보이지만 그렇지 않습니다.

Microsoft가 Outlook 2016에 문서화했던 값 1은 인증서 오류가 발생했을 때 사용자가 경고창에서 예를 눌러 계속 연결하지 못하도록 연결 자체를 실패시키는 정책입니다.

인증서 오류의 근본원인을 해결하는 방법이 아니므로 일반 사용자가 새 Outlook이나 Microsoft 365 Outlook에 임의로 추가하는 것은 권장하지 않습니다.

아웃룩 인증서 오류 가장 빠른 해결순서

따라 하기 순서

1. Outlook 경고창에서 인증서 보기
↓
2. 인증서 발급 대상·SAN·만료일 확인
↓
3. Windows 날짜·시간 확인
↓
4. Outlook 계정설정의 IMAP·SMTP 서버주소 확인
↓
5. 서버명과 인증서 SAN 비교
↓
6. 메일업체가 제공하는 공식 포트와 SSL/TLS 설정 적용
↓
7. 회사망에서만 발생하면 Proxy·SSL Inspection 확인
↓
8. Exchange·Microsoft 365는 Autodiscover DNS 확인
↓
9. 서버 인증서 문제라면 호스팅·메일서버 관리자에게 인증서 갱신 또는 SAN 수정 요청
↓
10. S/MIME가 필요한 사용자만 별도로 전자메일 보안 인증서 설정

아웃룩 인증서 오류 FAQ

인증서 경고가 나오면 그냥 예를 눌러도 되나요?

메일이 일시적으로 연결될 수 있지만 권장하지 않습니다. 특히 처음 보는 도메인이나 인증기관이 표시된다면 서버주소와 인증서부터 확인해야 합니다.

인증서를 설치하면 서버 이름 불일치가 해결되나요?

아닙니다. mail.example.com으로 접속하는데 인증서가 server.example.net에만 발급돼 있다면 해당 인증서를 신뢰시킨다고 이름 불일치 자체가 사라지는 것은 아닙니다.

S/MIME 인증서를 설치하면 SSL 오류가 해결되나요?

해결되지 않습니다. S/MIME는 메일 서명·암호화 인증서이고 서버 SSL/TLS 인증서는 Outlook과 메일서버 통신용입니다.

SMTP 포트는 465와 587 중 무엇을 사용해야 하나요?

메일업체가 안내한 공식 포트를 사용합니다. 보통 465는 SSL/TLS, 587은 STARTTLS 방식으로 많이 사용됩니다.

회사에서만 인증서 오류가 납니다.

회사 Proxy나 방화벽의 SSL Inspection, 사내 Root CA 또는 내부 DNS 문제일 가능성이 있습니다. 스마트폰 핫스팟에서 정상인지 비교해보세요.

만료된 S/MIME 인증서는 지워도 되나요?

과거 암호화메일을 복호화할 때 해당 인증서의 개인키가 필요할 수 있습니다. 개인키를 안전하게 백업하기 전에는 무조건 삭제하지 않는 것이 좋습니다.

Outlook 새 버전은 보안센터가 안 보입니다.

위 스크린샷은 Classic Outlook 기준입니다. 새 Outlook은 메뉴구조가 다르며 S/MIME는 설정 → 메일 → S/MIME에서 확인합니다.