IT 오류해결/윈도우·부팅 오류

메모리 부족 때문에 서비스 껐다가 PIN 로그인까지 막혔습니다|윈도우11 초기화 전 복구방법

잡가이버 2026. 9. 8. 11:40
반응형

윈도우11 메모리 부족 해결|가상메모리 설정부터 MSConfig 서비스 해제 후 PIN 로그인 복구까지

윈도우11 노트북이나 데스크탑을 사용하다 보면 프로그램이 갑자기 종료되거나 화면이 멈추고, 메모리 또는 시스템 리소스가 부족하여 프로그램을 시작할 수 없습니다라는 오류가 나타날 수 있습니다.

이런 증상이 생기면 RAM을 추가하기 전에 가상메모리부터 무작정 크게 설정하거나, Windows 서비스를 전부 꺼서 메모리를 확보하려는 경우가 있는데요.

저 역시 메모리와 시스템 리소스를 줄이는 과정에서 MSConfig의 서비스 항목을 대량으로 비활성화했다가 재부팅 후 Windows Hello PIN 로그인이 되지 않는 문제를 직접 겪었습니다.

결국 Windows 복구환경에서 레지스트리의 기존 서비스 시작값을 되돌려 정상 부팅까지 복구했는데, 이 경험을 포함해 이번 글에서는 단순히 가상메모리를 늘리는 방법만이 아니라 메모리 부족의 원인 확인 → 가상메모리 설정 → 시작프로그램 정리 → MSConfig 사용 시 주의사항 → PIN 로그인까지 막혔을 때 복구방법 순서로 정리했습니다.

메모리가 부족할 때 먼저 기억할 것

① 작업관리자에서 실제 RAM 사용량 확인

② C드라이브 SSD 여유공간 확인

③ Windows 가상메모리는 우선 자동 관리 사용

④ 불필요한 시작프로그램만 비활성화

⑤ MSConfig에서는 Microsoft 서비스를 숨긴 뒤 타사 서비스만 테스트

⑥ Microsoft 서비스를 모두 껐다가 로그인이 막혔다면 Windows 초기화 전에 서비스 복구 가능 여부 확인

윈도우11 시스템 메모리 부족 가상메모리 페이징 파일 설정과 오류 해결방법
윈도우11 시스템 메모리 리소스 부족 가상메모리 설정

윈도우11 시스템 메모리 부족 증상부터 확인

메모리가 부족하다고 해서 항상 RAM 용량 자체가 부족한 것은 아닙니다.

프로그램이 지나치게 많은 메모리를 사용하거나 브라우저 탭을 많이 열어놓은 경우, 가상메모리가 꺼져 있거나 SSD 여유공간이 부족한 경우에도 비슷한 증상이 발생할 수 있습니다.

윈도우11 메모리 또는 시스템 리소스 부족 프로그램 실행 오류 화면
메모리 또는 시스템 리소스가 부족하여 프로그램을 시작할 수 없습니다.

메모리가 부족할 때 흔히 나타나는 증상

  • 프로그램 실행 중 갑자기 종료됨
  • 작업관리자에서 메모리 사용률이 90~100%에 가까움
  • 프로그램이 응답 없음 상태로 오래 멈춤
  • 브라우저 탭을 열 때 페이지가 강제로 종료됨
  • 포토샵·프리미어·3D 프로그램에서 메모리 부족 오류 발생
  • 윈도우 바탕화면이나 프로그램 화면이 검게 표시됨
  • 대용량 엑셀·워드 문서 또는 프린터 작업 중 리소스 부족 오류 발생

프린터에서 엑셀이나 워드 문서를 출력할 때 별도로 메모리 부족 오류가 나타난다면 프린터 메모리 부족과 엑셀·워드 인쇄 오류 해결방법도 함께 확인하면 좋습니다.

RAM 부족인지 먼저 작업관리자에서 확인

가상메모리 값을 바꾸기 전에 가장 먼저 할 일은 실제로 어떤 프로그램이 메모리를 많이 사용하고 있는지 확인하는 것입니다.

키보드에서 Ctrl + Shift + Esc를 눌러 작업관리자를 실행합니다.

  1. 프로세스 탭을 엽니다.
  2. 메모리 항목을 눌러 사용량이 높은 순서로 정렬합니다.
  3. 사용하지 않는 프로그램인지 확인합니다.
  4. 필요 없는 프로그램이라면 작업 끝내기로 종료합니다.

크롬이나 엣지처럼 탭마다 별도의 프로세스를 사용하는 브라우저는 여러 페이지를 동시에 열어두면 수 GB의 RAM을 사용할 수 있습니다.

포토샵, 프리미어 프로, 애프터이펙트, 3ds Max, Maya, Cinema 4D처럼 고용량 데이터를 처리하는 프로그램도 메모리뿐 아니라 SSD의 캐시와 스크래치 공간까지 함께 사용합니다.

Adobe 프로그램에서 스크래치 디스크가 꽉 차는 문제라면 포토샵·프리미어 스크래치 디스크와 임시파일 캐시 삭제도 같이 확인할 수 있습니다.

윈도우11 가상메모리란?

Windows의 가상메모리는 RAM이 부족할 때 SSD나 하드디스크의 일부를 페이지 파일(Pagefile.sys) 형태로 사용하는 기능입니다.

다만 SSD를 RAM처럼 바꿔주는 기능은 아닙니다.

SSD는 실제 RAM보다 훨씬 느리기 때문에 가상메모리는 메모리 부족으로 프로그램이 바로 종료되는 상황을 줄이는 안전장치에 가깝습니다.

구분 역할
RAM CPU가 빠르게 접근하는 실제 시스템 메모리
가상메모리 RAM 부족 시 SSD 공간을 페이지 파일로 활용
SSD 여유공간 페이지 파일과 프로그램 임시데이터 저장공간 확보

윈도우11 가상메모리 설정방법

고급 시스템 설정 들어가기

Windows 11에서는 다음 순서로 이동합니다.

설정 → 시스템 → 정보 → 고급 시스템 설정

조금 더 빠르게 들어가고 싶다면 Win + R을 누르고 다음 명령을 실행해도 됩니다.

sysdm.cpl

성능 옵션에서 가상메모리 열기

  1. 고급 탭을 선택합니다.
  2. 성능 항목의 설정을 누릅니다.
  3. 다시 고급 탭으로 이동합니다.
  4. 가상 메모리에서 변경을 선택합니다.

가상메모리는 자동 관리가 우선입니다

예전에는 RAM 용량의 1.5배 또는 2배처럼 일정한 값을 직접 입력하는 방법이 많이 사용됐습니다.

하지만 현재 Windows 11에서는 특별한 이유가 없다면 모든 드라이브에 대한 페이징 파일 크기 자동 관리를 켜두는 것이 가장 무난합니다.

추천 설정

일반 사용자 → 모든 드라이브 페이징 파일 자동 관리

직접 드라이브를 지정해야 한다면 → SSD 선택 → 시스템이 관리하는 크기

특정 프로그램의 요구조건이 있거나 오류 분석이 필요한 경우에만 사용자 지정 크기를 검토

SSD에 가상메모리를 설정해도 될까?

가능하면 시스템 SSD에 두는 것이 좋습니다.

최신 SSD는 일반적인 PC 사용에서 페이지 파일 때문에 수명을 지나치게 걱정할 필요가 없으며, HDD에 페이지 파일을 두는 것보다 성능도 훨씬 좋습니다.

단 SSD에 여유공간이 거의 없다면 페이지 파일이 제대로 확장되지 않을 수 있으므로 C드라이브의 남은 공간도 확인하세요.

가상메모리를 늘려도 해결되지 않는 경우

페이지 파일을 설정했는데도 메모리 부족이 계속된다면 물리 RAM 자체가 부족하거나 특정 프로그램에 메모리 누수가 발생하고 있을 가능성도 있습니다.

상황 확인할 내용
RAM 8GB 이하 멀티태스킹이 많다면 RAM 증설 검토
크롬·엣지 사용량 과다 불필요한 탭·확장프로그램 정리
포토샵·영상편집 캐시·스크래치 디스크·RAM 사용설정 확인
C드라이브 용량 부족 페이지 파일 확장을 위한 여유공간 확보
부팅 후 바로 메모리 과다 시작프로그램 확인

RAM을 추가할 경우에는 메인보드와 CPU가 지원하는 규격과 채널 구성을 확인하는 것이 좋습니다. 동일 용량·동일 규격의 메모리를 맞춰 사용하는 것이 구성과 호환성을 관리하기 편하지만, 서로 다른 용량을 사용한다고 해서 무조건 동작하지 않는 것은 아닙니다.

윈도우11 시작프로그램 정리로 메모리 확보

부팅하자마자 메모리 사용량이 높다면 Windows와 함께 자동으로 실행되는 프로그램부터 확인합니다.

Ctrl + Shift + Esc → 작업관리자 → 시작 앱

메신저, 게임 런처, Adobe 업데이트 프로그램, 클라우드 동기화 프로그램처럼 부팅과 동시에 실행할 필요가 없는 항목만 선별해서 비활성화합니다.

여기서 중요한 것은 모든 항목을 무조건 끄는 것이 아니라 필요 없는 항목만 정리하는 것입니다.

MSConfig 서비스는 메모리 확보용으로 전부 끄면 안 됩니다

제가 실제로 문제가 생겼던 부분입니다.

윈도우11 실행창에서 msconfig 시스템 구성 서비스를 실행하는 방법
윈도우11 시스템 구성

Win + R을 누르고 msconfig를 입력하면 시스템 구성을 실행할 수 있습니다.

윈도우11 MSConfig 서비스에서 Microsoft 서비스 숨기기와 타사 서비스 비활성화 설정
윈도우11 최적화 - 서비스 항목 비활성화

여기서 모든 서비스를 그대로 체크 해제하지 마세요

정상적인 클린부팅은 다음 순서입니다.

Win + R → msconfig → 서비스

모든 Microsoft 서비스 숨기기 체크
② 화면에 남은 타사 서비스 확인
③ 필요한 경우에만 모두 사용 안 함
④ 재부팅 후 문제 여부 테스트
⑤ 테스트가 끝나면 다시 정상 시작으로 복구

Microsoft 시스템 서비스를 숨기지 않은 상태에서 모두 사용 안 함을 선택하면 로그인, 네트워크, 보안, 장치, 업데이트 등에 필요한 서비스까지 비활성화될 수 있습니다.

클린부팅 자체가 목적이라면 윈도우 클린부팅과 MSConfig 서비스 안전하게 비활성화하는 방법도 함께 확인하는 편이 좋습니다.

MSConfig 서비스 전부 끈 뒤 PIN 로그인이 안 된 실제 증상

저는 서비스를 체크 해제한 뒤 재부팅했을 때 기존에 잘 사용하던 Windows Hello PIN으로 로그인할 수 없었습니다.

중요한 것은 이 경우 처음부터 PIN 파일이 손상됐다고 단정하지 않는 것입니다.

다음 조건이라면 서비스 설정을 먼저 의심하세요.

• 설정을 변경하기 전까지 PIN 로그인은 정상
• MSConfig에서 서비스를 대량으로 체크 해제함
• 그 직후 재부팅부터 PIN 로그인이 되지 않음
• 바탕화면으로 들어갈 수 없어 서비스를 다시 켤 수도 없음

PIN 복구 전에 암호 로그인과 시스템 복원부터

PIN 대신 계정 암호로 로그인

로그인 화면에서 로그인 옵션을 선택한 뒤 PIN 대신 Microsoft 계정 또는 로컬 계정의 암호를 사용할 수 있는지 확인합니다.

암호 로그인이 된다면 복잡한 레지스트리 복구를 할 필요가 없습니다.

Win + R → msconfig → 일반 → 정상 시작

서비스 상태도 확인한 뒤 적용 → 확인 → 재부팅

안전모드에서는 PIN·얼굴·지문 대신 계정 암호를 요구할 수 있습니다. 관련 문제는 윈도우 안전모드에서 PIN 대신 비밀번호를 요구할 때 해결방법을 참고할 수 있습니다.

복원지점이 있다면 시스템 복원

서비스를 변경하기 전 복원지점이 남아 있다면 다음 순서로 시스템 설정을 되돌리는 방법이 더 간단할 수 있습니다.

Windows 복구환경 → 문제 해결 → 고급 옵션 → 시스템 복원

로그인 자체가 안 되면 Windows 복구환경으로 진입

PIN과 암호로 모두 Windows에 들어갈 수 없다면 로그인 화면의 전원 메뉴에서 Shift 키를 누른 채 다시 시작합니다.

문제 해결 → 고급 옵션 → 명령 프롬프트

Windows가 정상적으로 시작되지 않아 이 메뉴조차 찾기 어렵다면 윈도우11 안전모드·복구모드 부팅 및 로그인방법을 먼저 확인하세요.

BitLocker 사용 PC

Windows 11 노트북이나 완제품 PC는 장치 암호화가 활성화되어 있을 수 있습니다. Windows RE에서 BitLocker 복구키를 요구한다면 초기화하지 말고 복구키부터 확인하세요.

Windows 드라이브가 C인지 D인지 먼저 확인

복구환경에서는 평소 C드라이브였던 Windows 파티션이 D:로 바뀌어 보일 수 있습니다.

dir C:\Windows
dir D:\Windows
dir E:\Windows

Windows와 System32 폴더가 정상적으로 보이는 드라이브를 찾습니다.

아래 복구 명령은 Windows가 C:로 확인된 경우를 기준으로 합니다. D:라면 모든 C:를 D:로 바꿔야 합니다.

MSConfig 서비스 비활성화 후 PIN 로그인 실제 복구방법

레지스트리를 직접 수정하는 고급 복구입니다.

문제 발생 직전에 MSConfig 서비스 전체 비활성화를 했다는 것이 명확한 경우에 사용하세요. 다른 원인의 PIN 오류나 회사 관리 PC에는 그대로 적용하지 않는 편이 좋습니다.

1. SOFTWARE와 SYSTEM 백업

copy C:\Windows\System32\Config\SOFTWARE C:\SOFTWARE-before-msconfig-fix.bak

copy C:\Windows\System32\Config\SYSTEM C:\SYSTEM-before-service-fix.bak

복구 중 문제가 생겼을 때 되돌릴 수 있도록 두 Hive를 먼저 복사합니다.

2. 현재 SOFTWARE 불러오기

REG LOAD "HKLM\OFFSOFT" "C:\Windows\System32\Config\SOFTWARE"

3. MSConfig 서비스 비활성화 기록 삭제

REG DELETE "HKLM\OFFSOFT\Microsoft\Shared Tools\MSConfig\Services" /f

REG UNLOAD "HKLM\OFFSOFT"

4. 백업 SOFTWARE와 현재 SYSTEM 불러오기

REG LOAD "HKLM\BACKSOFT" "C:\SOFTWARE-before-msconfig-fix.bak"

REG LOAD "HKLM\OFFSYS" "C:\Windows\System32\Config\SYSTEM"

5. 현재 ControlSet 확인

REG QUERY "HKLM\OFFSYS\Select"

결과에서 Current 값을 확인합니다.

예를 들어 다음처럼 나온다면,

Current    REG_DWORD    0x1

ControlSet001을 지정합니다.

set O=HKLM\OFFSYS\ControlSet001\Services

0x2가 나온다면 다음과 같이 바꿉니다.

set O=HKLM\OFFSYS\ControlSet002\Services
ControlSet001을 무조건 입력하면 안 됩니다.

반드시 자신의 REG QUERY 결과에 표시된 Current 값에 맞춰 선택하세요.

6. MSConfig 백업 서비스 경로 지정

set B=HKLM\BACKSOFT\Microsoft\Shared Tools\MSConfig\Services

REG QUERY "%B%"

여러 서비스 이름이 표시되는지 먼저 확인합니다.

경로를 찾을 수 없다고 나온다면 이 글과 같은 방식으로 서비스가 비활성화된 것이 아닐 수 있으므로 이후 명령은 중단하는 편이 좋습니다.

7. 기존 서비스 Start 값 복구

명령 프롬프트에 아래 첫 번째 줄을 입력합니다.

for /f "tokens=7 delims=\" %S in ('reg query "%B%"') do ^

More?가 나타나면 두 번째 줄을 입력합니다.

for /f "tokens=3" %V in ('reg query "%B%\%S" /v "%S"') do ^

다시 More?가 표시되면 마지막 명령을 입력합니다.

reg add "%O%\%S" /v Start /t REG_DWORD /d %V /f

서비스마다 작업 완료 메시지가 이어지면 백업 SOFTWARE에 기록된 값을 현재 SYSTEM의 서비스 시작값에 다시 적용하고 있는 것입니다.

CMD에 직접 입력할 때는 %S, %V입니다.

같은 내용을 .cmd 배치파일로 만들 때는 %%S, %%V처럼 % 기호를 두 번 사용해야 합니다.

8. Hive 언로드 후 재부팅

REG UNLOAD "HKLM\OFFSYS"

REG UNLOAD "HKLM\BACKSOFT"

exit

복구 메뉴가 나타나면 계속 → Windows로 계속을 선택합니다.

저는 이 과정을 거친 뒤 Windows가 정상적으로 부팅됐고 기존 계정으로 다시 로그인할 수 있었습니다.

MSConfig 서비스 전체 해제 후 PIN 복구 순서 초기화 전에 변경 직전 상황과 복구 가능 여부부터 확인 서비스 전체 해제 MSConfig 재부팅 PIN 로그인 불가 바탕화면 진입 실패 서비스 복구 불가 Windows RE 명령 프롬프트 Registry Hive 로드 SOFTWARE 백업값 확인 MSConfig Services 기존 Start 값 읽기 SYSTEM 서비스 복구 현재 ControlSet에 Start 값 복원 언로드 → 재부팅 SYSTEM · SOFTWARE 백업이 가장 먼저입니다.

부팅이 복구됐다면 MSConfig와 PIN 다시 확인

Windows에 정상적으로 들어온 뒤에는 Win + R → msconfig를 실행합니다.

  1. 일반 탭에서 정상 시작 상태를 확인합니다.
  2. 서비스 탭에서 Microsoft 시스템 서비스가 정상적으로 활성화되어 있는지 확인합니다.
  3. 다시 한 번 재부팅해 로그인 여부를 확인합니다.

Windows는 정상적으로 부팅되는데 PIN만 계속 오류가 난다면 그때 Windows Hello PIN을 별도로 재설정합니다.

설정 → 계정 → 로그인 옵션 → PIN(Windows Hello)

PIN 제거 버튼이 비활성화됐거나 자동 로그인까지 설정하고 싶다면 윈도우11 PIN 제거 및 자동 로그인 설정방법도 참고할 수 있습니다.

그래도 Windows가 부팅되지 않을 때

이 글의 레지스트리 복구방법은 MSConfig 서비스 전체 비활성화 직후 문제가 생긴 PC를 위한 사례입니다.

다음과 같은 경우에는 원인이 다를 수 있습니다.

  • Windows 업데이트 직후 무한부팅
  • SSD 또는 파일시스템 손상
  • SYSTEM 레지스트리 Hive 손상
  • TPM 또는 Windows Hello 자체 오류
  • 사용자 프로필 손상
  • services.msc에서 개별 서비스를 직접 변경
  • Windows 최적화 프로그램이 서비스를 변경

업데이트 후 계속 재부팅된다면 윈도우11 업데이트 후 무한부팅·무한로딩 복구방법을 먼저 확인하세요.

Windows 시스템 파일 손상이 의심된다면 SFC SCANNOW와 DISM 윈도우 시스템 파일 복구방법도 이어서 사용할 수 있습니다.

블루스크린과 프리징까지 반복된다면 윈도우 블루스크린·프리징 멈춤 원인과 해결방법도 같이 확인하는 것이 좋습니다.

메모리 부족 최적화는 이 순서가 안전합니다

Windows 11 메모리 부족 체크리스트

□ 작업관리자에서 RAM을 많이 쓰는 프로그램 확인

□ 불필요한 브라우저 탭과 프로그램 종료

□ C드라이브 SSD 여유공간 확보

□ 가상메모리는 우선 자동 관리 사용

□ 시작 앱에서 불필요한 프로그램만 비활성화

□ 포토샵·영상편집 프로그램 캐시와 스크래치 디스크 확인

□ RAM이 실제로 부족하다면 물리 메모리 증설

□ MSConfig 사용 시 Microsoft 서비스 숨기기 체크

□ 시스템 서비스 전체 비활성화는 메모리 최적화 방법으로 사용하지 않기

윈도우11 메모리 부족·PIN 로그인 FAQ

가상메모리는 RAM의 몇 배로 설정해야 하나요?

Windows 11에서는 RAM의 1.5배나 2배처럼 고정된 값을 무조건 입력하기보다 시스템이 페이지 파일을 자동 관리하도록 두는 것이 일반적으로 편합니다. 특별한 프로그램 요구사항이 없다면 자동 관리 또는 시스템 관리 크기를 먼저 사용하세요.

가상메모리를 크게 만들면 컴퓨터가 빨라지나요?

아닙니다. 가상메모리는 RAM 부족 시 프로그램이 바로 종료되지 않도록 보완하는 기능입니다. 실제 RAM보다 SSD가 훨씬 느리기 때문에 페이지 파일을 크게 만드는 것만으로 성능이 빨라지지는 않습니다.

SSD에 페이지 파일을 만들면 수명이 줄어드나요?

일반적인 개인 PC 환경이라면 지나치게 걱정할 필요는 없습니다. 성능을 생각하면 HDD보다 SSD에 두는 편이 유리하며, SSD 여유공간을 충분히 확보하는 것이 중요합니다.

RAM이 8GB인데 가상메모리만 늘리면 충분한가요?

인터넷과 문서작업 정도라면 사용할 수 있지만 여러 프로그램을 동시에 실행하거나 사진·영상편집, 3D 작업을 한다면 실제 RAM 증설이 더 효과적입니다.

MSConfig 서비스를 모두 꺼도 메모리가 많이 확보되나요?

권장하지 않습니다. 얻는 메모리보다 로그인·네트워크·업데이트·장치와 관련한 Windows 기능이 고장날 위험이 더 큽니다. 클린부팅이 필요하다면 모든 Microsoft 서비스를 숨긴 뒤 타사 서비스만 테스트하세요.

서비스를 끈 뒤 PIN이 안 되면 PIN부터 삭제해야 하나요?

문제 직전에 MSConfig 서비스를 대량으로 비활성화했다면 서비스 설정을 먼저 확인하는 것이 좋습니다. 암호 로그인이 되는지 확인하고 시스템 복원을 먼저 시도한 뒤 필요할 때만 고급 서비스 복구를 진행하세요.

안전모드에서 기존 PIN이 안 되는 것은 고장인가요?

안전모드에서는 Windows Hello PIN이나 지문·얼굴 로그인이 평소와 다르게 제한될 수 있으며 실제 계정 암호를 요구할 수 있습니다.

ControlSet001을 그대로 입력해도 되나요?

안 됩니다. 오프라인 SYSTEM의 Select 키에서 Current 값을 먼저 확인하고 자신의 PC에 맞는 ControlSet001, ControlSet002 등을 지정해야 합니다.


반응형