제너레이터(Generator)와 이터레이터 깊이 이해하기

파이썬 제너레이터와 이터레이터 완벽 이해 - 데이터 효율 처리 비법

파이썬 제너레이터와 이터레이터는 대용량 데이터를 효율적으로 다루는 핵심 개념입니다. 메모리 사용을 최적화하고 성능을 향상시키는 이 두 가지 기능을 쉬운 예제와 함께 자세히 알아봅니다. 파이썬으로 더 똑똑하게 코딩하는 방법을 배워보세요.

여러분은 아마도 파이썬에서 for 루프를 사용해 리스트의 항목을 하나씩 꺼내본 경험이 있을 것입니다. 이때 파이썬은 내부적으로 이터레이터라는 개념을 사용합니다. 그리고 이 이터레이터를 '필요할 때마다' 만들어내는 특별한 방법이 바로 제너레이터입니다. 마치 거대한 책꽂이의 책을 한 번에 모두 꺼내기보다, 필요할 때마다 한 권씩 꺼내보는 것과 같다고 생각하시면 됩니다. 이 강좌를 통해 메모리 효율성을 극대화하고 프로그램의 성능을 높이는 이 강력한 도구들을 완전히 이해하게 될 것입니다.

이터레이터(Iterator)는 무엇일까요?

이터레이터는 '어떤 묶음에서 다음 것을 꺼낼 수 있는 방법'을 알려주는 도구입니다. 리스트나 문자열처럼 여러 개의 값을 담고 있는 자료구조를 for 루프로 반복할 때, 파이썬은 내부적으로 이터레이터를 사용합니다. 이터레이터는 값을 모두 기억하지 않고, 지금 어떤 값을 제공했고 다음에는 어떤 값을 제공할지 아는 똑똑한 안내자라고 생각할 수 있습니다.

실습 코드 예시 1: 이터레이터의 작동 원리 살펴보기

파이썬의 iter() 함수는 어떤 묶음(리스트, 튜플 등)에서 이터레이터 객체를 만들어내고, next() 함수는 이 이터레이터에서 다음 값을 하나씩 꺼내옵니다. 더 이상 꺼낼 값이 없으면 StopIteration이라는 신호를 보냅니다.

Python

# 리스트를 반복하는 일반적인 방법 (for 루프) print("--- for 루프를 사용한 반복 ---") my_numbers = [10, 20, 30, 40, 50] for num in my_numbers: print(num) print("\n--- 이터레이터를 직접 사용한 반복 ---") # iter() 함수로 리스트에서 이터레이터 객체를 얻습니다. # 이터레이터는 "다음 값을 알려줄 준비가 된" 객체라고 생각하세요. my_iterator = iter(my_numbers) # next() 함수로 다음 값을 하나씩 가져옵니다. print(next(my_iterator)) # 첫 번째 값 (10) print(next(my_iterator)) # 두 번째 값 (20) print(next(my_iterator)) # 세 번째 값 (30) # 이제 이터레이터는 10, 20, 30을 반환했으므로, 다음 번 next() 호출 시 40을 반환합니다. # 만약 next()를 계속 호출하다가 더 이상 값이 없으면 StopIteration 에러가 발생합니다. # 이 에러는 for 루프가 자동으로 처리해주기 때문에 우리가 보통 볼 일은 없습니다.

위 코드를 실행하면 다음과 같은 결과가 화면에 나타납니다.

출력 결과

--- for 루프를 사용한 반복 --- 10 20 30 40 50 --- 이터레이터를 직접 사용한 반복 --- 10 20 30

제너레이터(Generator)는 무엇일까요?

제너레이터는 특별한 종류의 함수입니다. 일반 함수는 값을 한 번 '반환(return)'하고 끝나지만, 제너레이터는 yield라는 키워드를 사용하여 값을 하나씩 '생성(generate)'합니다. 값을 생성할 때마다 함수 실행을 잠시 멈추고 값을 내어주고, 다음번에 다시 요청이 오면 멈췄던 지점부터 다시 실행을 시작합니다. 마치 붕어빵 장수가 주문이 들어올 때마다 붕어빵을 하나씩 구워주는 것과 비슷합니다. (미리 왕창 만들어 놓는 대신)

실습 코드 예시 2: 제너레이터 함수 만들어보기

yield 키워드를 사용하면 일반 함수가 제너레이터 함수로 변신합니다. 이 함수를 호출하면 즉시 코드가 실행되는 것이 아니라, 제너레이터 객체(이터레이터의 한 종류)를 반환합니다.

Python

# '안녕하세요', '반갑습니다', '또 만나요' 세 가지 인사를 차례로 생성하는 제너레이터 def greeting_generator(): print("첫 번째 인사 준비 중...") yield "안녕하세요!" print("두 번째 인사 준비 중...") yield "반갑습니다!" print("세 번째 인사 준비 중...") yield "또 만나요!" print("모든 인사 완료.") # 제너레이터 함수를 호출하여 제너레이터 객체를 얻습니다. # 이때는 아직 함수의 내부 코드가 실행되지 않습니다. my_greetings = greeting_generator() print("--- 제너레이터 시작 ---") # next()를 호출할 때마다 yield 옆의 값이 생성되고, 함수 실행이 잠시 멈춥니다. print(next(my_greetings)) print(next(my_greetings)) print(next(my_greetings)) # 더 이상 생성할 값이 없으므로 StopIteration 에러가 발생합니다. (주석 처리) # print(next(my_greetings)) print("--- 제너레이터 종료 ---")

위 코드를 실행하면 다음과 같은 결과가 화면에 나타납니다.

출력 결과

--- 제너레이터 시작 --- 첫 번째 인사 준비 중... 안녕하세요! 두 번째 인사 준비 중... 반갑습니다! 세 번째 인사 준비 중... 또 만나요! 모든 인사 완료. --- 제너레이터 종료 ---

실습 코드 예시 3: 대용량 데이터를 효율적으로 다루는 제너레이터

제너레이터의 가장 큰 장점은 '필요할 때만' 값을 생성하기 때문에 메모리를 매우 효율적으로 사용할 수 있다는 점입니다. 예를 들어, 1부터 1억까지의 숫자를 리스트에 담으려면 엄청난 메모리가 필요하지만, 제너레이터는 그럴 필요 없이 필요한 숫자만 그때그때 만들어낼 수 있습니다.

Python

# 1부터 N까지의 숫자를 제곱하여 생성하는 제너레이터 def square_numbers(n): for i in range(1, n + 1): yield i * i # 50000000 (5천만)까지의 숫자를 제곱하는 제너레이터를 사용합니다. # 만약 이 모든 제곱값을 리스트에 저장한다면 엄청난 메모리가 필요할 것입니다. # 하지만 제너레이터는 값을 하나씩 생성하므로 메모리 부담이 적습니다. large_squares_gen = square_numbers(50000000) print("--- 제너레이터로 큰 숫자 시퀀스 처리 ---") # 처음 몇 개의 값만 출력해봅시다. print(next(large_squares_gen)) # 1*1 print(next(large_squares_gen)) # 2*2 print(next(large_squares_gen)) # 3*3 # 실제 사용 시에는 for 루프와 함께 사용하는 경우가 많습니다. # 예를 들어, 처음 5개까지만 출력해봅시다. print("\n--- for 루프로 제너레이터 사용 (처음 5개) ---") count = 0 for sq_num in square_numbers(50000000): # 새로운 제너레이터 객체 생성 print(sq_num) count += 1 if count >= 5: break # 5개만 출력하고 멈춥니다.

위 코드를 실행하면 다음과 같은 결과가 화면에 나타납니다.

출력 결과

--- 제너레이터로 큰 숫자 시퀀스 처리 --- 1 4 9 --- for 루프로 제너레이터 사용 (처음 5개) --- 1 4 9 16 25

중요:

yield 키워드는 제너레이터 함수의 핵심이며, 값을 하나씩 '생성'하고 함수의 실행을 일시 중지합니다. 제너레이터는 큰 데이터셋이나 무한한 시퀀스를 다룰 때 메모리를 효율적으로 사용합니다. 이터레이터는 값을 순회하는 '방법'을 제공하고, 제너레이터는 이러한 이터레이터를 '생성'하는 특별한 함수입니다.

주의:

제너레이터는 한 번 생성된 값을 소비하고 나면, 다시 처음부터 값을 얻으려면 제너레이터 함수를 다시 호출하여 새로운 제너레이터 객체를 만들어야 합니다. 또한, yield 대신 return을 사용하면 일반 함수처럼 작동하여 한 번에 하나의 값만 반환하고 종료되므로 주의하세요.

핵심 : 이터레이터는 순차적으로 값을 제공하는 '방법'이며, 제너레이터는 yield 키워드를 사용하여 필요할 때마다 값을 '생성'하는 특별한 함수입니다. 이들은 메모리 효율성을 극대화하고 대용량 데이터를 처리하는 데 매우 유용합니다.

마무리 요약

이번 시간에는 파이썬의 핵심 개념인 이터레이터와 제너레이터를 깊이 있게 이해하는 시간을 가졌습니다. 이터레이터는 데이터를 순서대로 꺼내는 '방법'을 제공하며, 제너레이터는 yield 키워드를 사용하여 필요할 때마다 값을 '생성'하는 특별한 함수입니다.

이 두 개념을 통해 여러분은 대용량 데이터를 메모리 효율적으로 처리하고, 프로그램의 성능을 향상시키는 강력한 도구를 얻게 되었습니다. 이제 여러분의 파이썬 코드가 더 스마트하고 효율적으로 작동할 수 있게 되었습니다. 다음 강의에서는 파이썬의 '예외 처리' 방법에 대해 배워보며, 더욱 견고한 프로그램을 만드는 방법을 익혀보겠습니다.

궁금한 점이나 추가로 알고 싶은 내용이 있다면 언제든지 댓글로 질문을 남겨주세요!

다음 강의도 꼭 확인해보세요.