간단하게 설명하면 보통은 다수의 쓰레드가 작동할 때에 아래와 같은 모델을 상상하게 됩니다.
프로그램을 통해 살펴보면
위는 한 개의 Thread를 동작시켜 총 작업 시간을 출력한 프로그램입니다.
100000000의 숫자를 하나씩 빼면서 while문을 돌리는 간단한 프로그램입니다.
출력 결과는 아래와 같습니다.
---------------------------------------------------
Starting Thread_1
Thread_1 의 작업 시간 8
Exiting Thread_1
Exiting Main Thread
총 작업 시간 8
---------------------------------------------------
또 다른 프로그램을 살펴보면
위는 두 개의 Thread를 동작시켜 총 작업 시간을 출력한 프로그램입니다.
기본적으로 생각했을 때엔 위에서 살펴본 하나의 Thread의 작업 시간인 8초와
동일한 시간을 생각 해 볼 수 있습니다. 하지만 결과는 아래와 같습니다.
---------------------------------------------------
Starting Thread_1
Starting Thread_2
Thread_2 의 작업 시간 15
Exiting Thread_2
Thread_1 의 작업 시간 16
Exiting Thread_1
Exiting Main Thread
총 작업 시간 16
---------------------------------------------------
생각했던 것과는 다르게 하나의 Thread의 작업 시간 8초의 두 배인 16초가 출력 되는 것을 보실 수 있습니다.
위와 같은 이유로 python에서는 thread보단 multiprocessing이 권장되어집니다.
1. Multiprocessing
python에서 사용하는 multiprocessing은 fork()와 같게 생각하시면 됩니다.하나 이상의 자식 process를 생성하여 이를 병렬구조로 처리하는 것을 지칭합니다.
import multiprocessing
위와같이 모듈을 불러와 사용 할 수 있습니다.
2. Pool
p = Pool(n)위의 Pool(n)을 통해 미리 process를 생성 할 수 있게 됩니다.
p.map(function, values)
위의 Pool.map을 통해 각 process들이 함수를 동작 시키게 할 수 있습니다.
multiprocessing의 pool을 이용한 예제를 통해 살펴보겠습니다.
위의 예제는 pool을 통해 3개의 process를 생성하고, f(x)함수를 불러와 1초씩 함수에서 대기하게 됩니다. 결론적으로 3개의 process가 10개의 값을 연산하려면 아래와 같이 총 4초가 걸리게 됩니다.
프로세서 값 연산시간 누적 연산시간
process 1 -> 0 -------- 1초 -------- 1초
process 2 -> 1 -------- 1초 -------- 1초
process 3 -> 2 -------- 1초 -------- 1초
------------------------------------------------------
process 1 -> 3 -------- 1초 -------- 2초
process 2 -> 4 -------- 1초 -------- 2초
process 3 -> 5 -------- 1초 -------- 2초
------------------------------------------------------
process 1 -> 6 -------- 1초 -------- 3초
process 2 -> 7 -------- 1초 -------- 3초
process 3 -> 8 -------- 1초 -------- 3초
------------------------------------------------------
process 1 -> 9 -------- 1초 -------- 4초
process를 4개로 늘리거나, range를 (0,9)로 수정한다면 누적 연산시간이 3초가 걸리는 것을
확인 하실 수 있습니다.
아래는 출력 결과입니다.
값 0 에 대한 작업 Pid = 3712
값 1 에 대한 작업 Pid = 3740
값 2 에 대한 작업 Pid = 2568
값 3 에 대한 작업 Pid = 3712
값 4 에 대한 작업 Pid = 3740
값 5 에 대한 작업 Pid = 2568
값 6 에 대한 작업 Pid = 3712
값 7 에 대한 작업 Pid = 3740
값 8 에 대한 작업 Pid = 2568
값 9 에 대한 작업 Pid = 3712
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
총 작업 시간 4