리눅스 또는 유닉스같은 운영체제를 제대로 사용하는지의 척도로 파이프 라이닝을 얼마나 잘 하는지를 보는 사람들이 있다. 이에 대해서는 나 역시도 이견이 없다. 때로는 잘 알려진 유닉스 유틸리티들을 복합적으로 잘 사용하는 것만으로도 골치하픈 분석 프로그램을 제작하는 수고를 덜 수 있기 때문이다.
하나의 프로세스가 표준 입력을 통해 필요한 데이터를 전달받고 처리 후 파이프 라이닝을 통해 다음 프로세스에게 전달해 주는 것만으로도 이미 훌륭하다고 볼 수 있지만, 가끔 동일한 읽기 작업을 하나로 묶어서 처리하고 그 출력을 다수의 입력으로 파이프 라이닝 해 주고 싶은 경우가 있을 수도 있다.
단편적인 예를 들자면 하나의 디스크에서 몇 십 기가 또는 테라 바이트의 데이터를 처리하는 경우를 들 수 있는데, 만약 이 작업을 여러개의 프로세스가 병렬로 작업을 해야 한다면 각각의 프로세스가 각각 디스크를 긁어가며 데이터에 접근하는 비효율적인 작업이 이루어져야 한다.
구체적인 예를 들어 아래처럼 세 개의 프로세스가 병렬로 실행된다고 생각해 보자.
cat /disk/file.dat | preprocess | process1
cat /disk/file.dat | preprocess | process2
cat /disk/file.dat | preprocess | process3
|
file.dat는 각각의 프로세스에 의해 따로 따로 읽혀지게 되고 디스크는 평소보다 훨씬 스트레스를 받으며 작업을 수행해야 할 것이다.
여기서 cat /disk/file.dat | preprocess 까지의 작업을 한 번만 처리하고 이 작업을 통해 나온 결과를 세갈래로 분리해서 process1, process2, process3에 전달해 줄 수 있다면 디스크가 감당해야 하는 스트레스가 훨씬 줄어들 것이다.
이러한 작업을 수행할 수 있는 유닉스 유틸리티로 Tee가 있다. Tee는 영문 대문자 T처럼 생긴 파이프를 연상하게 하는 작업을 한다. 한 쪽 (왼쪽)으로 입력된 데이터가 다른 두 방향 (오른쪽, 아래쪽) 으로 분리되어 출력되는 모습을 연상하여 Tee (T)라고 명명한 듯 하다.
그럼 이제 위의 예제를 한 번의 디스크 접근으로 세 개의 프로세스가 같이 입력을 받는 방법으로 바꾸어 보겠다. Tee의 기본적인 접근 방법으로 다음과 같이 실행할 수 있다.
cat /disk/file.dat | preprocess | tee >(process1) | tee >(process2) | process3
|
위와 같은 방법을 이용하면 첫 번째 tee에서 출력이 나누어져 process1로 표준 출력으로 들어가고 다른 출력은 파이프라이닝을 통해 다음 프로세스인 process2로 넘어간다. 여기서 다시 tee를 이용해 출력이 분리되고 process2와 파이프라이닝을 통한 process3로 출력이 전달된다. 그러나 이 방법의 경우, process2와 process3이 받는 입력이 preprocess에 의한 클린 출력이 아니므로 전 단계의 프로세스가 발생한 표준 출력을 첨가해서 받게 된다. 예제에서 process1, process2, 그리고 process3이 같은 작업을 하는 프로세스들이라면 이런 경우 원하지 않는 결과를 얻게 될 것이다.
그래서 세 개의 프로세스가 동시에 클린 출력을 입력받고자 한다면 다음과 같이 처리를 해 줄 수도 있다.
cat /disk/file.dat | preprocess | tee >(process1) >(process2) >(process3) | >/dev/null
|
허나 이 방법 역시 마지막 표준 출력을 복사해서 null 디바이스 보내는 불필요하고 값비싼 작업을 수행해야 하므로 좋은 방법이라 할 수가 없다. 하나의 대안으로 tee의 변형인 pee를 사용할 수 있다. 우분투의 경우 "moreutils"라는 패키지를 설치한 후 사용할 수 있는 유틸리티이다.
| cat /disk/file.dat | preprocess | pee "process1" "process2" "process3" |
위와 같이 출력을 표기하는 방법이 간소화 되어 있고 마지막의 표준 출력을 따로 처리해 주지 않아도 된다.
이 유틸리티들의 퍼포먼스에 대해서는 의견이 분분하다. 첫째로, Tee가 출력을 복사하는 연산을 수행하기 때문에 연산 속도가 느려진다는 점이다. 경험상 이 경우는 무시할 수 없는 사실이었다. 한 개의 프로세스가 도는 속도에 비해 3개의 프로세스가 tee를 통해 분산되어 처리될 때 약 1.5배의 속도 저하가 있었다.
하지만 이는 3개의 프로세스를 동시에 돌린 것과 Tee를 통해 3개의 프로세스가 돈 속도를 비교한 것이 아니기 때문에 정확한 데이터라 할 수는 없다. 개인적으로 3개의 프로세스가 하나의 데이터를 병렬로 계속 접근한다면 분명 더 큰 속도 저하가 있으리라고 생각된다. 이는 다음에 테스트해 본 후 다시 포스팅 하고자 한다.
|
