생산성을 위한 유의미한 컴퓨터 벤치마킹 테스트 가이드

벤치마크 프로그램은 잘 정의된 테스트 환경(일반적으로 컴퓨터의 최종 구성과는 거리가 먼)을 기반으로 컴퓨터의 “성능”을 분석하려고 시도합니다. 벤치마크 도구는 시스템 리소스, 가상 소프트웨어 환경, 애플리케이션, 처리 부하 시뮬레이션, 사용자 부하 시뮬레이션, 시스템 사용 시뮬레이션 등과 같이 대조해야 할 한계를 이용하고, 이러한 한계를 극복하여 의심스러운 결과를 내기 위해 필요한 모든 조치를 취할 수 있습니다. “업계 표준 벤치마크를 갖추는 것은 벤치마크가 조작되지 않는다면 항상 좋은 일입니다. 안타깝게도 많은 업계 벤치마크가 조작되고 있습니다. […] 그럼에도 불구하고 많은 조직이 자신의 워크로드를 이해하고 요구 사항과 예산에 따라 하드웨어를 구매하기보다는 벤치마크를 기반으로 하드웨어를 구매하는 것 같습니다.” (Newman, 2015) 이는 고객이 정확히 무엇을 측정하고자 하는지 알아야 하는 이유를 설명합니다. 벤치마크 프로그램은 소위 실제 사용자 경험을 반영할 수 없으며, 단지 해당 프로그램이 의도된 컴퓨터에서 얼마나 잘 실행되는지만을 반영할 것입니다. 따라서 결과가 생산적인 환경에서 어떻게 적용될지 결정하는 것은 고객의 책임입니다.

놀랍게도 벤치마크를 올바르게 수행하는 것은 매우 어렵습니다. 잘못되거나 오해의 소지가 있는 결과를 도출하고 중요한 것을 누락할 가능성이 많기 때문입니다. 백서 “파일 시스템 및 스토리지 벤치마킹에 대한 9년 연구”는 이를 다음과 같이 요약합니다:

이 논문에서 우리는 최근 106편의 논문에서 파일 시스템 및 스토리지 벤치마크 415건을 조사했습니다. 우리는 가장 인기 있는 벤치마크 대부분에 결함이 있으며 많은 연구 논문이 진정한 성능에 대한 명확한 지표를 제공하지 않는다는 것을 발견했습니다. (Traeger, Zadok, Joukov, & Wright, 2008)

해당 백서에서는 무엇을 테스트할지, 왜 테스트하는지 설명해야 하며, 기대되는 시스템 성능을 일종의 분석을 통해 수행(또는 용이하게)해야 한다는 벤치마크에 대한 설명을 볼 수 있습니다.

“성능 안티 패턴(Performance Anti-Patterns)” 기사에는 이 경우 벤치마크를 어떤 용도로, 어떻게 실행해야 하는지 결정하기 위해 강조된 몇 가지 사항이 있습니다. 따라서 좋은 벤치마크는 다음과 같아야 합니다:

• 반복 가능(Repeatable): 비교 실험을 비교적 쉽게 수행할 수 있고 적절한 정밀도를 가져야 합니다.
• 관찰 가능(Observable): 성능이 저하되면 개발자가 원인을 파악하기 시작할 지점이 있어야 합니다. 단일 숫자만을 결과로 내놓아 개발자에게 문제의 원인에 대한 추가 정보를 전혀 주지 않는 복잡한 벤치마크보다 좌절스러운 것은 없습니다.
• 이동 가능(Portable): 주요 경쟁 제품(이전 릴리스 버전 포함)과 비교가 가능해야 합니다. 이전 릴리스 버전의 성능 기록을 유지하는 것은 자체 개발 프로세스를 이해하는 데 귀중한 도움이 됩니다.
• 쉽게 제시 가능(Easily presented): 누구나 간단한 프레젠테이션으로 비교 내용을 이해할 수 있어야 합니다.
• 현실적(Realistic): 측정이 고객이 경험하는 현실을 반영해야 합니다.
• 실행 가능(Runnable): 모든 개발자가 변경 사항의 영향을 빠르게 확인할 수 있어야 합니다. 성능 결과를 얻는 데 며칠이 걸린다면 자주 수행될 수 없습니다.

선택된 모든 벤치마크가 이러한 기준을 모두 충족하지는 않겠지만, 그중 일부는 충족하는 것이 중요합니다. Smaalders는 고객의 요구를 진정으로 대변하는 벤치마크를 선택할 것을 권장하며, 그렇지 않으면 모든 노력이 잘못된 행동을 최적화하는 것으로 끝날 것이라고 경고합니다. 그는 또한 어떤 대가를 치르더라도 경쟁에서 이기기 위해 벤치마크를 최적화하려는 유혹을 뿌리치라고 독려합니다. 그러한 행동은 브랜드나 공급자에 대한 신뢰를 떨어뜨리는 가짜 결과를 제공할 것입니다. 일반적으로 벤치마크는 측정되지 않는(고객에게 중요할 수 있는) 다른 측면을 희생하면서 최적화된 측면만을 강조할 것입니다. (Smaalders, 2006)

다양한 시스템을 구매할 목적으로 비교할 때 또 다른 요소는 가격 대비 성능 비율입니다. 이 비율은 장비의 5년 자본 비용을 포함하여 정량화할 수 있습니다. (Anon & Gray, 1985)

벤치마크 소프트웨어를 사용한 단순 테스트만으로는 전체 성능 분석이 이루어지지 않습니다. 벤치마크 프로그램은 일반적으로 제어된 환경에서 작동하므로 원하는 수치(가능한 최고치)를 얻기 위해 조작될 수 있습니다. 그럼에도 불구하고, 그러한 수치는 실제 고객 경험과의 적절한 상관관계를 절대로 제공하지 않습니다. 오히려 제공된 측정값은 특정 벤치마크에서 얼마나 잘 작동하는지를 나타내는 점수일 뿐입니다. 큰 문제는 사용자가 무엇이 테스트되는지, 벤치마크 점수의 측면이 어떻게 측정되는지, 컴파일러에 어떤 플래그가 설정되었는지, 프로그램 하위에 어떤 코드나 라이브러리가 있는지, 그리고 더 중요한 것은 프로그램이 테스트하는 내용이 컴퓨터의 실제 의도된 사용 목적을 반영하는지 결코 알 수 없다는 점입니다. 따라서 다음과 같은 몇 가지 주목할 점이 있습니다:

• 벤치마크는 실제 사용자 경험을 결코 반영하지 않습니다. 완전히 자동화된 프로그램으로서, 열기, 쓰기, 설정, 읽기, 저장, 표시, 보기, 탐색, 이동, 계산, 할당 및 기타 여러 작업을 완전히 자동화된 방식으로 수행합니다. 이러한 방식은 인간이 업무를 수행하는 속도를 결코 반영하지 못합니다. 따라서 실제 사용자 경험을 기반으로 결과를 약속하는 모든 벤치마크 프로그램은 거짓입니다.
• 모든 벤치마크가 멀티태스킹 성능을 평가하는 것은 아닙니다. 대다수의 벤치마크는 순차적으로 실행되는 작업만 평가합니다. 한 가지를 테스트한 다음 다음 작업을 테스트합니다. 애플리케이션이 무언가를 수행하는 동안 다른 애플리케이션이 다른 작업을 수행하도록 하지 않습니다(그렇게 하더라도 보통 두 개, 많아야 세 개의 인스턴스를 시도합니다). 실생활에서 사용자는 여러 애플리케이션을 동시에 실행합니다. 대부분의 사용자는 한 번에 여러 애플리케이션을 엽니다(운영 체제도 일상 업무를 수행하는 동안 많은 작업을 실행합니다). 단 하나의 프로세스/애플리케이션만을 반영하는 벤치마크는 두 번째, 세 번째, 그리고 나머지 프로세스/애플리케이션과 선형적으로 확장되지 않는다는 점을 언급할 가치가 있습니다. 따라서 현대의 멀티코어 기술에서는 벤치마크 프로그램의 결과를 비판적으로 받아들일 필요가 있습니다.
• “수치”는 “성능”과 다릅니다. 수치는 프로그램에서 제공하는 숫자일 뿐입니다. 성능은 더 복잡한 개념입니다. 수치는 벤치마크 프로그램과 개발자가 정한 척도에 따라 달라집니다. 성능은 정확성, 완전성, 비용 및 속도라는 미리 설정된 알려진 표준과 비교하여 측정된 주어진 작업의 성취도를 의미합니다(The Business Dictionary, 2017). 따라서 벤치마크 프로그램의 수치가 곧 성능 지표를 반영하지는 않습니다.
• 벤치마크는 부정확합니다. 벤치마크 프로그램 수치의 변동은 최대 10%(때로는 그 이상)에 달할 수 있습니다. 이러한 벤치마크 수치는 항상 주관적이며, 이는 과학과 기술의 객관적인 원칙에 어긋납니다. 그렇기 때문에 벤치마크 프로그램은 주어진 수치의 평균을 계산하기 위해 최소 3번 실행해야 합니다. 평균을 결정한 후에는 결과의 ±3% 정도 변동이 있을 것으로 예상됩니다(이러한 변동은 수집된 결과를 바탕으로 계산할 수 있습니다).
• 벤치마크 결과는 조작될 수 있습니다. 벤치마크 프로그램의 결과를 조작하여 사용자를 현혹하기 위해 인위적으로 높은 수치를 제공하는 방법은 여러 가지가 있습니다. 이는 과도한 조정, BIOS 설정, 하드웨어 변경, 특수 드라이버 사용, 코드 조작 등 여러 기술을 통해 수행될 수 있습니다. 벤치마크 수치는 컴퓨터가 실제로 사용되는 방식과 비교하여 비현실적인 설정으로 얻어질 수 있습니다. 시스템이 프로그램과 프로세스로부터 자유롭고 특정 벤치마크에 의존하는 특정 값을 갖도록 요구되는데, 이는 컴퓨터가 생산성 업무에 사용되는 방식과는 다릅니다. Henry Newman이 말했듯이: “벤치마크가 우리에게 말해주는 것은 1) 공급자가 상자 안에 얼마나 많은 하드웨어를 채워 넣을 수 있는지, 2) 공급자 팀이 [벤치마크를 위해] 소프트웨어를 얼마나 잘 최적화할 수 있는지, 3) 공급자가 거래를 얼마나 간절히 원하는지입니다.” (Olds & OrionX, 2011) 고객이 명확하게 명시한 벤치마크 프로토콜이 없다면, 벤치마크 수행자가 원하는 결과를 얻기(또는 능가하기) 위해 행할 수 있는 모든 속임수에 문이 열려 있게 됩니다.

결국 벤치마크 프로그램은 정밀한 도구가 아니며 주의해서 사용해야 합니다. Henry Newman이 개인적인 대화에서 인용했듯이, “시스템 성능 도구를 […] 벤치마크와 비교하는 것은 […] 사과와 나는 돼지를 비교하는 것과 같습니다.” (Carrier, 2012)

벤치마크에서 제공되는 점수는 시스템 전체 성능에 대한 완전한 이해를 도출하기 위해 다른 벤치마크 및 추가 세부 정보와 함께 사용해야 합니다. 벤치마크는 기껏해야 컴퓨터의 “속도를 측정”하는 것뿐이며, 상업 표준, 군사 표준, 기능성, 특징, 인증, 가격 등 고려해야 할 다른 많은 측면이 있습니다.

구매를 위해 평가 중인 컴퓨터가 다양한 사용자 요구 사항을 충족해야 하는 경우, 의도된 사용 사례를 미리 결정하여 적절한 적격성 평가 기준의 상세 목록을 수립하는 것이 가장 좋습니다. 대부분의 경우 컴퓨터는 다음 컨텍스트 중 하나 이상에서 사용될 가능성이 높습니다:

• 현재의 그래픽 운영 환경(최소 Windows 10 또는 GNU/Linux 배포판)에서 사용될 경우
  • 또는 Windows 7이나 Windows 8.1과 같은 이전 버전의 운영 체제, 또는 이전 GNU/Linux 배포판에서 사용될 경우
• 기본 생산성 (다음을 포함하여 실행 중인 애플리케이션이 5개 이하):
  • 안티바이러스
  • 워드 프로세서
  • 이메일
  • 스프레드시트의 가벼운 사용
  • 웹 기반 애플리케이션
  • 탭을 6개 이하로 열어두는 웹 브라우징
• 표준 생산성 (다음을 포함하여 실행 중인 애플리케이션이 5~10개):
  • 기본 생산성과 동일하며, 또한…
  • 오피스 애플리케이션(이미지 조작을 포함한 워드 프로세서, 수식과 일부 스크립트가 포함된 스프레드시트, 프레젠테이션, 기본 데이터베이스 관리)
  • 탭 15개 이하의 웹 브라우징
  • 웹 회의
  • 이미지 및 동영상의 간단한 보기와 편집
  • 교육
  • 현재 가속 컴퓨팅을 사용하는 동영상, 이미지, 애니메이션, 웹 액세스 및 애플리케이션의 광범위한 사용을 가정할 수 있음
• 파워 유저 (다음을 포함하여 10개 이상의 애플리케이션 실행):
  • 표준 생산성과 동일하며, 또한…
  • 애플리케이션 개발
    • 프로그래밍 언어 및 환경 사용
    • 데이터베이스 생성, 관리 및 테스트
    • 가상 컴퓨터를 사용한 테스트 베드
    • 제어된 테스트 환경
  • 과학 연구용 프로그램
    • 특수 애플리케이션
    • 엔지니어링 및 과학 애플리케이션
    • 가상 현실(VR)
• 일반적인 지식으로, 게임은 현재 고성능 컴퓨팅으로 간주됩니다 (Stevenson, Le Du, & El Afrit, 2011)
• 기타 기준
  • 낮은 전력 소비가 필요한가요?
  • 컴퓨터가 차지하는 공간이 중요하거나 제한적인가요?
  • 이동성이 필요한가요?
  • 배터리 사용 시간이 중요한가요?
  • 무게가 중요한가요?
  • 거칠거나 먼지가 많거나 시끄러운 환경에서의 휴대용 사용을 암시하는 기타 특정 용도

이 섹션 제목의 용어는 이상해 보일 수 있지만, 사실 일반적으로 무시되거나 간과되는 문제입니다. 이는 다음 질문을 의미합니다: 사용자에게 실제로 중요한 응답 시간은 얼마인가? 속도와 성능은 사실 상대적인 용어입니다. Ilya Grigorik은 “성능”이라는 단어가 의미하는 바에 대해 흥미로운 개념을 제안합니다.

“성능은 단지 밀리초, 프레임, 메가바이트가 아닙니다. 또한 이러한 밀리초, 프레임, 메가바이트가 사용자가 애플리케이션을 어떻게 인식하는지로 변환되는 방식이기도 합니다.” (Grigorik, 2014)

각 애플리케이션은 비즈니스 기준, 컨텍스트, 사용자 기대치 및 사용자에게 전적으로 지향된 지각 처리 시간 상수에 따라 고유한 요구 사항을 규정합니다. 다시 말하지만, 사용자 기대치는 Maister의 제1법칙과 관련이 있습니다. “만족도는 인식에서 기대치를 뺀 값과 같다.” (Maister, 1985) 삶이 얼마나 빨라지든, 적어도 빨라진다고 인식되든(66ms당 1프레임), 우리의 반응 시간은 일정하게 유지됩니다. 기존 연구(Thorpe, Fize, & Marlot, 1996)에 따르면 사용자가 초당 약 15프레임을 볼 수 있다고 고려할 때, 다음 표(군사 표준 1472G 기반)는 사용자가 일반적으로 기대하는 응답 시간에 대한 명확한 아이디어를 제공합니다. 이는 애플리케이션 유형(컴퓨터에 설치됨 또는 온라인)이나 미디어(노트북, 데스크톱 또는 모바일 장치)와 관계없이 적용됩니다.

실제 시간 및 사용자 인식 (Seow, 2008)

• 0 – 100 ms: 즉각적
• 100 – 500 ms: 즉시
• 500 – 1000 ms: 빠름
• 1 – 10 s: 지연이 감지되지만 사용자가 집중력을 잃지는 않음
• +10 s: 컴퓨터가 너무 느려서 사용자의 주의를 유지할 수 없음

사용자 요청에 대한 응답이 빠르게 느껴지려면 1초 이내에 도달해야 합니다. 1초 이상 걸리면 사용자는 어느 정도 지연을 느낄 수 있지만, 작업에서 주의가 흐트러지지는 않습니다. 10초 후에는 프로그램이 사용자에게 어떤 유형의 정보를 제공하지 않는 한, 일반적으로 작업이 중단되고 사용자는 짜증을 경험하게 됩니다. 평가 중인 컴퓨터가 유사한 시간 내에 또는 10초 이내에 응답을 제공할 수 있다면 사용자는 컴퓨터를 더 효과적으로 활용할 수 있습니다. 이러한 임계값은 그 의미에 대한 명확한 지침을 제공하지 않는 벤치마크 프로그램의 결과보다 실제 환경에서 훨씬 더 유용합니다.

즉, 효과적인 벤치마크에서 고객은 적용 방법, 분석 및 그로부터 도출될 결론을 알아야 합니다. 분석을 위해서는 다음 사항을 이해하거나 가져오는 것이 중요합니다:

• 최소 기대 결과의 임계값 또는 참조값
• 테스트할 항목
• 제한 요인은 무엇인지
• 결과에 영향을 줄 수 있는 모든 섭동
• 테스트된 시스템의 세부 정보
• 테스트된 시스템의 가격(최소 평균가)
• 결과로 도달하고자 하는 결론은 무엇인지

임계값은 공공 사이트(Futuremark 등)에서 얻거나, 현재 사용 중이며 좋은 구성을 갖춘 컴퓨터에서 로컬로 생성하여 제공될 컴퓨터의 각 벤치마크 기준선을 설정할 수 있습니다. 기준선으로 사용된 이 컴퓨터 구성(프로세서, 메모리 [용량, 속도, 구성, 타이밍], 스토리지, 그래픽 및 모니터)의 세부 정보를 기록하여 명확하게 파악하세요.

벤치마크 분석을 올바르게 수행하려면 시간과 경험이 필요합니다. 앞서 말했듯이 가장 중요한 부분은 측정할 대상을 결정하고 얻은 결과가 컴퓨터의 의도된 용도에 유의미한지 확인하는 것입니다.

다음은 선택되거나 적용된 벤치마크의 공정하고 현실적인 결과를 최대한 보장하기 위해 제안된 벤치마킹 프로토콜입니다.

구성 및 벤치마킹 과정에서, 특히 벤치마크 수행자가 제3자인 경우 벤치마크 수행자를 혼자 두지 않는 것이 좋습니다. 고객은 벤치마크 수행자가 벤치마크 과정을 위해 기기를 구성하는 동안 수행하는 모든 작업을 기록할 참관인을 지정해야 합니다. 또한 참관인은 각 벤치마크 테스트 유형 후 수행자가 수행하는 모든 변경 또는 수정 사항을 기록해야 합니다. 고객으로서 잘 정의된 프로토콜이 있다면, 벤치마크 수행자는 벤치마크 과정을 이기기 위해 이를 위반해서는 안 됩니다. 벤치마크 수행자와 참관인은 동일 인물이 아니어야 하며, 특히 수행자가 제3자인 경우에는 더욱 그렇습니다.

브랜드나 제공되는 하드웨어에 관계없이 모든 컴퓨터는 구성 기준을 충족해야 합니다:

• 물리적 쿼드 코어 프로세서를 요청한 경우, 모두 4개의 물리적 코어를 가져야 합니다.
• 특정 용량, 속도 및 구성의 RAM을 요청한 경우, 모든 컴퓨터가 동일한 구성을 갖췄는지 확인하세요. 다음의 모든 차이점을 기록하세요:
  • 크기
  • 속도(MT/s)
  • 타이밍 및 지연 시간(CAS, RAS, tRAS, tRC, 주파수)
  • 싱글 채널 vs 듀얼 채널 메모리
• 특정 유형의 스토리지를 요청한 경우, 모든 컴퓨터에 해당 종류의 스토리지가 포함되어 있는지 확인하세요. 발견된 모든 차이점을 기록하세요(처리량, 탐색 시간 및 쓰기 시간):
  • 표준 회전형 하드 디스크(5400RPM, 7200RPM, 10000RPM, SSHD)
  • SSD
• 비디오 카드는 Windows 10의 경우 Shader Model 6.1(DirectX 12.1)을, 이전 Windows 버전의 경우 Shader Model 5(DirectX 11)를 충족해야 합니다.
• 모니터는 모든 컴퓨터에서 동일한 기능을 충족해야 합니다
  • 주사율
  • 응답 시간(ms)
  • 해상도(높은 해상도는 더 낮은 벤치마크 수치를 가져올 수 있음)
  • 색 심도
• 운영 체제는 동일한 버전 및 컴파일이어야 합니다.
  • Windows에서는 Cortana 상자에 'winver'를 입력하고 Enter를 누르거나 Windows+R을 누른 후 '실행' 창을 통해 버전과 컴파일을 확인할 수 있습니다.
• 모든 컴퓨터에는 컴퓨터 제조업체가 승인한 최신 드라이버만 설치되어 있어야 합니다. 참고: 구성 요소 제조업체가 제공한 특수 드라이버나 조정된 드라이버 사용을 허용하지 마세요. 가짜 결과를 가져올 수 있습니다. 컴퓨터 제조업체의 웹 사이트 또는 설정 도구에서 공개적으로 사용할 수 있고 검증된 드라이버 외의 드라이버 사용은 피하세요.
• 컴퓨터를 균형 조정 모드로 구성하세요. 이는 고객이 의도한 컴퓨터 사용 방식이며, 벤치마크 결과를 얻는 데 가장 충실한 방법입니다.
• 고객이 일반적으로 사용하는 애플리케이션을 설치하세요. 테스트에 사용되지 않더라도 컴퓨터가 사용될 방식입니다.
• 고객이 요구하는 다른 모든 소프트웨어(안티바이러스 및 도구 등)를 설치하세요. 이렇게 하면 최종 사용자가 사용할 구성에 최대한 가깝게 설정됩니다.
• 벤치마크 프로그램을 설치하세요.

컴퓨터 설치가 완료되면, 핫 벤치마킹을 수행하는 것이 좋습니다. 핫 벤치마킹은 엔지니어(기술자가 아닌 엔지니어)가 벤치마크 과정에서 발생하는 모든 일(테스트 중 건너뛴 부분, 누락된 단계, 화면 오작동, 잘못 그려진 도형이나 이미지 등)을 기록해야 합니다. 이러한 이상 징후는 기록 및 보고되어야 합니다. 콜드 벤치마킹(벤치마크만 실행하고 컴퓨터를 떠났다가 결과만 기록하기 위해 돌아오는 것)은 벤치마크 중 이상한 행동의 증거가 남지 않으므로 피하는 것이 좋습니다. 언급했듯이 벤치마크 수치를 조작하는 방법이 있으며, 콜드 벤치마킹을 수행하는 것은 이러한 관행을 놓치기 가장 좋은 방법입니다.

벤치마크 수치는 5~15%의 변동을 나타낼 수 있으므로, 각 테스트를 최소 3번 실행하는 것이 좋습니다. 매번 컴퓨터를 재부팅해야 하며, 바탕 화면이 나타난 후 약 5분을 기다린 다음 벤치마크를 다시 실행해야 합니다. 각 벤치마크 실행 후 결과를 증거로 저장하기 위해 화면 캡처를 수행하는 것이 좋습니다. 이는 선택된 각 벤치마크 프로그램에서 수행되어야 합니다.

각 벤치마크의 각 실행을 통해 얻은 다양한 수치를 평균화할지, 아니면 가장 높은 값이나 낮은 값을 취할지는 고객의 결정에 달려 있습니다. 고객이 어떤 결정을 내리든, 사용된 모든 다른 벤치마크에 동일하게 적용하는 것이 좋습니다. 제안하자면 평균값을 사용하세요.

이러한 결과를 얻은 후에는 (이 문서 본문에서와 같이) 정규화한 다음 선형적으로 시간으로 변환할 수 있습니다. 컴퓨터 가격과 함께 고객은 어떤 시스템이 가장 좋은 가격 대비 성능 비율을 제공하는지 평가할 수도 있습니다.

벤치마킹 과정에는 시간, 경험 및 인내가 필요합니다. 잘 수행된다면 벤치마크 프로그램은 컴퓨터의 기대 성능에 대한 좋은 아이디어를 제공할 수 있습니다. 참관인이 기록한 모든 내용은 선정될 경우 참가자가 무엇을 제공해야 할지 결정하는 데 유용할 것입니다. 벤치마킹 과정 중에 기록된 구성(프로세서, RAM [용량, 속도, 타이밍, 채널 모드], 스토리지 [유형, 처리량, 용량], 모니터, 폼 팩터 등)은 제공된 컴퓨터가 테스트한 것과 정확히 일치하도록 구성되었는지 확인하는 데 유용할 것입니다. 일부 악의적인 공급자는 테스트 과정을 위해서만 특별히 구성된 컴퓨터를 제공하고 최종적으로는 매우 다른 컴퓨터를 제공할 수 있기 때문에 이는 중요합니다. 따라서 이는 고객이 테스트된 것과 정확히 일치하는 제품을 얻는 데 도움이 됩니다.

앞서 논의한 모든 내용을 종합하여 다음 결론을 내릴 수 있습니다:

• 고객이 구매하는 것은 단순한 프로세서나 특정 구성 요소가 아닌 컴퓨터 전체입니다. 따라서 구매 결정을 내릴 때는 전체 시스템(총체적)을 고려해야 합니다.
• 컴퓨터의 성능은 모든 요소에서 비롯됩니다. 여기에는 하드웨어와 소프트웨어가 포함됩니다. 컴퓨터의 전체 성능은 항상 가장 느린 요소의 성능과 같을 것입니다.
• 에너지 절약 조치, 발열, 컴퓨터의 안정성, 비즈니스용 인증 및 제공하는 보안 서비스를 고려해야 합니다. 벤치마크 기반의 속도 이상으로, 현재 기술은 감소된 에너지 소비와 보안 서비스 제공을 요구합니다.
• 애플리케이션과 운영 체제에 통합된 새로운 기술은 단순히 프로세서 그 이상을 활용한다는 점을 인식하는 것이 중요합니다. 오히려 CPU, GPGPU, 버스, RAM 속도 및 디스크 전송률과 같은 다른 구성 요소에 더 중점을 둡니다.
• 컴퓨팅 성능에 대한 진정한 측정은 직렬 처리나 CPU 영역만이 아니라 컴퓨터를 총체적으로 측정할 때 얻어집니다. 오피스 도구, 웹 브라우저, 파일 압축, 동영상 플레이어, 화상 회의 도구, 웹 기반 애플리케이션 등을 사용하는 고객은 이기종 아키텍처를 갖춘 이러한 신기술의 모든 기능을 활용하게 될 것입니다.

이에 대한 마지막 참고 사항은 성능 향상에 대한 더 나은 아이디어를 얻기 위해 항상 임계값이나 참조값이 필요하다는 것입니다. 현재 날짜 기준으로 FutureMark에서 제공하는 “Reference Office PC” 기준 측정값을 사용하고 싶지 않다면, 제공될 컴퓨터들에 대한 각 벤치마크의 기준선을 설정하기 위해 현재 사무실에서 사용 중이며 구성이 좋은 컴퓨터를 로컬에서 측정할 수 있습니다. 벤치마크를 실행하여 결과를 얻은 후, 제안된 솔루션의 최소 기대 수치를 갖기 위해 해당 결과를 임계값으로 사용할 수 있습니다. 단 한 가지 더 주목할 점은 “수치”와 “성능”은 같지 않다는 것입니다. “수치”는 벤치마크 프로그램에 의해 실행된 프로세스에 대한 자격만을 부여합니다. “성능”은 여러분이 자신의 작업에 해당 컴퓨터를 직접 사용할 때 얻게 될 실제 결과입니다.

Anon, E. A., & Gray, J. (1985년 2월). A Measure of Transaction Processing Power. 2015년 3월 22일, Internet Archive에서 검색: https://archive.org/details/bitsavers_ta...

Carrier, J. (2012년 4월 24일). HPCS I/O Scenarios. OpenSFS에서 검색: http://cdn.opensfs.org/wp-content/upload...

Computerhope. (2015년 3월 15일). Thrashing. Computer hope에서 검색: http://www.computerhope.com/jargon/t/thr...

Gregg, B. (2014). Systems Performance Enterprise and the Cloud (1판). 미국: Pearson Education.

Grigorik, I. (2014년 3월 12일). Speed, Performance, and Human Perception. (Fluent, 편집) 미국 캘리포니아주 샌프란시스코. 2015년 3월 22일, https://www.youtube.com/watch?v=7ubJzEi3... 에서 검색

Hoff. (2006년 12월 30일). Multicore, SMP and SMT Processors. 2015년 3월 22일, HoffmanLabs에서 검색: http://labs.hoffmanlabs.com/node/13

Maister, D. (1985). The Psychology of Waiting Lines. (T. S. Encounter, 편집). 2015년 3월 22일, David Maister: Professional Business, Professional Life에서 검색: http://davidmaister.com/wp-content/theme...

Mallik, A. (2007). Hollistic Computer Architectures based on Application, User, and Process Characteristics. 미국 일리노이주 에반스턴: UMI.

Newman, H. (2015). Data Storage Issues: Big Data Benchmarking. InfoStor에서 검색: http://www.infostor.com/index/blogs_new/...

Olds, D., & OrionX. (2011년 12월 19일). Benchmarks are $%#&@!!. The Register에서 검색: http://www.theregister.co.uk/2011/12/19/...

Osterhage, W. (2013). Computer Performance Optimization (1판). (Springer-Verlag, 번역) 독일 니더바흐엠: Springer-Verlag Berlin Heidelberg.

Seow, S. (2008). Designing and Engineering Time. 미국 보스턴: Prentice Hall.

Smaalders, B. (2006년 2월 23일). Performance Anti-Patterns. doi:1542-7790/06/0200

Stevenson, A., Le Du, Y., & El Afrit, M. (2011년 3월). High Performance Computing on Gamer PCs. ArsTechnica에서 검색: http://arstechnica.com/science/2011/03/h...

The Business Dictionary. (2017). Performance. The Business Dictionary에서 검색: http://www.businessdictionary.com/defini...

Thorpe, S., Fize, D., & Marlot, C. (1996년 6월 6일). Speed of processing in the human visual system. Nature, 381, 520-522. Quora에서 검색: http://cns.bu.edu/Profiles/Mingolla.html...

Traeger, A., Zadok, E., Joukov, N., & Wright, C. (2008년 5월). A Nine Year Study of File System and Storage Benchmarking. 2015년 3월 22일, File systems and Storage Lab (FSL)에서 검색: http://www.fsl.cs.sunysb.edu/docs/fsbenc...

Vieira, L. (2011년 10월 3일). The Perception of Performance. 2015년 3월 22일, Sitepoint에서 검색: http://www.sitepoint.com/the-perception-...