T3rry T3rry

분산 처리 환경 구축 2 — iperf3로 네트워크 대역폭 테스트여러 노트북을 이용해 분산 연산을 수행하려면노드 간 네트워크 성능이 충분한지 확인해야 한다.예를 들어Spark shuffleHadoop 데이터 전송대용량 데이터 분산 처리등에서는 네트워크 대역폭이 병목이 될 수 있다.그래서 실제로 iperf3를 사용하여 노드 간 네트워크 성능을 측정했다.1. iperf3란?iperf3는 네트워크 대역폭을 측정하는 대표적인 툴이다.특징TCP / UDP 테스트 가능실제 전송 속도 측정네트워크 병목 확인동작 방식은 간단하다.Server (대기) ↑ │ 데이터 전송 ↓ Client (전송)2. 테스트 방법서버 실행한 노드를 서버로 실행한다..\\iperf3.exe \-s출력Server listening on..

분산 처리 환경 구축로컬 네트워크 세팅고정 IP 설정Ping test분산 처리를 하기 위해 여러 대의 노트북을 하나의 네트워크로 묶어야 했다. 이번 프로젝트에서는 여러 노트북을 클러스터처럼 사용하여 분산 연산을 수행하는 환경을 구축하는 것이 목표이다.네트워크 구조SSAFY 내부망 │ │ 공유기 │ │ 스위치 (Netgear) │ ┌────┼────┬────┬────┐노트북1 노트북2 노트북3 ...가장 먼저 해결해야하는 문제는 노트북들의 IP 주소 관리Setting Flow1. 왜 고정 IP가 필요한가?기본적으로 공유기는 DHCP를 통해 IP를 자동 할당한다.하지만 DHCP는 다음 문젝가 있다.일정 시간이 지나면 IP가 변경될 수 있음서버 간 통신 주속..