본문 바로가기

전체 글60

OSI 7계층, tcpip 4계층 OSI 7계층 프로토콜 -통신 규약 해당 층에서 다루는 연결 종류 1.물리 계층 ( physical layer ) - 장치를 연결하기 위한 전기적, 물리적 세부 사항을 정의 ( 비트단위로 ) 유선 케이블 형태 2.데이터 링크 계층 ( data link layer ) - 포인트 투 포인트, 맥 주소 ( 물리적으로 할당받는다. ) (프레임 ) 3.네트워크 계층 ( network layer ) - ip ( 단위는 패킷 ),가장 중요한건 라우팅 전달 , 주소부여 경로설정 ( 상세 클래스가 있지만 생각하지말자 ) 4.전송 계층 ( transport layer ) - tcp udp 프로토콜 , tcp는 신뢰성 ( 세그먼트 ) 5. 세션 계층 ( 세션 계층 ) - 여기서부터 데이타를 만드는 계층이다. 양 극단의 응용.. 2022. 3. 5.
하둡이란? 하둡은 빅데이터 분산처리 프레임워크이다. 분산 코디네이터 -> zookeeper 분산 환경에서 다양한 상호 조정이 필요한 다양한 서비스를 제공하는 시스템. 통합 관리 ( 시스템 ) 분산 리소스 관리 YARN - 작업 스케줄링 클러스터 리소스 관리, 맵리듀스 하이브 임팔리 스파크 등 어플리케이션 관리 ( 프로세스 ) mesos -> mesos( 클라우드 환경에 대한 리소스 관리 ) 는 리눅스 커널과 동일한 원칙을 사용하여 컴퓨터에 하둡, 스파크 카프카 엘라스틱 서치 등을 지원한다. 데이터 저장 Hbase 구글 -> 빅테이블 기반으로 된 비관계형 데이타베이스 HDFS 분산 파일 데이터 저장 애플리케이션에 대한 높은 처리량의 액세스를 제공하는 분산파일 시스템 kudu - 컬럼 기반 스토리지 -> 컬럼기반 스토.. 2022. 3. 5.
레이드란? 패러티는 정수의 홀수 또는 짝수 특정,정보 블록과 연결된 중복 정보, 오류 후 데이터를 재구축하는데 사용되는 계산된 값입니다. 2개 이상의 디스크를 병렬로 구성하는것. 1. 레이드 0 : 데이터 분산 처리. 한개의 디스크에 데이터를 처리하는게 아니라 데이터를 분산 처리하는 방법이다. 하나의 디스크에 문제가 생기면 데이터 유실 2. 레이드 1 : 데이터 처리 시 동일한 디스크에 똑같이 저장하는 방식 데이터를 중복 기록하여 저장하기 떄문에, 디스크 장애 및 오류 발생 시 다른 디스크를 통해 ㅔㄷ이터를 쉽게 복구 가능, 저장 용량이 절반으로 줄어듬 3. 레이드 0 + 1 레이드 0과 1을 합했다. 2개 이상의 디스크에 레이드 0을 구성하고, 각 디스크에 레이드 1을 적용 4. 레이드 3, 4 : 데이터 분산처.. 2022. 3. 5.
http와 https? http는 statless 프로토콜이며 method, path version headers body로 구성된다. 하지만, http는 암호화가 되지 ㅇ낳은 평문 데이터를 전송하기때문에 비밀번호나 암호 등을 주고받으면 3자가 정보를 조회 가능하다. https는 secure가 추가되었고 443를 사용하고 제 3자가 정보를 볼 수 없도록 암호화를 지원한다. https는 대칭키 암호화방식과 비대칭키 암호화 방식을 모두 사용한다. 대칭키 암호화, 클라이언트와 서버가 동일한 키를 사용해 암호화/ 복호화를 진행한다. 키가 노출되면 매우 위험하지만 연산 속도가 빠르다. 비대칭키 암호화, 1개의 쌍으로 구성된 공개키와 개인키를 암호화/ 복호화 하는데 사용한다. 키가 노출되어 있어도 비교적 안전하지만 연산 속도가 느리다. .. 2022. 3. 5.