Apache Nifi Overview What is Nifi? Apache의 오픈소스로, 분산 환경에서 대량의 데이터를 수집, 처리 할 수 있는 소프트웨어이다. 나이파이(NiFi)는 소프트웨어 시스템 간 데이터 흐름을 자동화 하도록 설계되었다. (실시간 ETL 개념이라고 생각하면 된다.) 시스템간 데이터 전달 (처리, 관리, 모니터링)...

Install Nifi with Docker Apache Nifi 설치 with Docker 1) docker에서 nifi 이미지를 내려받는다 $ docker pull apache/nifi:latest 2) nifi 컨테이너를 올리기 위한 docker-compose.yml 파일 작성 version: "3.9" services : ...

Kafka 1. Kafka 기본 개념 0) MOM (Message Oriented Middleware) 메세지를 통해 여러 분산되어 있는 시스템간의 Connector 역할을 진행하여, 서로 실시간 비동기식으로 데이터를 교환할 수 있도록 하는 소프트웨어이다. Kafka는 이러한 MOM 소프트웨어 중 하나이며 원천 시스템으로부터 데이터가 발...

Hadoop 1. What is Hadoop 1) Hadoop 이란? 2006년 더그 커팅이 개발한 대용량 데이터 분산 처리 시스템 하나의 성능 좋은 컴퓨터 대신, 적당한 성능의 컴퓨터 여러 대를 클러스터로 묶고, 대용량 데이터를 클러스터에서 병렬로 동시 처리하여 처리 속도를 높이는 것을 목적으로 한다. 2) HDFS - 데이터 분산...

1. BigTop 이란? Apache BigTop은 아파치 재단의 프로젝트로 빅데이터 오픈 소스들에 대한 (대표적인 것으로 hadoop, spark, hadoop ecosystem projects 등) 패키징(rpm, deb 등), 테스트, 가상화를 지원해준다. 즉, 빅데이터 오픈소스들의 설치를 사용자들이 편하게 할 ...

BigTop Install - 22.12.04 (최종, Cluster, CentOs7) 각 노드들은 인터넷에 이미 연결이 된 상황이며, yum 과 ping 이 가능한 상태 root 계정으로 진행함 Node Namenode 1개 / Datanode 2개 Oracle VirtualBox OS : Ce...

AirFlow 작업 흐름을 실행, 관리하는 오픈소스 플랫폼. 작업을 스케쥴링을 하는 역할을 한다. DAG(Directed Acyclic Graph, 비순환 방향 그래프)로 각 배치 스케쥴이 관리되며, DAG 하위에는 고유한 여러 Task들이 존재한다. 1. Webserver  Web UI 제공   Workflow의 전반적인 ...

운영체제 퀴즈 출처: https://csbroker.io/problem?page=1 (카테고리 : 운영체제) 1. Process 운영체제로부터 시스템 자원을 할당받는 작업의 단위 CPU는 PCB를 통해 Process를 관리 프로그램은 하드디스크에 저장되어 있고 Process는 메모리에 저장 하나의 실행중인 프로그램에서 Proce...

네트워크 퀴즈 출처: https://csbroker.io/problem?page=1 (카테고리 : 네트워크) 1. TLS(Transport Layer Security) 웹에서 전송되는 데이터를 암호화하기 위해서 등장하였고 SSL에서 발전된 형태 TLS는 데이터의 무결성, 인증 암호화를 위한 프로토콜 비대칭키와 대칭키 기법을 혼용해서 사...

DataBase 퀴즈 출처: https://csbroker.io/problem?page=1 (카테고리 : 데이터베이스) 1. ACID  RDBMS 트랜잭션의 원칙   원자성 (Atomacity) : 하나의 트랜잭션은 분할이 되지 않기 때문에 전부 수행되거나 전부 수행되지 않아야한다. 일관성 (Consisten...