NiFi란 무엇을 하는 친구인가?

Apache NiFi 란?

간단히 Apache에서 개발한 오픈 소스 데이터 플로우 자동화 시스템이다.

진짜 조금만 더 길게 말하면 데이터 플로우를 시각적으로 디자인하고 모니터링하는데 사용한다.

 

그럼 뭐가 좋냐~

데이터 흐름을 쉽게 구축, 관리, 모니터링하고 데이터 소스 및 대상 간의 실시간 데이터 이동을 용이하게 한다.

 

 

NiFi 핵심 개념!

FlowFile

• 시스템을 통해 이동하는 각 개체를 나타낸다. (단위)

FlowFile Processor

• 실제로 작업을 수행하는 부분이다.
• 시스템 간 데이터 라우팅, 변환 또는 중재의 조합을 수행한다.
• 특정 FlowFile 및 해당 콘텐츠 스트림의 속성을 액세스할 수 있다.
• 지정된 작업 단위에서 0개 이상의 FlowFile을 작동할 수 있으며 커밋 또는 롤백할 수 있다.

Connection

• Processor와 Processor를 연결하고 FlowFile을 전달한다.
• 우선순위는 동적으로 지정할 수 있다.

Flow Controller

• Processor간의 연결하고 FlowFile 교환을 족진하는 브로커 역할을 한다.

Process Group

• 입력 포트를 통해 데이터를 수신하고 출력 포트를 통해 데이터를 전송할 수 있는 특정 프로세스 및 연결 집합니다.

 

Nifi 아키텍처

 

결론

Web Server 띄워서 시각적으로 디자인 및 모니터링을 할 수 있기 때문에 대규모 Data Flow를 관리하고 실시간으로 데이터를 이동것을 확인하는데 편리하다.

 

Data Flow 관리에 편함..!

확.인

 

 

NiFi Documentation 참조