Nifi DB연결 및 SQL Processor (ExecuteSQL)

ExecuteSQLDB에 연결해 SQL의 select 쿼리를 실행한다.쿼리의 결과는 Avro 형식으로 변환된다. Avro = schema + binary(json value)이 프로세서는 표준 스케줄링 방법을 사용하여 타이머 또는 cron 표현식에서 실행한다. 1. 우선 DB에 연결하기 위해서 Database Connection Pooling Service를 생성한다. - Create new Service 선택   - Controller Service Name에 원하는 이름 작성  2. 생성한 DB Service 설정설정화면으로 이동한다..! - 화살표 클릭하여 Configuration으로 이동   - 생성한 DB Service의 오른쪽 설정 모양 클릭   Database Connetion URL : 데..

• format_list_bulleted IT/Nifi
• · 2024. 8. 2.
• textsms

Nifi 속성값 비교 Processor (RouteOnAttribute)

RouteOnAttribute추가한 속성 값을 비교하여 참 또는 거짓의 값을 반환한다.반환한 값을 기준으로 다음 흐름으로 넘어간다.FlowFile에 기록되어 있는 값을 비교한다.ex) EvaluateJsonPath Processor를 사용하여 FlowFile에 기록해 놓은 값을 비교한다.2024.07.10 - [IT/Nifi] - Nifi Json 데이터 파싱, 기록 Processor (EvaluateJsonPath) Nifi Json 데이터 파싱, 기록 Processor (EvaluateJsonPath)EvaluateJsonPathFlowFile의 내용에 대해서 JsonPath 표현식을 확인한다.Json 형식의 결과값에서 필요한 속성의 값을 추출하여 FlowFile 자체에 내용이 기록된다.Json 데이..

• format_list_bulleted IT/Nifi
• · 2024. 7. 17.
• textsms

Nifi Json 데이터 파싱, 기록 Processor (EvaluateJsonPath)

EvaluateJsonPathFlowFile의 내용에 대해서 JsonPath 표현식을 확인한다.Json 형식의 결과값에서 필요한 속성의 값을 추출하여 FlowFile 자체에 내용이 기록된다.Json 데이터 예){ "test_id" : "1", "nmae" : "1번테스트"} Destination-> FlowFile의 content에 기록되는지 attribute에 기록되는지 정한다.* flowfile-content로 지정할 경우 JsonPath를 하나만 지정할 수 있으며 속성의 이름은 무시된다.Return Type-> 반환 유형을 설정한다. filowfile-content로 설정된 경우 반환 유형이 `json`으로 설정되고, flowfile-attribute로 설정된 경우 반환 유형이 `scal..

• format_list_bulleted IT/Nifi
• · 2024. 7. 10.
• textsms

Nifi HTTP 수신, 응답 Processor (HandleHttpRequest, HandleHttpResponse)

HandleHttpRequestHTTP 서버를 시작하고 HTTP 요청을 수신한다.각 요청에 대해 FlowFile을 생성하고 'Success'로 전송한다.이 프로세서는 웹 서비스를 생성하기 위해 HandleHttpResponse 프로세서와 함께 사용하도록 설계되어 있다.Listening Port : 수신 HTTP 요청을 수신하는 포트 작성HTTP Context MAP : HTTP 요청 정보를 캐싱하는데 사용되는 서비스이다. (기본으로 있는 StandardHttpContextMap을 사용해도 무방한것 같다.)Allowed Paths : URL 요청에서 허용되는 경로를 지정하는 항목이다. 특정 URL 요청만 받고 싶을 시 작성하면 된다.Allow GET/POST/PUT/DELETE/HEAD/OPTIONS : ..

• format_list_bulleted IT/Nifi
• · 2024. 7. 10.
• textsms

NiFi 설치하기

zip 파일 다운로드아래 사이트에 접속해서 필요한 버전의 NiFi를 설치한다.https://nifi.apache.org/download/ DownloadApache NiFi is an easy to use, powerful, and reliable system to process and distribute datanifi.apache.org NiFi 실행zip파일 압출을 풀면 bin > run-nifi.bat이 있다. 해당 파일을 실행 시켜주면 서버가 켜지게 된다. cmd 창이 열리게되고해당 부분이 나오면 실행은 성공이다! 일단 밑에 더 할게 있으니 ctrl+c로 서버 종료해놓자 서버 주소 및 포트 변경conf > nifi.properties 파일을 열어보면 https 주소 및 포트는 기본으로 설정되어 ..

• format_list_bulleted IT/Nifi
• · 2024. 6. 4.
• textsms

NiFi 백업은 어떻게 하나? (업로드 포함)

NiFi 백업Template 생성NiFi WebServer 화면에 DataFlow를 생성했으면 우클릭을 눌러보자아래와 같이 여러 항목들이 나올텐데 그중에서 Create template을 클릭하면 된다. 파일명 작성Create template을 선택하게되면 이름을 넣는 화면이 나온다.원하는 Backup 파일명 작성 파일 생성에 성공하면 아래와 같은 화면이 나옴 생성한 백업 Template 다운로드 받기백업 파일은 생성했지만 다운로드는 아직 안받았다!오른쪽 위에 메뉴 누르면 Templates가 있다.  클릭해보면 이렇게 내가 만든 Template이 있다.오른쪽에 휴지통 모양 왼쪽에 보이는 Template 아이콘이 다운로드 버튼이다. 다운로드 받아서 관리하면 NiFi 백업 관리 끝! NiFi 업로드Upload..

• format_list_bulleted IT/Nifi
• · 2024. 6. 4.
• textsms