[Elasticsearch] Kibana의 Dev Tools : 데이터 조작하기

Kibana의 Dev Tools🔎

 

이전 수업에 이어 Kibana의 Dev Tools 로 데이터 조작법을 알아본다.

https://steady-record.tistory.com/entry/Elasticsearch-검색-엔진-ElasticsearchELK#%20Dev%20Tools에서%20조작하기(CRUD)-1

[Elasticsearch] 검색 엔진 : Elasticsearch 설치하기(+ELK)

 

 

Elasticserach, kibana 실행 중인지 확인

📢명령창 빠져나오기 : q

systemctl status elasticsearch

 

systemctl status kibana

 

---

📢 Elasticsearch 정의 다시 살피기

Elasticsearch 는 JSON을 저장하는 데이터베이스 구조로 되어있다.

풀 텍스트 검색을 지원하는 검색엔진이다.

Elasticsearch에서는 데이터를 저장하는 단위를 Document라고 한다. 이 Document가 JSON 형태로 되어있다.

또한, Elasticsearch는 NoSQL 데이터베이스로써 RDBMS인 오라클과 다른 특징을 가지고 있다.

Elasticsearch는 스키마 자유로워 데이터를 저장하기 전에 명시적인 스키마를 정의하지 않아도 되며, 필요에 따라 데이터의 구조를 동적으로 변경할 수 있다. 새로운 필드를 추가하거나 기존 필드를 제거하는 등의 작업이 용이하여 느슨한 관리가 가능하다.

---

데이터 조작하기(CRUD)🔎

- Index

#조회(Read)
GET member
#특정 문서 조회
GET member/_doc/1
#생성(Create)
PUT member
#삭제(Delete)
DELETE member

 

- Document

생성(Create)

PUT member/_doc/1
{
  "name": "susukkang",
  "age": 20
}

 

조회(Read)

GET member/_doc/1

#데이터만 보기
GET member/_source/1

 

수정(Update) 1

PUT member/_doc/1
{
  "age": 26
}

나이를 수정하고 싶어 나이 컬럼만 수정하면 이전 데이터는 지워지고 덮어쓰기가 된다.

 

 PUT을 사용한 수정은 사실 수정이 아니다. 기존의 Document를 삭제하고, 새로운 Document를 추가하는 덮어쓰기로 동작한다.

 

POST + _update 로 일부 필드만 수정 가능하다.

 

벌크 API로 다량의 데이터 삽입

벌크 API는 다량의 데이터를 한번에 입력하는 API이며, '_bulk' 를 붙여 삽입한다.

데이터 수정을 보기 위해 데이터를 추가해본다.

POST _bulk
{ "index" : { "_index" : "address", "_type" : "_doc", "_id" : "1" } }
{"name" : "가가가", "age": 20, "gender": "m"}
{ "index" : { "_index" : "address", "_type" : "_doc", "_id" : "2" } }
{"name" : "나나나", "age": 20, "gender": "f"}
{ "index" : { "_index" : "address", "_type" : "_doc", "_id" : "3" } }
{"name" : "다다다", "age": 22, "gender": "m"}
{ "index" : { "_index" : "address", "_type" : "_doc", "_id" : "4" } }
{"name" : "라라라", "age": 24, "gender": "m"}

 

 

수정(Update) 2

1. PUT : 전체 필드 수정용

2. POST + _update : 일부 필드 수정용

• update 고정자는 POST 만 사용할 수 있다.
• doc 필드를 먼저 기재한다.
• update가 아닌 doc로 적으면 put과 동일하게 덮어쓰기 된다.

POST address/_update/5
{
  "doc" : {
    "gender" : "m"
  }
}

 

 

특정 Index에 있는 모든 Document 조회

GET address/_search
GET member/_search

 

---

Elasticsearch 검색하기🔎

 

Elasticsearch는 관계형 데이터베이스에 비해 다양하고 효과적인 검색 기능을 제공한다.

이는 풀 텍스트 검색(Full Text Search)을 지원하는 검색 엔진으로서의 특징에서 비롯된다.

 

풀 텍스트 검색(Full Text Search) : 텍스트 데이터의 내용에서 의미 있는 단어나 구절을 추출하여 검색하는 기술이다. 이를 통해 텍스트 데이터에 대한 정확하고 유연한 검색이 가능하다.

 

Elasticsearch에서의 검색은 QueryDSL(Query Domain Specific Language)을 사용하며, 이는 JSON 형식으로 작성되어 다양한 검색 쿼리를 표현할 수 있다.

*QueryDSL : Elasticsearch에서 검색을 수행하기 위해 사용되는 독자적인 검색 언어

 

검색은 Index를 대상으로 수행되며, 일반적으로 다음과 같은 형식으로 표현한다.

GET <인덱스명>/_search

 

검색은 기본적으로 match_all 검색이 수행된다. 이는 해당 인덱스에 있는 모든 문서를 검색한다.

 

검색 방식

1. URI 검색

• 검색 쿼리를 URI의 파라미터로 전달하는 방식

2. JSON Data Body 검색 

• 데이터 본문 검색
• 검색할 쿼리를 전송할 데이터 본문에 넣어서 입력하는 방식
• 복잡한 쿼리를 작성할 때 효과적이다.
• URI 방식 보다 많이 사용한다.

 

데이터 준비

POST member/_bulk
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 1 } }
{ "name" : "홍길동", "age": 22, "gender": "m", "address": "서울시 강남구 역삼동", "height": 170, "weight": 70}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 2 } }
{ "name" : "아무개", "age": 25, "gender": "m", "address": "서울시 강남구 대치동", "height": 175, "weight": 65}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 3 } }
{ "name" : "테스트", "age": 30, "gender": "m", "address": "서울시 강남구 압구정동", "height": 180, "weight": 77}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 4 } }
{ "name" : "강호동", "age": 45, "gender": "m", "address": "서울시 강남구 청담동", "height": 184, "weight": 95}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 5 } }
{ "name" : "유재석", "age": 40, "gender": "m", "address": "서울시 강남구 신사동", "height": 178, "weight": 62}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 6 } }
{ "name" : "김종민", "age": 33, "gender": "m", "address": "서울시 강동구 명일동", "height": 176, "weight": 68}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 7 } }
{ "name" : "박나래", "age": 27, "gender": "f", "address": "서울시 강동구 고덕동", "height": 152, "weight": 53}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 8 } }
{ "name" : "조세호", "age": 32, "gender": "m", "address": "서울시 강동구 천호동", "height": 158, "weight": 66}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 9 } }
{ "name" : "이광수", "age": 37, "gender": "m", "address": "서울시 강서구 등촌동", "height": 192, "weight": 78}
{ "index" : { "_index" : "member", "_type" : "_doc", "_id" : 10 } }
{ "name" : "장도연", "age": 28, "gender": "f", "address": "서울시 강서구 가양동", "height": 179, "weight": 71}

 

 

데이터 확인

GET member/_search

 

1. URI 검색

GET member/_search

 

m이 들어간 데이터 검색

GET member/_search?q=m

모든 필드를 대상으로 검색된다.

모든 데이터에서 m이 들어간 값을 찾아 반환한다. 결과값으로 8건이 나왔다.

 

강서구가 들어간 데이터 검색

GET member/_search?q=강서구

 

 

강서구와 m 들어간 데이터 검색

GET member/_search?q=강서구 AND m

 

 

강서구가 들어가면서 m 이 없는 데이터 검색

GET member/_search?q=강서구 NOT m

 

 

필드명 표시

강서구에 거주하는 사람

GET member/_search?q=address:강서구

 

URI 방식은 조그만 복잡해져서 사용하기 불편하기 때문에 키워드 검색 시 외에는 잘 사용하지 않는다.

 

 

2. JSON Data Body 검색 

match 쿼리는 검색시 가장 많이 사용하는 쿼리이다.

GET <document>/_search
{
	"query": {
    	"쿼리의 종류": {
        	"<필드명>" : "<검색어>"
        }
    }
}

 

성별이 여자인 데이터 검색

GET member/_search
{
	"query": {
    	"match": {
        	"gender" : "f"
        }
    }
}

 

---

멀티테넌시, Multitenancy🔎

여러개의 Index를 한번에 묶어서 검색할 수 있는 기능

주로 여러 개의 인덱스가 동일한 데이터 유형을 가지고 있고, 시간 순으로 데이터가 쌓이는 경우에 활용된다.

 

특히 시간이 지남에 따라 계속해서 생성되는 로그 파일 등의 데이터에 매우 유용하다. 일반적으로 시간별로 인덱스를 생성하여 데이터를 저장하는데, 멀티테넌시를 활용하면 여러 시간대의 데이터를 효과적으로 통합 조회할 수 있다.

 

파일명 : logs-2023-01, logs-2023-02 , logs-2023-03 ˙˙˙  

GET logs-2023-01,logs-2023-02,logs-2023-03/_search

 

 

인덱스 이름의 공통적인 부분이 있으면 와일드카드 처리가 가능하다.

GET logs-*/_search

 

 

_all/search : 모든 index를 대상으로 검색한다. 단, 작업 부하가 심하다.

GET _all/_search

 

 

member, address 인덱스 통합 조회

GET member,address/_search

 

통합 조회되어 결과 15건이 반환되었다.