[Elasticsearch] 검색 엔진 : Elasticsearch 설치하기(+ELK)

Elasticsearch🔎

• 자바로 만들어진 루씬 기반의 오픈 소스 검색 엔진이다.
• 다량의 데이터를 저장한다는 측면에서는 DB와 비슷해보이지만, 전혀 다르다.
• 주로 대량의 데이터를 실시간으로 검색하고 분석하는 데 사용되며, 로그 데이터, 메트릭 데이터, 풀 텍스트 검색 등 다양한 용도로 활용된다.
• REST API를 제공한다.
• JSON 문서를 저장, 검색, 분석할 수 있는 강력한 기능을 제공한다.

https://www.elastic.co/kr/

Elasticsearch Platform - 대규모로 실시간 답변 찾기

 

- ELK or Elastic Stack

• 엘라스틱 서치는 단독으로 사용되거나 ELK 스택으로 사용한다.
• E(Elasticsearch), L(Logstash), K(Kibana), B(Beats) - (생략)  첫 글자를 따서 지어진 이름으로, 이 세 가지 오픈 소스 소프트웨어로 구성된 데이터 처리 및 시각화 솔루션을 한다.

1. Logstash/Beats

역할 : Ingest(수집)

다양한 소스(DB, CSV, Log 등)으로 부터 데이터를 가져다, 조작 후 Elasticsearch에게 전달하는 역할을 한다.

 

2. Elasticsearch

역할 : Store, Search, Analyze

직접 수집한 데이터 또는 Logstach 으로 수집한 데이터를 관리, 조작(검색)한다.

 

3. Kibana

역할 : Visualize(시각화), Manage(관리)

Elasticsearch의 데이터를 시각화하거나 편리하게 조작 기능을 제공한다.

GUI 환경을 제공한다.

 

---

엘라스틱서치 설치🔎

우분투는 엘라스틱서치 프로그램의 존재를 모른다.

링크를 주면 우분투가 설치하도록한다.

 

1. 우분투 실행

 

2. 아래 3문장 순서대로 입력

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch |sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg

 

echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

 

sudo apt-get update

 

3. 엘라스틱서치 설치

위에서 입력한 것은 버전 7점 대의 엘라스틱 버전을 연결시켜놓아서 위 설정대로 다운된다.

sudo apt-get install elasticsearch

 

 

설치 완료 화면

 

 

4. 프로그램의 상태를 출력

systemctl status elasticsearch

 

5. 실행

sudo systemctl start elasticsearch

 

 

 

6. 엘라스틱서치 전용 브라우저 접속

http://localhost:9200/

9200 포트는 엘라스틱서치 전용 표트이다.

주소로 접속하여 프로그램이 잘 실행되고 있는지 확인할 수 있다.

 

7. 자동 실행

매 실행할 때 명령어로 실행하기 번거로워서 우분투 실행 시 자동으로 실행되게 한다.

sudo systemctl enable elasticsearch

 

---

Kibana 설치🔎

1. 설치

sudo apt-get install kibana

 

kibana 프로그램이 살짝 무거워 실행하는데 시간이 좀 걸리는 편이다.

 

2. 설치 확인

sudo systemctl status kibana

 

3. 실행

sudo systemctl start kibana

 

 

4. kibana 전용 브라우저 접속

http://localhost:5601

5601 포트는 키바나의 전용 포트이다.

 

 

kibana는 postman 같이 입출력을 할 수 있는 역할을 한다.

---

Logstash 설치🔎

 

1. 설치

sudo apt-get install logstash

 

2. 설치 확인

sudo systemctl status logstash

 

계속 동작해야하는 프로그램은 아니기에 설치 확인만 한다.

---

Elasticsearch 핵심 개념🔎

 

1. 클러스터 (Cluster)

• Elasticsearch 노드들의 집합
• 여러 대의 노드가 함께 작동하여 데이터를 저장하고 처리하는 분산 시스템을 형성한다.
• 하나 이상의 노드 집합으로 구성되어 있으며, 이들 노드는 서로 통신하여 데이터를 분산하고 검색 작업을 분담한다.

2. 노드 (Node)

• Elasticsearch가 설치된 각각의 서버 또는 컴퓨터
• 여러 대의 노드(컴퓨터)가 클러스터를 형성하여 작업을 분산하고 데이터를 복제하여 고가용성을 제공한다.

3. 인덱스 (Index) ★

• 비슷한 특성을 가진 문서들의 집합
• 데이터를 모아놓은 최상위 계층으로서, 일반적으로 하나의 인덱스는 하나의 데이터베이스에 해당한다.
• Elasticsearch 7.x 이후에는 타입의 역할이 거의 사라져서 인덱스가 테이블의 역할과도 유사해졌다.

4. 타입 (Type)

• 도큐먼트 집합
• DB의 테이블 역할을 한다.

5. 도큐먼트 (Document) ★

• Elasticsearch에 저장되는 데이터의 단위
• 레코드나 문서의 개념
• 도큐먼트는 JSON 형식으로 표현되며, Elasticsearch에서는 이러한 도큐먼트를 색인화하여 검색 및 분석을 수행한다.

6. 샤드&레플리카

• 분산 환경을 위한 요소이다.
• 샤드는 Elasticsearch의 분산 환경에서 데이터를 분산 및 저장하기 위한 단위이다. 인덱스는 여러 개의 샤드로 나뉘어져 저장된다.
• 샤드는 물리적인 머신이나 노드에 분산되어 저장되며, 샤드 복제는 각 샤드에 대한 복사본을 유지하여 고가용성을 확보한다.
• 분산 데이터베이스 시스템에서 샤드와 샤드 복제는 확장성과 내결함성을 제공하는 핵심 개념입니다.

 

- RDBMS VS Elasticsearch

RDBMS	Elasticsearch
Schme(스키마)	Mapping
Database	Index ★
Table	Type
Row	Document ★
Column	Filed
SQL	QueryDSL

 

Index 와 Document 개념 위주로 이해하기

 

- Elasticsearch REST API

RDB	Elasticsearch
SELECT	GET
UPDATE	PUT/POST
INSERT	PUT/POST
DELETE	DELETE

 

쿼리문 비교

SQL > select * from address where id = 1;

ES > curl -X GET "localhost:9200/address/_doc/1"

 

 

- REST API를 사용하기 위한 도구 종류

1. curl 명령어

2. Postman, Insomnia 등의 REST Client → 잦은 입출력을 할 때는 tool도 번거롭다.

3. Kibana의 Dev Tools 

---

Kibana의 Dev Tools 🔎

Index(DB, 테이블), Document(데이터 또는 행)

curl로 Index 조작하기(CRUD)

- Index 생성 및 조회

 

조회

Index 생성 전에 이미 존재하는지 확인을 위해 조회한다.

curl -X GET "localhost:9200/<인덱스명>"

curl -X GET "localhost:9200/member"

 

pretty : 반환된 JSON 응답을 보기 쉽게 들여쓰기와 함께 정렬된 형태로 표시해주는 옵션이다.

curl -X GET "localhost:9200/member?pretty"

 

 

member 인덱스가 없어 error로 반환되었다.

 

생성

curl -X PUT "localhost:9200/member?pretty"

 

 

다시 조회

curl -X GET "localhost:9200/member?pretty"

 

- Index 삭제

curl -X DELETE "localhost:9200/member?pretty"

 

 

 

 

curl로 Document  조작하기(CRUD)

- Document  생성 및 조회

다시 Index 생성

curl -X PUT "localohst:9200/member"

 

Document 생성

curl -X PUT "<서버주소>:<포트번호>/<인덱스>/_doc/<도큐먼트ID>" -H "Content-Type: application/json" -d "데이터"

_doc : 예약어

-H : 헤더

"Content-Type: application/json" : 내가 넘기는 데이터가 json이라는 것을 알려준다.

 

윈도우에서는 꽃따옴표(')를 사용하지 못한다.

curl -X PUT "localhost:9200/member/_doc/1" -H "Content-Type: application/json" -d '{"name": "수수깡", "age":20}'

 

인덱스 번호가 동일하면 덮어쓴다고 인식한다.

curl -X PUT "localhost:9200/member/_doc/2?pretty" -H "Content-Type: application/json" -d '{"name": "susukkang", "age":26}'

 

 

데이터 저장 성공

 

- Document  삭제

Index 삭제

Document를 삭제하기 전에 Index를 삭제해본다.

curl -X DELETE "localhost:9200/member?pretty"

 

index가 삭제되면서 안에 있는 도큐먼트도 삭제된다고 생각한다.

하지만 조회하면 도큐먼트가 조회가 된다.

그 이유는 엘라스틱은 정형화되어 있지않은 비관계형 DB이기 때문이다.

Elasticsearch는 정형화되어 있지 않은 비관계형 데이터베이스로서, 스키마가 유연하게 다뤄지는 특징이 있다. 이러한 특성으로 인해 도큐먼트를 저장한 인덱스가 미리 정의되어 있지 않더라도 자동으로 인덱스를 생성한다.

하지만 보통 관리를 위해 인덱스를 직접 생성한다.

 

Dev Tools에서 조작하기(CRUD)

curl 대신 dev Tool 사용한다.

왼쪽메뉴 중에서 Dev Tools 선택

 

미리보기

 

 

- Index 생성

기본값으로 서로 키바나가 엘라스틱서치에 연결되었으므로 curl -X "localhost:9200" 생략 가능하다.

실행 단축키는 Ctrl + Enter이다.

PUT member

 

 

- Document 생성

PUT member/_doc/1
{
  "name": "susukkang",
  "age": 20
}

 

 

 

- Document 조회

GET member/_doc/1

 

 

데이터만 조회

GET member/_source/1

 

 

- 메시지 생략하기

프로그램 멈추기

sudo systemctl stop elasticsearch

 

yml 설정 파일 수정

sudo vi /etc/elasticsearch/elasticsearch.yml

 

'o'눌러 편집

xpack.security.enabled: false

 

명령어 입력후 ESC로 입력모드에서 명령모드로 변환한 후 :wq로 저장하고 빠져나온다.

 

메시지 생략 완료된 모습