[WEB] 웹 크롤링, 스크래핑 (+ Jsoup 라이브러리)

🔻웹 크롤링, 웹 스크래핑

웹 사이트(웹 페이지)에서 데이터를 수집하는 행위를 의미한다.

 

데이터를 수집하는 방법은 아래 3가지 방법이 대표적이다.

1. 상대방(웹사이트)이 나에게 DB 권하는 주는 방법, 가장 좋은 방법이지만 현실상 불가능하다.

2. 상대방이 외부에 OpenAPI를 JSON, XML 형식으로 공개한다. 하지만 공개된 데이터가 제한적일 수 있다.

3. 웹페이지의 소스를 긁어서 원하는 데이터를 추출한다. 단, 프로그램을 이용해야 얻을 수 있다는 단점이 있다.

 

크롤링 시 주의점

1. 허가를 받지않은 데이터이므로 저작권 문제를 조심해야한다.

2. 긁어오는 작업은 속도가 빠르고, 횟수가 많아서 크롤링 되는 서버 입장에서는 서버 비용과 트래픽이 증가된다. 그래서 정도껏 가져온다.

 

크롤링 사전 지식

HTML과 CSS 선택자, JavaScript, Java를 이해해야한다.

 

---

🔻Jsoup 라이브러리

• 브라우저처럼 사이트에 접속하여 그 페이지의 소스를 읽고 분석, 탐색하여 원하는 부분을 추출한다.
• HTML 소스를 다루기에 JavaScript  조작과 비슷하다.
• JavaScript의 DOM을 조작하는 분위기이다.
• 소스를 긁어서 문자열로 리턴한다.

 

다운로드

아래 사이트에 접속한다.

 

https://jsoup.org/

jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety

 

Download

최신 버전을 다운로드 받는다.

jsoup-1.16.2.jar

0.43MB

 

 

프로젝트 참조하기

webapp > WEB-INF > lib 폴더에 넣기

 

 

예제

package com.test.java;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Ex01 {
	
	public static void main(String[] args) {
		
		try {
			
			//접속해서 읽어온 페이지 소스를 관리하는 문서 객체
			Document doc = Jsoup.connect("http://localhost:8090/memo/list.do").get();
			
			//System.out.println(doc.html());
			
			//selectFirst : 요소 하나만 찾을 때
			Element h1 = doc.selectFirst("body > h1");
			
			System.out.println(h1.text());
			
			//select : 복수형으로 리턴
			Elements item = doc.select(".item > div:nth-child(2)");
			
			for (Element ele :item) {
				System.out.println(ele.text());
			}
			
		} catch (Exception e) {
			e.printStackTrace();
		}
		
		
	}
	
}

 

주요 기능과 특징

1. HTML 파싱

Jsoup은 HTML 문서를 파싱하여 DOM(Document Object Model)으로 변환한다. 

Document doc = Jsoup.connect("http://localhost:8090/memo/list.do").get();
System.out.println(doc.html());

 

2. CSS 선택자 지원

Jsoup은 CSS 선택자를 사용하여 원하는 요소를 선택할 수 있다.

Element h1 = doc.selectFirst("body > h1");
Elements item = doc.select(".item > div:nth-child(2)");

 

 

jsoup 이 안되는 경우

1. 자바스크립트에 값이 있는 경우

자바스크립트를 실행하지 못하기때문에 웹페이지 자바스크립트의 이벤트로 값이 들어간다면 크롤링할 수 없다.

2. 인증을 받아야하는 페이지

로그인 후 정보 등 인증을 받아야 볼 수 있는 페이지는 크롤링할 수 없다.