[JAVA] JSOUP 웹 크롤링 간단 예제

안녕하세용 신입 개발자입니다.

연습삼아 간단한 웹 크롤링을 구현해 봤습니다.

 

크롤링 구현을 위해선 크롤링 관련 라이브러리를 사용해야 하는데요

저는 자바 크롤링 라이브러리인 JSoup를 사용했어요~~

 

1. 먼저 데이터를 긁어오려면 데이터 선정을 해야겠지요?

 

저는 네이버 금융 정보를 가지고 실습해봤습니다.

 

 

 

 

 

이거 써도 되는거 맞죠 ? ㅎ;

밑에서 쓰일 데이터들의 모임입니당.

 

페이지에서 F12를 누르면 위의 그림같이 소스가 나오는데요. 

일별 시세에 대한 소스를 확인 하실 수 있을 거에요

원하시는 데이터를 가져오기 위해서 먼저 확인 해 두고 진행했어요 ~~

 

 

2. JSoup jar 파일 추가하기 

밑의 홈페이지에서 JSoup jar 파일을 다운 받아서 프로젝트에 추가해줍니다 !

 

https://jsoup.org/download

 

Download and install jsoup

프로젝트 오른쪽 마우스 클릭 -> Properties

이후에 Jsoup 추가하시구 APPly 하시면 됩니다.

 

3. 소스 짜기 

 

 위 사진은 금융 정보를 나타낸 URL 주소인데요.

네모 박스 보이신가요 ? 저 부분이 변화하면서 각종 주식정보가 들어가 있는데요.

 

모든 데이터를 긁어오기 위해 네모 박스 안을 배열 변수로 전달받았습니당

 

1번이 h_area 클래스에 담긴 주식 정보의 Name이구요 (str)

2번이 tbody의 내용으로 str2입니다.

 

간단하게 크롤링 연습 해봤습니다.

열심히 공부합시당