본문 바로가기

728x90

크롤링 예제

(2)
[SpringFramework] 스프링에서 Jsoup를 이용해 웹 사이트 크롤링을 해보자 (op.gg 크롤링 하기) 스크랩핑(혹은 웹 스크랩핑)은 인터넷에서 존재하는 데이터를 컴퓨터 프로그램을 통하여 자동화된 방법으로 웹에서 데이터를 수집하는 모든 작업을 말한다. 크롤링은 많은 사람들이 스크랩핑과 혼용하여 사용하고 있지만, 사실은 그 의미가 상이한 용어다. 크롤링은 데이터를 수집하고 분류하는 것을 의미하며, 주로 인터넷 상의 웹페이지(html, 문서 등)를 수집해서 분류하고 저장하는 것을 뜻한다. 엄밀히 말해, 크롤링은 데이터의 수집 보다는 여러 웹페이지를 돌아다닌다는 뜻이 강하며, 데이터가 어디에 저장되어 있는지 위치에 대한 분류 작업이 크롤링의 주요 목적이라 할 수 있다. 먼저, SpringFramework 환경에서 크롤링을 구현하기 위해선 Jsoup 라이브러리를 추가해야한다. pom.xml을 열어서 해당 라이브러..
[JAVA] JSOUP 웹 크롤링 간단 예제 안녕하세용 신입 개발자입니다. 연습삼아 간단한 웹 크롤링을 구현해 봤습니다. 크롤링 구현을 위해선 크롤링 관련 라이브러리를 사용해야 하는데요 저는 자바 크롤링 라이브러리인 JSoup를 사용했어요~~ 1. 먼저 데이터를 긁어오려면 데이터 선정을 해야겠지요? 저는 네이버 금융 정보를 가지고 실습해봤습니다. 이거 써도 되는거 맞죠 ? ㅎ; 밑에서 쓰일 데이터들의 모임입니당. 페이지에서 F12를 누르면 위의 그림같이 소스가 나오는데요. 일별 시세에 대한 소스를 확인 하실 수 있을 거에요 원하시는 데이터를 가져오기 위해서 먼저 확인 해 두고 진행했어요 ~~ 2. JSoup jar 파일 추가하기 밑의 홈페이지에서 JSoup jar 파일을 다운 받아서 프로젝트에 추가해줍니다 ! https://jsoup.org/dow..

728x90