728x90 scrapy1 [Python] (Web Scraping, 데이터 크롤링) Selenium vs Scrapy vs Beautiful Soup scraping이란? crawling이란? 의미적으론 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것 원하는 데이터를 추출하다, 원하는 데이터를 긁어오다의 의미 차이로는 web crawling 수많은 웹사이트들을 체계적으로 돌아다니면서 URL, 키워드 등을 수집하는 것 (보통 검색 엔진이 웹사이트를 인덱싱하기 위해서 사용됨.) web scraping 웹사이트에서 필요한 데이터를 긁어오는 것 Beautifulsoup HTML, XML파일의 정보를 추출해내는 python library python 내장 모듈인 request나 urllib을 이용해 HTML을 다운 받고, beautifulsoup으로 데이터를 추출 REST API에서 데이터를 가져올 때에도 사용됨 서버에서 HTML을 다운받음.. 2021. 1. 12. 이전 1 다음 728x90
