데이터 분석 & 시각화/Crawling 검색 결과

해당 글 5건
다음 랭킹 뉴스 크롤링

다음의 랭킹 뉴스 페이지는 "많이 본 순", "열독률 높은 순", "댓글 많은 순", "연령, 성별"로 정리되어 있다. 각각의 랭킹뉴스 페이지의 url은 다음과 같은 형식으로 이루어져 있다. 많이 본 순 : "https://news.daum.net/ranking/popular?regDate=" + str(date) 열독률 높은 순 : "https://news.daum.net/ranking/kkomkkom?regDate=" + str(date) 댓글 많은 순 : "https://news.daum.net/ranking/bestreply?regDate=" + str(date) 연령, 성별 : "https://news.daum.net/ranking/age?regDate=" + str(date) 기본적으로 각각의..
데이터 분석 & 시각화/Crawling 2021. 1. 31. 14:53
네이버 랭킹 뉴스 크롤링

크롤링 (5), beautifulsoup4로 네이버 기사 크롤링하기 네이버 랭킹 뉴스 페이지가 개편되어 해당 코드로 기사를 가져올 수 없습니다. 해당 코드는 참고용으로만 봐주시기 바랍니다. (JY) 융합연구 1 - 크롤링 (4), beautifulsoup4로 네이버 기사 크롤링하기 dsbook.tistory.com 네이버 랭킹 뉴스만 볼 수 있던 페이지가 전면적으로 개편되면서 위 게시글에서 작성한 코드를 사용했을 때 뉴스를 가져올 수 없었다. 그래서 이번에 개편된 랭킹 뉴스 페이지를 기반으로 새롭게 크롤링하는 코드를 작성해보았다. 랭킹 뉴스 페이지에서 이전처럼 정치, 경제, 사회, 과학 등 분야별로 따로 나누어서 게시글을 찾아볼 수 없었다. 대신 각 언론사별로 많이 본 뉴스와 댓글이 많은 뉴스를 나누어서..
데이터 분석 & 시각화/Crawling 2021. 1. 28. 21:29
크롤링 (5), beautifulsoup4로 네이버 기사 크롤링하기

네이버 랭킹 뉴스 페이지가 개편되어 해당 코드로 기사를 가져올 수 없습니다. 해당 코드는 참고용으로만 봐주시기 바랍니다. ↓개편된 네이버 랭킹 뉴스 크롤링 네이버 랭킹 뉴스 크롤링 크롤링 (5), beautifulsoup4로 네이버 기사 크롤링하기 네이버 랭킹 뉴스 페이지가 개편되어 해당 코드로 기사를 가져올 수 없습니다. 해당 코드는 참고용으로만 봐주시기 바랍니다. (JY) 융합연구 1 - dsbook.tistory.com (JY) 융합연구 1 - 크롤링 (4), beautifulsoup4로 네이버 기사 크롤링하기 저번에 네이버 API를 통해 검색에서 네이버 기사를 긁어왔다면, 이번엔 python 모듈 중 하나인 beautifulsoup4로 네이버 주요뉴스를 크롤링하는 방법을 알아보기로 하자. 1. 조..
데이터 분석 & 시각화/Crawling 2020. 5. 2. 23:29
크롤링 (4), beautifulsoup4로 네이버 기사 크롤링하기

저번에 네이버 API를 통해 검색에서 네이버 기사를 긁어왔다면, 이번엔 python 모듈 중 하나인 beautifulsoup4로 네이버 주요뉴스를 크롤링하는 방법을 알아보기로 하자. 1. 조회수 별 랭킹 뉴스 살펴보기 네이버 랭킹뉴스는 총 4가지(조회수, 댓글 수, 공감 수, 공유 횟수)로 나누어 분류하고 있다. 그 중 조회수 순으로 정렬된 "많이 본 뉴스"에 대해서만 알아보자. 우선 뉴스는 전체적으로 정치, 경제, 사회, 생활/문화, 세계, IT/과학, 총 6가지 섹션으로 나뉘어져 있으며 시간대 별로 조회수를 집계하는 기준이 다르다. 오전 1시 ~ 오전 6시에는 별도의 집계없이 오전 1시 랭킹 결과의 노출을 유지하고, 오전 6시 ~ 오전 7시에는 오전 1시부터의 조회수를 합쳐서 집계한 랭킹을 노출하며 ..
데이터 분석 & 시각화/Crawling 2020. 5. 2. 00:28
크롤링(3)

네이버 오픈 API 이용하기 NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음성인식, 음성합성 등이 있습니다. developers.naver.com 네이버 오픈 API에서는 다양한 서비서 API를 제공한다. 통합 검색어 트렌드 및 쇼핑인사이트를 위한 데이터랩API, 검색API, 단축URL, 지도 뿐만아니라 파파고 번역, Clova얼굴인식 기능도 사용할 수 있다. 우리는 이 중 특정 단어가 들어가 있는 뉴스를 검색하기 위해 '검색 API를 사용하여 네이버 뉴스를 긁어올 것이다. 먼저 네이버 검색 API를 사용하기 위해 AP..
데이터 분석 & 시각화/Crawling 2020. 4. 15. 01:58