데이터 사이언스 메뉴얼/Crawling 검색 결과

해당 글 2건
융합연구 1 - 크롤링(2)

1. OPEN API OPEN API : 누구나 사용할 수 있도록 공개된 API를 뜻하며, 개발자에게 웹 서비스에 대한 프로그래밍적인 권한을 제공한다. 최근 코로나 맵 등의 웹 사이트 역시 API를 활용해서 만들어졌다. 2. 공공데이터포털에서 API 사용 공공데이터포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Dataset)와 Open API로 제공하는 사이트입니다. www.data.go.kr 공공데이터포털은 정부에서 제공하는 공공데이터 통합제공 시스템이다. 2020년 현재, 사회의 120개 분야에 관한 데이터 셋이 공개되어 있다. 공공데이터포털에 접속해서 필요한 ..
데이터 사이언스 메뉴얼/Crawling 2020. 4. 13. 00:15
융합연구 1 - 크롤링(1)

1. 크롤링 크롤링(crawling) : 웹 페이지를 그대로 가져와서 데이터를 추출해 내는 행위 개발자로서 데이터를 얻기 위해 일일이 사이트에서 검색해서 추출하는 것은 매우 번거롭다. 컴퓨터 프로그램을 이용한다면 필요한 자료만 찾아 종합하고, 획득한 내용을 활용해서 좋은 정보를 추출할 수 있다. 이러한 행위를 크롤링이라 한다. Python을 통해 크롤링을 하기 위해서는 HTML과 HTTP가 무엇이고 어떤 방식으로 자료를 가져와야 할지 파악해야 한다. 2. HTML HTML : 웹을 통해서 볼 수 있는 문서를 만들 때 사용하는 웹 언어의 한 종류이고, 대부분의 웹 페이지는 HTML로 작성되어 있다. HTML는 일반적으로 다음과 같이 구성되어 있다. 사실 이렇게 봐서는 제대로 이해가 되지 않는다. Wikip..
데이터 사이언스 메뉴얼/Crawling 2020. 4. 5. 18:00