axios1 [javascript]axios, cheerio 에 대한 정리 크롤링을 하기전 우선 url의 뒷부분에 robots.txt를 붙여 해당 사이트의 크롤링 정책을 확인해봐야한다. 예를 들면 www.naver.com/robots.txt와 같이 말이다. 사이트 마다 다르겠지만 보통은 크롤링 정책을 정리해둔 사이트가 뜨거나 텍스트 파일로 다운로드가 될거다. 크롤링보다는 웹 스크래핑에 가깝겠지만 우선 웹 스크래핑에는 여러도구가 사용된다. selenium, beautifulsoup,axios,cheerio, puppeteer등 여러 도구가 있다. 오늘은 axios와 cheerio에 대해 간단히 포스팅하려 한다. 우선 npm을 이용해 해당 모듈을 설치해줘야한다. npm install axios 와 npm install cheerio 를 터미널창에 입력한다. 이후 axios를 이용해.. 2021. 6. 23. 이전 1 다음