인코딩에 관한 고찰
-
Encoding에 관한 고찰Web 2020. 4. 9. 20:19
과에서 듣는 강의 중 웹 크롤러를 제작하는 과제가 주어졌었다. 기존에 혼자서 진행한 프로젝트에서 이미 웹 크롤러를 제작해 보았기 때문에 그 방식을 그대로 따라하기로 했다. 진행한 프로젝트 : 중앙대학교 빈 강의실 https://campus.cau.ac.kr/usk/html/UskLec10.html (이 사이트에서 검색 조건을 전송하면, 나오는 페이지를 크롤링하기로 결정했다.) 하지만 이 강의에서 모든 과제는 파이썬으로 제작해야 하기 때문에 node.js로 만든 크롤러를, python으로 문법을 변환시키는 과정이 필요했다. python에서도 request 모듈이 존재하기 때문에, 쉽게 데이터를 얻어낼 수 있을 거라고 생각했었다. 하지만 그건 아니었다. 처음엔 어떤 데이터를 요청해도 해당하는 조건을 찾을 수..