크롤링 속도 개선

selenium 

driver.find_element_by_css_selector()

• HTML 코드 전체에서 매칭되는 처음 요소를 반환한다.

 

driver.find_elements_by_css_selector()

• HTML 코드 전체에서 매칭되는 모든 요소를 리스트로 반환해준다.

 

발생했던 문제

• 꽤 많은 시간이 소요되었는데도 스크롤이 내려가지 않았다.
• 수집한 이미지의 정보가 출력되는 속도를 보니 너무 많은 시간이 소요되었다.

 

코드 수정

# 수정 전
images = driver.find_elements_by_css_selector(".grid-item")

# 수정 후
images = driver.find_elements_by_css_selector(".lazy")

• 크롤링할 HTML 파일을 많이 가져오면, 네트워크 송수신에 시간이 걸릴 수 밖에 없다.
• 또 상당한 양의 HTML 파일을 parsing하는데 있어서 관련 메모리, CPU도 많이 사용하기 때문에 속도가 느려질 수 밖에 없다.

 

추가 해결방법

• 굉장히 많은 양의 크롤링이 필요하면, 일종의 배치잡을 만들어 하루에 일정 시간동안만 동작하도록 하는 방식으로 해결할 수도 있다. (ex. crontab 활용)

 

참고

구름EDU - 모두를 위한 맞춤형 IT교육