이번 영상은 파이썬으로 셀레니움(selenium)을 활용하여 구글에서 이미지 크롤링을 하는 방법을 알려드립니다. 단순한 이미지 크롤링이 아닌 응용하면 웹 브라우저로 할 수 있는 모든 업무를 다 자동화 할 수 있습니다. <br />
파이썬 가상환경 생성부터 크롬 브라우저 드라이버 다운로드 등 기초 세팅 과정부터 차근차근 알려드립니다. 직접 실습해보시고 다른 업무 자동화에 응용해보세요!<br />
사람이 브라우저를 통해서 확인하는 것과 같은 방식이여서 이전 영상처럼 업데이트가 되어도 막히지 않고 계속 응용하여 활용하실 수 있습니다.<br />
<br />
파이썬 및 코드 에디터가 설치가 안되신 분들은 이전 파이썬 강의 1강을 참고해주세요!<br />
<a href="https://youtu.be/yytWGELNeOI" title="https://youtu.be/yytWGELNeOI" target='_blank'>https://youtu.be/yytWGELNeOI</a><br />
<br />
완성된 코드<br />
<a href="https://github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py" title="https://github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py" target='_blank'>https://github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py</a><br />
<br />
이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서<br />
urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다!<br />
<br />
opener=urllib.request.build_opener()<br />
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]<br />
urllib.request.install_opener(opener)<br />
urllib.request.urlretrieve(imgUrl, "test.jpg")<br />
<br />
#파이썬 #크롤링 #셀레니움<br />
<br />
<span class="playtime" data-second="0" title="하이라이트">00:00</span> 하이라이트<br />
<span class="playtime" data-second="20" title="인트로">00:20</span> 인트로<br />
<span class="playtime" data-second="29" title="수업 소개">00:29</span> 수업 소개<br />
<span class="playtime" data-second="60" title="셀레니움의 개념">01:00</span> 셀레니움의 개념<br />
<span class="playtime" data-second="116" title="목차">1:56</span> 목차<br />
<span class="playtime" data-second="135" title="파이썬 가상 환경 세팅">2:15</span> 파이썬 가상 환경 세팅<br />
<span class="playtime" data-second="299" title="Selenium 설치 및 브라우저 세팅">4:59</span> Selenium 설치 및 브라우저 세팅<br />
<span class="playtime" data-second="391" title="구글 이미지 크롤링 코드 작성">6:31</span> 구글 이미지 크롤링 코드 작성<br />
<span class="playtime" data-second="1882" title="셀레니움 네이버 실시간 검색어 크롤링 방법 소개">31:22</span> 셀레니움 네이버 실시간 검색어 크롤링 방법 소개<br />
<span class="playtime" data-second="1909" title="아웃트로">31:49</span> 아웃트로<i class="fa fa-language transViewIcon clickable" title="Translation"></i>
00:20하이라이트00:09인트로00:31수업 소개00:56셀레니움의 개념00:19목차02:44파이썬 가상 환경 세팅01:32Selenium 설치 및 브라우저 세팅24:51구글 이미지 크롤링 코드 작성00:27셀레니움 네이버 실시간 검색어 크롤링 방법 소개00:19아웃트로
파이썬 셀레니움 이미지 크롤링으로 배우는 업무 자동화의 기초
00:00
Loading...
https://hoyatag.com/175535파이썬 셀레니움 이미지 크롤링으로 배우는 업무 자동화의 기초
이번 영상은 파이썬으로 셀레니움(selenium)을 활용하여 구글에서 이미지 크롤링을 하는 방법을 알려드립니다. 단순한 이미지 크롤링이 아닌 응용하면 웹 브라우저로 할 수 있는 모든 업무를 다 자동화 할 수 있습니다.
파이썬 가상환경 생성부터 크롬 브라우저 드라이버 다운로드 등 기초 세팅 과정부터 차근차근 알려드립니다. 직접 실습해보시고 다른 업무 자동화에 응용해보세요!
사람이 브라우저를 통해서 확인하는 것과 같은 방식이여서 이전 영상처럼 업데이트가 되어도 막히지 않고 계속 응용하여 활용하실 수 있습니다.
이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서
urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다!
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(imgUrl, "test.jpg")
#파이썬 #크롤링 #셀레니움
00:00 하이라이트 00:20 인트로 00:29 수업 소개 01:00 셀레니움의 개념 1:56 목차 2:15 파이썬 가상 환경 세팅 4:59 Selenium 설치 및 브라우저 세팅 6:31 구글 이미지 크롤링 코드 작성 31:22 셀레니움 네이버 실시간 검색어 크롤링 방법 소개 31:49 아웃트로
https://www.youtube.com/embed/1b7pXC1-IbE
Hoyatag
View comments