무료 유튜브 채널 크롤러 만들기 - 유튜브 데이터 크롤링 및 분석용 시각화 프로그램

유료 매크로 프로그램 다운로드

http://ngmsoftware.com/bbs/board.php?bo_table=product_review 

엔지엠소프트웨어

#매크로 #메크로 #매크로프로그램 #엔지엠소프트웨어 #엔지엠에디터 #엔지엠플레이어 #비활성매크로 #하드웨어매크로 #기계식매크로 #마우스광클릭 #키보드매크로 #이미지서치 #이미지매치 #블로그 #카페 #인스타그램 #유튜브 #소셜네트워크 #카카오톡 #텔레그램 #자동화

 

안녕하세요. 업무 자동화 RPA 매크로 오토픽입니다.

오늘은 오토픽 매크로 프로그램을 이용해서 유튜브의 특정 채널의 데이터를 수집하는 방법에 대해 알아보겠습니다.

 

일반적으로 웹 환경인 유튜브나 네이버 스마트스토어, 인스타그램등등은 웹/인터넷 카테고리에 있는 액션을 사용합니다.

그리고, 크롬에 Add-On할 수 있는 VPN이나 랜덤 아이피 기능을 사용해서 조회수도 증가시킬 수 있는데요.

복잡한 내용들은 일단 논외로 하고, 간단하게 학습할 수 있는 내용으로 진행하도록 할께요.

 

오토픽 에디터를 실행하고, 우측 하단의 외부 API 탭을 클릭하세요.

웹/인터넷 카테고리를 확장하고 웹 연결 액션을 더블 클릭해서 스크립트에 추가하세요.

 

 

 

웹 관련 업무는 다양한 방식으로 자동화 할 수 있습니다. 몇몇 문제가 발생할 수 있기 때문에 거의 대부분은 디버거에 연결해서 사용합니다.

이렇게 사용하면 세션 문제에서 자유로워지고, 기존 크롬 사용자의 설정과 데이터를 재사용하기 때문에 많은 이점이 있습니다.

크롬 바로가기 파일을 열고 아래와 같이 대상 내용을 수정하세요.

크롬 실행 파일 경로 뒤에 아래 내용을 추가하면 됩니다.

• --remote-debugging-port=2022

 

 

 

웹 연결 액션을 선택하고 우측의 속성창에서 웹 자동화 이름에 youtube crawler를 입력하세요.

그리고, 웹 주소에 유튜브 사이트 주소를 입력해줍니다. 실행 옵션에는 위에서 설정한 내용을 동일하게 입력하세요.

참고로, 위의 크롬 브라우저 실행 옵션은 옵션을 구분하기 위해 하이픈 2개(--)가 추가되어 있습니다.

오토픽 매크로에서는 하이픈은 제외하고 입력해도 동작하는데 문제가 없습니다.

 

 

 

remote-debugging-port 옵션 외에도 정말 많은 다양한 옵션들을 크롬에서 제공해주고 있습니다.

나중에 알아볼 내용이지만, 매크로를 다 만들면 백그라운드에서 처리할 수 있도록 하는 옵션도 존재합니다.

그리고 자동으로 실행할 때마다 VPN을 바꿔가면서 처리되도록 만들수도 있습니다.

 

매크로를 실행하면 크롬에서 유튜브로 사이트가 이동됩니다.

유튜브 사이트에서 크롤링하고 싶은 채널로 이동해야 하는데요. 채널을 알면 링크 주소로 처리해도 됩니다.

하지만, 이 테스트에서는 유튜브의 검색창에 검색어로 채널명을 넣고 클릭해서 이동하도록 해보겠습니다.

아래와 같이 웹 텍스트와 웹 클릭 액션을 각각 하나씩 추가하세요.

 

 

 

웹 텍스트 액션을 선택하고 속성창에서 웹 자동화 이름에 youtube crawler를 선택하세요.

직접 입력해도 되고, 웹 연결의 이름을 선택해도 됩니다. 웹 연결은 여러개가 있을 수 있기 때문에 어디에 명령을 입력할지 선택해야 합니다.

웹 업무 자동화도 웹 연결로 연결된 웹 브라우저가 다수일수 있고 멀티로 동시에 작업을 수행할 수 있습니다.

키보드 입력은 Write입니다. 텍스트에 입력한 오토픽 채널을 검색하기 위한거라서 기본값인 Read를 Write로 변경해야 합니다.

마지막으로 검색창의 XPath를 아래와 같이 입력하세요.

• //*[@id="search"]

 

 

 

검색어를 입력했으면 돋보기 그림을 클릭해서 검색해야 합니다. 클릭은 웹 클릭 액션을 사용하는데요.

아래 그림과 같이 동일하게 웹 자동화 이름을 선택하고, XPath는 아래와 같이 입력하세요.

• //*[@id="search-icon-legacy"]

 

 

 

매크로를 실행하면 아래와 같이 오토픽 채널이 검색된걸 확인할 수 있습니다.

 

 

 

이 방법은 몇가지 문제점이 있습니다. 오토픽이라는 채널이 여러개일수도 있고, 내가 원하는 채널이 아닐수도 있습니다.

하지만, 이 방법을 선택한 이유는 특정 검색어로 노출되는 유튜브 채널의 데이터를 수집하기 위함입니다.

나와 유사한 컨텐츠의 채널들의 조회수와 댓글 수 그리고, 동영상의 검색 키워드를 분석하면 유의미한 데이타를 만들 수 있습니다.

유튜브 채널이나 인스타그램 또는 네이버 블로그나 티스토리 블로그의 품질을 높일 수 있고 참고 자료로 유의미한 결과를 만들 수 있습니다.

 

이 내용은 어떻게 유튜브의 데이타를 크롤링하는지에 대한 내용이므로 다른 채널의 데이터를 수집하는건 의미가 없습니다.

그래서, 아래와 같이 간단하게 오토픽 유튜브 채널로 이동한 후 수집하는 방법에 대해 설명하도록 하겠습니다.

아래 그림처럼 웹 텍스트와 웹 클릭 액션을 모두 삭제하고 웹 연결만 놔두세요.

웹 연결에서 웹 주소를 채널명으로 변경하세요.

 

 

 

유튜브 주소 뒤에 엣 기호(@)와 채널명을 입력하면 해당 채널로 이동이 가능합니다.

이제 오토픽에서 웹 클릭 액션을 추가하고, 웹 자동화 이름을 선택하세요. 그리고, XPath에 동영상 목록을 표시해주는 버튼을 클릭합니다.

• //*[@id="tabsContent"]/yt-tab-group-shape/div[1]/yt-tab-shape[2]/div[1]

 

 

 

매크로를 실행하면 유튜브에서 오토픽 채널로 이동되고 동영상 목록을 표시하는 버튼을 클릭합니다.

여기서 웹브라우저의 주소를 확인 해보세요. 채널명 뒤에 videos가 붙어 있는걸 확인할 수 있습니다.

 

 

 

이제 복잡하게 만들 필요 없이 유튜브 주소 + 채널명 + videos로 한번에 이동할 수 있습니다.

물론, 주소에 전체 내용을 다 붙여넣어도 되지만 사용자에게 키워드로 받아서 [ 연결 문자열 ]로 처리해도 됩니다.

컨텐츠를 검색해서 데이터를 수집하는게 아니라면 이런 방식으로 사용해도 됩니다.

 

이제 좀 어려운 내용인데요. 유튜브 동영상 목록을 만들어야 합니다.

목록은 아래와 같이 XPath를 이용해서 가져옵니다. contents 아이디를 가진 div안에 목록이 들어 있습니다.

• //*[@id="contents"]

 

이걸 처리하려면 웹 요소 탐색 액션을 사용합니다.

 

 

 

웹 요소 탐색 도움말을 참고해서 contents의 목록에서 a 태그의 href 속성 값만 가져오세요.

 

 

 

아래 그림과 같이 동영상 주소 목록을 모두 가져올 수 있습니다.

 

 

 

이제 이 주소 목록을 반복하면서 하나씩 이동하고, 동영상 내부에서 제목, 조회수, 댓글등등... 수집하고 싶은 데이터를 엑셀 또는 데이타베이스 또는 구글 시트에 입력하면 됩니다.

여기까지 작업이 완료되면 엑셀이나 구글 시트의 함수를 사용해서 간단한 통계를 만들 수 있습니다. 이런 통계로 잘 분석하면 내 유튜브 채널을 성장시키는데 도움이 될 수 있습니다.

좀 더 효율적으로 매크로를 제작하려면 몇가지 테크닉이 더 필요합니다.

예를 들어서 동영상이 자동으로 실행되는걸 막거나 이미지를 크롬에서 출력하지 않는등등... 리소스를 최소화하면서 데이터를 수집할 수 있습니다.

다음에는 이 내용에 이어서 수집된 동영상의 목록을 반복하면서 데이터를 어떻게 추출하는지와 엑셀에 정리하는지 알아보겠습니다.

이 내용의 자세한 매크로 제작 방법은 아래 동영상을 참고해주세요.

감사합니다.

https://youtu.be/i8qKtsUY-Zc

 

 

[ 각종 자동화 매크로 및 RPA 프로그램 제작 해드립니다. ]

[ 초보자도 쉽게 따라할 수 있는 기초 학습 강좌 보기 ]

 

원본 글 보기

http://ngmsoftware.com/bbs/board.php?bo_table=tip_and_tech 

엔지엠소프트웨어