Python Selenium, BeautifulSoup

Selenium

다양한 브라우저, 플랫폼에서 웹 애플리케이션을 검증하는 데 사용되는 오픈 소스 자동화 테스트 프레임워크이다.

Java, C#, Python 등과 같은 여러 프로그래밍 언어를 사용하여 Selenium 테스트 스크립트를 만들 수 있다.

Selenium Software는 단일 도구가 아니라 소프트웨어 제품군이다.

 

Install: pip install selenium

Import: import selenium

Webdriver: from selenium import webdriver

 

• 장점

1. Python, Node.js, Java 이외의 다른 프로그래밍 언어에서도 실행 가능

2. 크롬, 인터넷 익스플로러, 파이어폭스와 같은 주요 웹 브라우저 제어 가능

3. AJAX, PJAX 요청 쉽게 처리 가능

4. JavaScript 데이터 액세스

 

• 단점

1. 라이브러리 무거움

2. 느림

BeautifulSoup

HTML, XML 및 기타 마크업 언어에서 데이터를 가져오기 위한 Python 라이브러리이다.

 

Install: pip install bs4

Import: from bs4 import BeautifulSoup

 

• 장점

1. 사용하기 쉽고 친화적, 복잡하지 않고 HTML 문서에서 데이터를 선택하는 것이 용이

2. 멀티태스킹에 사용 가능. 단 멀티스레드 프로그래밍에 능숙해야 함

3. 문제가 발생할 때 도움을 주는 커뮤니티 지원

 

• 단점

1. 다른 라이브러리에 의존. 웹 요청을 보내기 위해 requests 모듈 또는 urllib 사용해야 함

2. Parser를 지원하지 않는다. html.parser, HTML5lib, XML Parser 및 기타 옵션 중 선택해야 함