Code/Python

Web Crawler 란? 정식 명칭은 Web scraping 이라고 불리며, 이는 웹 사이트에서 원하는 정보를 추출하는 것을 말한다. 웹 사이트에 방문헤서 자료를 수집하고, 하나의 페이지 뿐만 아니라 그 페이지에 링크되어 있는 것도 방문하여 정보를 수집한다. 필자는 python 을 이용하여 간단한 web scraping을 만들어 볼 것이다. Web Crawler를 만들기 전에 필자는 모듈을 2가지를 쓸 건데, requtests 와 bs4 라는 모듈을 사용할 것이다. pip install requests pip install bs4 requests 모듈에 대한 간단한 설명은 아래 포스트를 참고하면 도움이 될 것이다. https://universe-blog.tistory.com/entry/python-re..

이번 글에서 소개할 모듈은 requests 모듈이다. 간단한 웹 크롤러를 만들기 전에 requests 모듈과 몇가지 함수를 설명할 것이다. 1. requests 모듈 설치 다음 명령어를 통해서 requests 모듈을 설치한다. pip install requests 2. import requests 모듈을 설치 했으면 아래처럼 import requests 를 추가하게 되면 사용이 가능하다. dir 함수를 통해 requests 모듈에서 지원하는 함수들의 목록을 볼 수 있다. 많은 함수들이 보이는데, 필자가 많이 쓰는 get, post, status_codes 함수를 소개할 것이다 import requests print(dir(requests)) # Result #['ConnectTimeout', 'Conne..

hashlib 모듈을 사용하여 암호화 복호화가 가능하다. 단, 복호화는 한글자로 암호화된 값만 복호화가 가능하다. [SHA-256 Encrypt] import hashlib str = "test" print(hashlib.sha256(str.encode()).hexdigest()) # Result # 9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08 [SHA-256 Decrypt] sha-256 복호화는 한글자로 암호화된 값을 복호화하는 해시 테이블을 만들어서 복호화를 한다. import hashlib str = """ca978112ca1bbdcafac231b39a23dc4da786eff8147c4e72b9807785afee48bb 2e7..

[MD5 Encrypt] Python 에서 hashlib이라는 모듈로 md5 암호화 및 복호화가 가능하다. import hashlib str = “test” result = hashlib.md5(str.encode()).hexdigest() print(result) # Result # 098f6bcd4621d373cade4e832627b4f6 [MD5 Decrypt] python에서 md5 복호화는 단순 한글자가 암호화된 값만 복호화 가능하다. 즉, 간단한 한글자를 해시 테이블 처럼 만들어서 그 문자로 치환 해주는 코드라고 생각 하면 될 것이다. import hashlib str = “0cc175b9c0f1b6a831c399e269772661 4a8a08f09d37b73795649038408b5f33” ..

참고 : 링크 > python을 실행할때 파일 이름 말고도 여러 옵션들을 적거나 값들을 추가적으로 적어주는 것을 본적이 있을 것이다. python에는 여러가지 모듈을 지원해주는데 sys 모듈을 쓰면 가능하다. 하지만 sys 모듈을 사용하면 사용자로 부터 어떤 옵션, 값을 받을지 모르기 때문에, 많은 예외가 발생한다. sys 말고 argparse 라는 모듈을 사용하면 쉽게 해결이 된다. > 아래 내용부터는 코드와 코드 설명을 위주로 argparse 모듈에 대해 설명 해보겠다. == Example_1 == ArgumentParser 라는 함수를 이용해 parser 를 생성. add_argument 함수를 이용해 변수와 type, help 를 정의해준다. parse_args() 함수를 통해 사용자로 부터 입력..