[파이썬] cmegroup ftp 자동 로그인 + 자동 다운로드 위한 작업

이전까지는 ftp 로 자료 받을수 있어지만 ftp 중지되어 이제는 웹 에서 로그인후 자료를 다운받아야 한다. API 있을것으로 사료되지만 API 사용하기전 직접 로그인후 다운받는 작업을 공유해보기로 한다. cmegroup 로그인후 https://www.cmegroup.com/ftp/btic/BTIC_Weekly_Liquidity_Report.pdf 다운로드 작업은 위와 같이 간단하지만 인증구현/다운로드 부분 많이 까다롭다. 지금까지 연구한 상황을 공유해본다. . 로그인 부분에 대해서는 X-XSRF-TOKEN 사용하고 있어 아이디/비번 으로 바로 로그인 할수가 없다. 초기페이지나 로그인 하기전에 X-XSRF-TOKEN 가져오는 부분이 있는데 확인 할수가 없다. fiddler, wireShark 이용한 패킷..

• format_list_bulleted 프로그래밍/Python
• · 2021. 10. 21.
• textsms

python 원격지 파일 다운로드

import requests url = 'https://www.facebook.com/favicon.ico' r = requests.get(url, allow_redirects=True, verify=False) open('facebook.ico', 'wb').write(r.content)

• format_list_bulleted 프로그래밍/Python
• · 2021. 10. 21.
• textsms

python 그누보드 로그인후 메모페이지 크롤링

그누보드 로그인후 메모페이지를 추출하고 싶을때 사용 from bs4 import BeautifulSoup as bs import requests MEMBER_DATA = { 'mb_id': '아이디', 'mb_password': '비번' } with requests.Session() as s: request = s.post('http://zzz.com/bbs/login_check.php', data=MEMBER_DATA) request = s.get('http://zzz.com/bbs/memo.php') print(request.text);

• format_list_bulleted 프로그래밍/Python
• · 2021. 10. 21.
• textsms