전체 글 586

selenium을 통한 중고나라 크롤링

중고나라 *selenium 활용한 크롤링 +frame 변환까지 *중고나라 키워드(+page)를 입력하면 키워드별 제목, url, 가격 등을 표로 일목요연하게 정리해서 보여주기... -11.23~ 현재 중고나라 맥북 프로의 글 제목만 크롤링 완료 추후 url, 가격 등의 정보 (+사진이 있으면 사진도)를 표로 (pandas 활용) 만들어서 업로드? ------------------------------------------ # vim 파일 활용해서 from selenium import webdriver driver = webdriver.Firefox() driver.get("https://nid.naver.com/nidlogin.login") # id 입력 id_input_element = driver.f..

sending gmail by python3

sending email by Python # 이메일을 보내기 위한 smtplib 모듈을 import 한다import smtplib # 그 이후에는 일단 복붙으로 구현--------------------------------------------------------# -*- coding:utf-8 -*- import smtplib TO = "bartkim0426@gmail.com,"SUBJECT = 'Testing email'TEXT = """testing - \nsending email in python \nby seul, loving in suwon""" # plain text # Gmail Sign In gmail_sender = 'bartkim0426@gmail.com' gmail_passwd ..

backend/python 2016.11.23

project02.까페알바

*구현하고자 하는 기능-알바천국, 알바몬-조건; 사이트/블로그 등재 (날짜순)-특정 조건; 주2-3회, 위치, 일하는 시간 12-18시간;-위치; 이대, 신촌, 서울대입구, 봉천동, 서강대, 대흥, 아현 일대 -11/20~알바천국, 알바몬 각각 URL 따고 제목/url 따기; 현재 함수 이전까지 완료/ -for문 활용해서 함수로 만들고-각 url로 들어가서 일하는 시간 뽑아내기 => 시간을 기준으로 12-18시간? -제목/url/시간/위치 => 웹페이지 or mail로+웹페이지 활용하면 네이버지도 api- 집에서의 거리까지 분석 *그냥 페이지 말고 모바일 페이지의 api를 따올 수는 없을까? -12/3 기준본문 + url을 뽑아서 txt 파일로 만들어주고, txt 파일을 읽어서 없는 내용만 따로 추가. ..

apk 우분투에서 실행하기

필요한것 1. 실행하려는 앱의 apk (+ obb, data; 필요하다면)https://www.apkmirror.com/http://apps.evozi.com/apk-downloader/(플레이 스토어 주소를 입력하여 다운로드 가능) 2. ARC welder (구글 크롬 웹스토어에서 확장 프로그램 설치) https://chrome.google.com/webstore/detail/arc-welder/emfinbmielocnlhgmfkkmkngdoccbadn/related -ARC welder를 설치하고 실행 후 apk를 넣어주면 간단하게 완료. + 추가적으로 obb 파일 넣어주는 방법?

etc/안드로이드 2016.11.20

project01. dios 구글 크롤링/ 11.19

dios 관련 크롤링 *구현하고자 하는 기능def google_search(keyword, n): -11.19=>해당 페이지까지의 제목 뽑아서 text로 저장하는 기능까지 구현하는 def 만들기 /11.19까지 / 완료!, Crawling/Google 폴더에 저장*검색어를 입력할 때 whitespace(띄어쓰기)를 %20으로 처리하는 함수도 넣어줘야함; 일단은 그냥 whitespace로 들어가도 제대로 반응함/+ 더 해야할일*vim으로 파일을 만들어서 실행시킬수 있게(jupyter 말고도)완료*이를 서버로 돌리는 방법*제목 말고 다른것들 추출하는 방법 (+추후에 이를 alarm/ email로 보내는 방법까지도... -selenium?)-------------------------# 11.19 완료된 코드..

파이썬 날짜, 시간 관련 모듈

날짜, 시간 관련 모듈 *동작 시간을 알기 위해서import timestart_time = time.time()fun_startend_time = time.time()fun_endexcu_time = end_time - start_time *현재 시간, 날짜 import datetime now = datetime.datetime.now()print(now) # 2015-04-19 12:11:32.669083 nowDate = now.strftime('%Y-%m-%d')print(nowDate) # 2015-04-19 nowTime = now.strftime('%H:%M:%S')print(nowTime) # 12:11:32 nowDatetime = now.strftime('%Y-%m-%d %H:%M:%S'..

backend/python 2016.11.19

파이썬에서 파일 입출력하기

-파일 입력; 파일 객체 = open(파일 이름, 파일 모드)f = open("filename.txt", 'w') #모드; r, w, a, f.close() # 항상 닫아줘야함 -파일 쓰기모드로 열어 출력값f = open("./filename.txt", "w")data = "쓸 내용들"f.write(data) #여기에 쓸 내용을 써서 데이터 입력f.close()=> filename.txt라는 파일이 해당 dir에 생성 - 파일 읽기• readline() 함수 사용; 파일의 첫줄 읽음f = opne("./filename.txt", "r")while True:line = f.readline() # readline()으로 모든 줄 읽기; 쓸모Xif not line: break print(line)f.close..

backend/python 2016.11.19

iterator, generator

*iterator -공간 = iter( 리스트 )ex) a = [0, 1, 2, 3]b = iter(a) ; iterator를 담을 공간 'b'에 iter 함수를 사용하여 a 리스트 인자를 줌-iterator: 공간 'b'가 이터레이터-iteration: b로부터 순차적으로 요소를 가져오는 행위; next() 함수 사용ex) next(b)b.__next__()로 직접 메소드 시행도 가능-iterable: 이더레이션이 가능하다는 의미 -리스트는 iterator가 아니다next(a) => error ('list' object has no attribute 'next')-그렇지만 list는 iterable 하다! (for문) *Generator-함수의 형태로 사용, return 대신에 yield 사용-yiel..

backend/python 2016.11.19

정규표현식-Regular expression

정규표현식 *정규표현식- 메타 문자 1. 숫자, 문자 2.1 "." 쓰는법(DOT)-메타문자 . : 거의 모든 문자열과 일치-줄바꿈 문자인 \n를 제외한 모든 무자와 매치- . 만 단독으로 쓸 경우에는 \. 로 사용 (역슬래쉬)ex) a.b : "a + 모든 문자 + b", 즉 a, b 사이에 모든 문자가 들어가도 매치,*문자클래스[] 안에 dot(.)이 들어가면 . 그대로를 의미 2.2 "\" ( 백슬래쉬)- \s 를 사용할 경우 그 자체임을 알려주기 위해서 \\- "\\section"을 뽑아내기 위해서는 "\\\\section을 써야하는 문제...=> 이런 문제들을 해결하기 위해 Raw string: p = re.compile(r"\\section") #11.17 현재 백슬래쉬 문제 해결 안됨... ..

backend/python 2016.11.17