웹사이트의 정보를 긁어오기 위한 방법인 크롤링을 위한 도구로, 셀레니움을 많이들 사용한다. 왜냐면, 프론트엔드 부분에서 동적으로 변화하는 부분이 많기때문에, Beautiful soap 같은 경우 원하는 정보를 가져오지 못하는 경우가 다수이다. (정적 크롤링) 하지만, 셀레니움은 '크롬 드라이버'를 이용하기 때문에, 실질적으로 사람이 크롬을 사용하는 것처럼, 실제로 크롬을 띄워 작업하기 때문에 동적으로 변화하는 화면에서 크롤링이 가능하다. (동적 크롤링) 이때문에 셀레니움을 사용하는 방법을 정리하는 포스팅을 작성한다. 1. Selenium 설치 셀레니움을 설치하는 방법은 간단하다. pip install selenium을 통해 간단하게 설치하면 끝. 2. 크롬 드라이버 설치 셀레니움하면 반드시 설치해야 하는..
파이썬 공부를 하다보면 어느순간부터 기본적인 내용이 아닌, 보다 심층적인 내용을 공부해야겠다고 느낄때가 있다. 특히, 프로그래밍을 하다보면, 속도가 가장 큰 이슈로 발생하는데, 필자는 정형데이터를 전처리하는 과정에서 속도측면을 개선해보고자 '비동기 방식'을 접하게 되었다. 일단, 상식적으로 병렬적으로 처리한다는 내용은 누구나 다 알것이지만, 막상 코드로 작성하려고 하니, 어렵다. 그래서 이 포스팅을 통해 정리하고자 한다. 누구나 쉽게 접할 수 있도록, jupyter notebook의 노트북 형식( 셀 실행 ) 으로 진행하고자 한다. 일단, 노트북형태로 작업을 하려면, 아래와 같은 환경 설정이 필요하다. !pip install nest_asyncio import nest_asyncio nest_asynci..
현재 video data를 가지고 분류하는 테스크 대회를 진행하고 있다. 이미지 증량은 경험이 있지만, video의 증량은 경험이 전무하기에 조금 애 먹었다. 하지만, video는 연속적인 이미지의 집합이므로, 결국 이미지 증량과 거의 동일하다. def get_frames(path): cap = cv2.VideoCapture(path) frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) imgs = [] for fidx in range(frames): _, img = cap.read() img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) imgs.append(img) ret = {f"image{i}":imgs[i] for i in range(1,..
github에서 push을 하려면 이제 token 값을 넣어야 할 수 있다. 혹시 토큰 발급받는 방법은 이것을 참고하기 바란다. https://sims-solve.tistory.com/44 [오류] github / Support for password authentication was removed on August remote: Support for password authentication was removed on August 13, 2021. remote: Please see https://docs.github.com/en/get-started/getting-started-with-git/about-remote-repositories.. sims-solve.tistory.com 여기선, 토큰을 발..
다른 글들을 보니.. 파이케럿에서 xgboost가 있는 상태만 볼 수 있었다.. 나는 xgboost가 없는데...? 고로 글을 작성해봄! 1. colab에서 !pip install xgboost !pip install pycaret 을 하고 파이케럿에서 xgboost를 사용하려고 models()를 찍어보니... xgboost가 없다..?면! !pip install xgboost !pip install pycaret[full] 로 설치를 하고 models()을 찍어보면... 이와 같이 xgoost가 잘 들어가 있는걸 볼 수 있었다!
*주의. 이 글은 Python코드를 기준으로 작성했습니다. 필자는 연예인 사진을 분류하는 딥러닝을 하고 있다. 고로 많은 사진의 연예인 사진이 필요하며, 그 파일의 이름 또한 일정하게 관리해야 하는 경우가 많으므로 이 코드를 찾게 됐다. 분명 필요한 사람들이 있을 것이며 어떻게 사용해야 하는지 또한 설명하고자 한다. import os name ='taeyeon' path = 'C:/Users/sim/Desktop/image/'+ name +'_face/'+name+'_face_close_resize(100x100)_ordered2' file_names = os.listdir(path) i = 0 for file_name in file_names: src = os.path.join(path, file_na..
- Total
- Today
- Yesterday
- 계산
- 도커
- CNN
- Flask
- Tree
- GNN
- boosting
- 뜯어보기
- docker
- 파이썬
- java
- 입출력
- 입력
- gbm
- DeepLearning
- torch
- 깃
- DT
- python
- github
- 삭제
- 딥러닝
- 정리
- 자바
- 이미지
- 설치
- 초보자
- GIT
- 오류
- GPU
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |