Language/Python52

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 (3) https://newbiecs.tistory.com/394 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 전 게시글에서는 pandas와 argparse 를 이용하여 csv 파일을 만들고, 인터페이스를 파싱했습니다. 오늘은 아래 사진에서 빨간색 네모로 강조 된 부분의 데이터들을 가져오겠습니다. google-api-client.. Language/Python 2023. 9. 4.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - pandas, argparse (2) https://newbiecs.tistory.com/392 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 이전 글에서는 Google Cloud 및 googleapiclient 설정에 대해 알아봤습니다. 이제 유튜버의 영상 정보를 가져오는 것을 해보겠습니다. 영상 정보란 제목, 설명, 썸네일, 조회수, 좋아요, 업로드날짜, .. Language/Python 2023. 8. 29.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터를 입력해서 영상을 추천해주는 서비스를 만들었습니다. 유튜브 데이터에는 수많은 데이터가 존재합니다. 'google-api-python-client' 를 이용해서 데이터를 가져오겠습니다. 들어가기 전에 'google-api-python-client' 의 경우 쿼터 제한이 존재합니다. YouTube Data API는 쿼터(일일 사용량 한도)를 가지고 있습니다. 무료로 사용할 경우, 쿼터는 매일 1,000 단위의 "유저" 또는 "프로젝트" 당 요청 수로 제한됩니다. "유저".. Language/Python 2023. 8. 24.

• 

  Python 나무위키 데이터 가져오기 (Pandas, datasets, parquet) 안녕하세요. 오늘은 나무위키에 있는 '식품 관련 정보' 데이터를 가져오는 걸 구현 해보겠습니다. https://huggingface.co/datasets/heegyu/namuwiki 를 참고 하였습니다. datasets 을 설치하고, namuwiki 데이터 즉, parquet 데이터를 다운로드 받습니다. $ pip install datasets from datasets import load_dataset("heegyu/namuwiki") dataset = load_dataset("heegyu/namuwiki") 수 많은 데이터가 존재하고, 거기서 본인이 원하는 데이터를 아래와 같이 검색하면 됩니다. import pandas as pd df = pd.read_parquet("/Users/user/Downl.. Language/Python 2023. 6. 23.

• 

  [PostgreSQL] sorry, too many clients already 문제 해결 안녕하세요. 오늘은 PostgreSQL sorry, too many clients already 해결법에 대해 알아보겠습니다. 구현 사항은 docker-compose 로 web과 db를 배포해둔 상태입니다. web 에서 apscheduler 로 특정시간마다 정보를 가져와 db에 저장하는 것을 진행하던 중 문제가 발생하였습니다. 문제는 sorry, too many clients already 한마디로 클라이언트 수가 초과했다는 것을 의미합니다. 1. docker-compose DB connection docker-compose exec -it db /bin/bash apt-get update apt-get install vim docker-compose db 에 접속합니다. 그리고 vi var/lib/po.. Language/Python 2023. 2. 23.

• 

  Python 구글 뉴스 데이터 크롤링(apscheduler, nohup) - 2 https://newbiecs.tistory.com/365 Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성 newbiecs.tistory.com 안녕하세요. 전에 작성했던 글을 마무리 해보겠습니다. 이번에 사용할 건 Python apscheduler와 nohup 되겠습니다. 저도 nohup를 처음 사용하는데요. 간단히 알아보자면 '프로세스가 중단되지 않는 백그라운드 작업을 수행' 하는 용도로 사용된다고 하네요. 다음으로 apscheduler 은 파이썬의 스케쥴러 모듈입니다.. Language/Python 2023. 2. 14.

• 

  Python 텔레그램(telegram) 채널 데이터 가져오기, Django Create a Model- 2 안녕하세요. 저번에는 작성했던 글에 이어서 텔레그램(Telegram) 데이터 가져오기를 구현해보겠습니다. Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 newbiecs.tistory.com 링크에서 발급받은 API_ID 와 API_HASH 값이 없으면 구현할 수 없기 때문에 위 링크를 꼭 봐주시기 바랍니다. Python 을 이용하여 텔레그램 채널 데이터를 가져오고, 가져온 정보를 Django.. Language/Python 2023. 2. 6.

• 

  Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 정보들(?)을 가져오기 위함입니다. Python 으로 텔레그램 데이터(async, await)를 가져오고, Django ORM 으로 데이터베이스 저장, 그리고 Bootstrap 을 이용한 HTML 만들기를 진행해보겠습니다. 1. 텔레그램 Installation 텔레그램을 설치해보겠습니다. 저는 poetry 환경으로 진행하겠습니다. poetry add telethon poetry add django_telethon or pip install telethon pip install django_telethon 텔레그.. Language/Python 2023. 1. 30.

• 

  Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성하겠습니다! 한국타이어로 한 이유는 제가 주식을 사서... ㅎyㅎ 구글에서 진행 할 예정입니다. 그럼 시작해볼까요? Python 크롤링에 사용할 것들을 설치하겠습니다. pip install requests pip install beautifulsoup4 먼저 우리가 가져와야하는 데이터를 확인해봐야겠죠? 구글로 이동합니다. 다들 크롤링 할 때 google.com 으로 할 것 입니다. 하지만 우리는 뉴스에 대한 데이터만 가져올 것 이기 때문에 news.google.com 을 가져오겠습니다. 그럼 한번 검색을 해봐야.. Language/Python 2022. 11. 7.

• 

  Save to AWS EFS(PVC) as AWS Lambda 안녕하세요. 저번 시간에는 'Python argparse, S3 folder upload' 까지 알아봤습니다. 오늘 해볼 것은 S3에 올라온 파일을 Lambda를 이용하여 AWS EFS(Elastic File System)에 저장하는 것 입니다. 그러면 왜 EFS에 저장을 해야 될까요? 바로 Kubernetes 에서 파일 시스템을 이용하여 폴더를 사용할 수 있기 때문입니다. 링크 여기에 EFS 관련 설명이 자세히 나와있습니다. 중요한 것들을 뽑아보자면 1. AWS EFS는 NFSv4 프로토콜을 준수하는 AWS 서버리스 파일 시스템 상품이다. 2. 영구적으로 파일을 저장할 수 있다는 공통점을 가진 AWS S3와 다른 점은 인스턴스에 네이티브한 하나의 파일 시스템으로 작동한다는 것이다. 3. 수천대 이상의 .. Language/Python 2022. 8. 22.

• 

  Python argparse, S3 folder upload 폴더 업로드 안녕하세요, 자주 쓰이는 argparse와 S3 folder upload 에 대해 알아보겠습니다. 보통 S3 를 사용하면 folder를 통째로 올리는 경우는 많이 없는 것 같습니다. 예를 간단히 하나 들겠습니다. 차량을 10개 가지고 있다고 가정하겠습니다. 10개의 차량이 한번에 갈 수 있는 곳은 미국과 유럽으로 한정되어 있습니다. 추가적으로 10대의 자동차는 비행기(S3)를 이용해야 합니다. 정리하면 나의 차량(Local) 10대를 비행기(S3)를 탑승해야되는 겁니다. 자 시작해볼까요? Argparse https://docs.python.org/ko/3/library/argparse.html import argparse if __name__ = '__main__': parser = argparse.Ar.. Language/Python 2022. 7. 16.

• 

  Python Lambda에 대해서 자세히 알아보자 어느 날 회사에서 Lambda를 사용하다 문득 '내가 Lambda를 어디까지 알고 있을까? 익명(Anonymous) 함수는 메모리 사용량이 적다는데 왜 그런걸까?' 라는 호기심에 Lambda에 대해 이것저것 알아보다 알아낸 내용들을 글로 정리해보고자 합니다. Python Lambda란 무엇인가? 컴퓨터 프로그래밍에서 익명 함수(function literal, lambda abstraction, lambda function or lambda expression)는 식별자에 구속되지 않는 함수 정의다. 익명 함수는 종종 고차 함수에 전달되는 논쟁이거나 함수를 반환해야 하는 고차 함수의 결과를 구성하는 데 사용된다. 기능이 한 번만 또는 제한된 횟수로만 사용되는 경우, 익명 함수는 명명된 함수를 사용하는 것보.. Language/Python 2021. 4. 17.