Language/Python54

• 

  [Python] Iterator, Generator 정리 들어가기 전에 파이썬에서 이터레이터(Iterator)는 데이터를 순차적으로 접근하는 객체이고, 제너레이터(Generator)는 이터레이터를 더 쉽게 만들어주는 함수(메서드)인데, 메모리 효율성과 지연 평가(Lazy Evalutation)가 핵심 사용 이유 입니다. 특히 제너레이터는 거대한 데이터셋을 다룰 때 모든 데이터를 한 번에 메모리에 올리지 않고 필요할 때마다 하나씩 생성하여 반환하므로 메모리 사용량을 획기적으로 줄이고, 계산 비용을 낮추어 효율적인 프로그래밍을 가능하게 합니다.Iterator란 무엇인가?개념iterator는 순차적으로 값을 하나씩 반환하는 객체Iterator가 되기 위한 조건__iter__() 메서드: 자기 자신(iterator 객체)을 반환__next__() 메서드: 다음 값을 .. Language/Python 2025. 12. 26.

• 

  [FastAPI] 'Unknown Column' 에서 Alembic 사용법 (SQLAlchemy 스키마 동기화) 안녕하세요. FastAPI와 SQLAlchemy로 구현 된 서비스에서 코드를 수정하던 중 (pymysql.error.OperationalError) (1054, "Unknown column '..' in 'field list'") 오류와 그 해결 과정을 공유하려고 합니다. 참고로 Django 개발자였고 Django 는 makemigrations, migrate 명령어로 DB 스키마 동기화가 편리했지만, FastAPI의 경우 처음 사용하는 웹 프레임워크이다 보니까 아무것도 모르는 상태에서 Alembic 을 발견 했습니다.추측"FastAPI와 SQLAlchemy 로 AWS RDS 까지 구축된 상황에서 데이터베이스 스키마가 동기화가 안되어 있다" 라는 걸 봤을 때 전 개발자는 초기에 DB 를 개발하고 AWS .. Language/Python 2025. 6. 15.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 (3) https://newbiecs.tistory.com/394 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 전 게시글에서는 pandas와 argparse 를 이용하여 csv 파일을 만들고, 인터페이스를 파싱했습니다. 오늘은 아래 사진에서 빨간색 네모로 강조 된 부분의 데이터들을 가져오겠습니다. google-api-client.. Language/Python 2023. 9. 4.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - pandas, argparse (2) https://newbiecs.tistory.com/392 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 이전 글에서는 Google Cloud 및 googleapiclient 설정에 대해 알아봤습니다. 이제 유튜버의 영상 정보를 가져오는 것을 해보겠습니다. 영상 정보란 제목, 설명, 썸네일, 조회수, 좋아요, 업로드날짜, .. Language/Python 2023. 8. 29.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터를 입력해서 영상을 추천해주는 서비스를 만들었습니다. 유튜브 데이터에는 수많은 데이터가 존재합니다. 'google-api-python-client' 를 이용해서 데이터를 가져오겠습니다. 들어가기 전에 'google-api-python-client' 의 경우 쿼터 제한이 존재합니다. YouTube Data API는 쿼터(일일 사용량 한도)를 가지고 있습니다. 무료로 사용할 경우, 쿼터는 매일 1,000 단위의 "유저" 또는 "프로젝트" 당 요청 수로 제한됩니다. "유저".. Language/Python 2023. 8. 24.

• 

  Python 나무위키 데이터 가져오기 (Pandas, datasets, parquet) 안녕하세요. 오늘은 나무위키에 있는 '식품 관련 정보' 데이터를 가져오는 걸 구현 해보겠습니다. https://huggingface.co/datasets/heegyu/namuwiki 를 참고 하였습니다. datasets 을 설치하고, namuwiki 데이터 즉, parquet 데이터를 다운로드 받습니다. $ pip install datasets from datasets import load_dataset("heegyu/namuwiki") dataset = load_dataset("heegyu/namuwiki") 수 많은 데이터가 존재하고, 거기서 본인이 원하는 데이터를 아래와 같이 검색하면 됩니다. import pandas as pd df = pd.read_parquet("/Users/user/Downl.. Language/Python 2023. 6. 23.

• 

  [PostgreSQL] sorry, too many clients already 문제 해결 안녕하세요. 오늘은 PostgreSQL sorry, too many clients already 해결법에 대해 알아보겠습니다. 구현 사항은 docker-compose 로 web과 db를 배포해둔 상태입니다. web 에서 apscheduler 로 특정시간마다 정보를 가져와 db에 저장하는 것을 진행하던 중 문제가 발생하였습니다. 문제는 sorry, too many clients already 한마디로 클라이언트 수가 초과했다는 것을 의미합니다. 1. docker-compose DB connection docker-compose exec -it db /bin/bash apt-get update apt-get install vim docker-compose db 에 접속합니다. 그리고 vi var/lib/po.. Language/Python 2023. 2. 23.

• 

  Python 구글 뉴스 데이터 크롤링(apscheduler, nohup) - 2 https://newbiecs.tistory.com/365 Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성 newbiecs.tistory.com 안녕하세요. 전에 작성했던 글을 마무리 해보겠습니다. 이번에 사용할 건 Python apscheduler와 nohup 되겠습니다. 저도 nohup를 처음 사용하는데요. 간단히 알아보자면 '프로세스가 중단되지 않는 백그라운드 작업을 수행' 하는 용도로 사용된다고 하네요. 다음으로 apscheduler 은 파이썬의 스케쥴러 모듈입니다.. Language/Python 2023. 2. 14.

• 

  Python 텔레그램(telegram) 채널 데이터 가져오기, Django Create a Model- 2 안녕하세요. 저번에는 작성했던 글에 이어서 텔레그램(Telegram) 데이터 가져오기를 구현해보겠습니다. Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 newbiecs.tistory.com 링크에서 발급받은 API_ID 와 API_HASH 값이 없으면 구현할 수 없기 때문에 위 링크를 꼭 봐주시기 바랍니다. Python 을 이용하여 텔레그램 채널 데이터를 가져오고, 가져온 정보를 Django.. Language/Python 2023. 2. 6.

• 

  Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 정보들(?)을 가져오기 위함입니다. Python 으로 텔레그램 데이터(async, await)를 가져오고, Django ORM 으로 데이터베이스 저장, 그리고 Bootstrap 을 이용한 HTML 만들기를 진행해보겠습니다. 1. 텔레그램 Installation 텔레그램을 설치해보겠습니다. 저는 poetry 환경으로 진행하겠습니다. poetry add telethon poetry add django_telethon or pip install telethon pip install django_telethon 텔레그.. Language/Python 2023. 1. 30.

• 

  Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성하겠습니다! 한국타이어로 한 이유는 제가 주식을 사서... ㅎyㅎ 구글에서 진행 할 예정입니다. 그럼 시작해볼까요? Python 크롤링에 사용할 것들을 설치하겠습니다. pip install requests pip install beautifulsoup4 먼저 우리가 가져와야하는 데이터를 확인해봐야겠죠? 구글로 이동합니다. 다들 크롤링 할 때 google.com 으로 할 것 입니다. 하지만 우리는 뉴스에 대한 데이터만 가져올 것 이기 때문에 news.google.com 을 가져오겠습니다. 그럼 한번 검색을 해봐야.. Language/Python 2022. 11. 7.

• 

  Save to AWS EFS(PVC) as AWS Lambda 안녕하세요. 저번 시간에는 'Python argparse, S3 folder upload' 까지 알아봤습니다. 오늘 해볼 것은 S3에 올라온 파일을 Lambda를 이용하여 AWS EFS(Elastic File System)에 저장하는 것 입니다. 그러면 왜 EFS에 저장을 해야 될까요? 바로 Kubernetes 에서 파일 시스템을 이용하여 폴더를 사용할 수 있기 때문입니다. 링크 여기에 EFS 관련 설명이 자세히 나와있습니다. 중요한 것들을 뽑아보자면 1. AWS EFS는 NFSv4 프로토콜을 준수하는 AWS 서버리스 파일 시스템 상품이다. 2. 영구적으로 파일을 저장할 수 있다는 공통점을 가진 AWS S3와 다른 점은 인스턴스에 네이티브한 하나의 파일 시스템으로 작동한다는 것이다. 3. 수천대 이상의 .. Language/Python 2022. 8. 22.