python23

• 

  [Python] Iterator, Generator 정리 들어가기 전에 파이썬에서 이터레이터(Iterator)는 데이터를 순차적으로 접근하는 객체이고, 제너레이터(Generator)는 이터레이터를 더 쉽게 만들어주는 함수(메서드)인데, 메모리 효율성과 지연 평가(Lazy Evalutation)가 핵심 사용 이유 입니다. 특히 제너레이터는 거대한 데이터셋을 다룰 때 모든 데이터를 한 번에 메모리에 올리지 않고 필요할 때마다 하나씩 생성하여 반환하므로 메모리 사용량을 획기적으로 줄이고, 계산 비용을 낮추어 효율적인 프로그래밍을 가능하게 합니다.Iterator란 무엇인가?개념iterator는 순차적으로 값을 하나씩 반환하는 객체Iterator가 되기 위한 조건__iter__() 메서드: 자기 자신(iterator 객체)을 반환__next__() 메서드: 다음 값을 .. Language/Python 2025. 12. 26.

• 

  Elemental MediaConvert 사용기 with FastAPI, S3 Presigned URL 안녕하세요.사이드 프로젝트로 챌린지 관련 프로젝트를 진행하고 있습니다. 사용자들은 챌린지를 수행했다는 인증 영상을 촬영해서 업로드하고, 관리자는 그 영상을 보고 승인 여부를 기록 합니다.여기서 든 생각은 사용자들은 갤럭시, 아이폰 등을 사용하여 영상을 촬영할 것이고, 촬영한 영상을 업로드 한다면 보통 4K 30~60fps, HEVC(H.265)로 S3에 저장될 것 입니다. 스토리지 비용이 많이 발생할 것으로 생각되어 많은 고민을 한 결과 MediaConvert를 이용해서 트랜스코딩 해서 영상 화질과 비트레이트를 낮추는 걸로 결정했습니다.Media Convert란?클라우드 기반 비디오 트랜스코딩(Transcoding; 사이즈와 압축(Codec)) 서비스즉 ,한 가지 포맷의 영상 → 다양한 포맷/코덱/해상도.. Devops/AWS 2025. 8. 30.

• 

  [FastAPI] 'Unknown Column' 에서 Alembic 사용법 (SQLAlchemy 스키마 동기화) 안녕하세요. FastAPI와 SQLAlchemy로 구현 된 서비스에서 코드를 수정하던 중 (pymysql.error.OperationalError) (1054, "Unknown column '..' in 'field list'") 오류와 그 해결 과정을 공유하려고 합니다. 참고로 Django 개발자였고 Django 는 makemigrations, migrate 명령어로 DB 스키마 동기화가 편리했지만, FastAPI의 경우 처음 사용하는 웹 프레임워크이다 보니까 아무것도 모르는 상태에서 Alembic 을 발견 했습니다.추측"FastAPI와 SQLAlchemy 로 AWS RDS 까지 구축된 상황에서 데이터베이스 스키마가 동기화가 안되어 있다" 라는 걸 봤을 때 전 개발자는 초기에 DB 를 개발하고 AWS .. Language/Python 2025. 6. 15.

• 

  백준 파이썬 10814 나이순 정렬 used lambda https://www.acmicpc.net/problem/10814 10814번: 나이순 정렬 온라인 저지에 가입한 사람들의 나이와 이름이 가입한 순서대로 주어진다. 이때, 회원들을 나이가 증가하는 순으로, 나이가 같으면 먼저 가입한 사람이 앞에 오는 순서로 정렬하는 프로그램을 www.acmicpc.net Code import sys n = int(sys.stdin.readline()) lst = [] for index, i in enumerate(range(n)): age, name = map(str, sys.stdin.readline().split()) age = int(age) lst.append([index, age, name]) lst.sort(key=lambda x: (x[1], x[0])) .. Algorithm/backjoon 2023. 10. 8.

• 

  백준 파이썬 1181 단어 정렬 used lambda https://www.acmicpc.net/problem/1181 1181번: 단어 정렬 첫째 줄에 단어의 개수 N이 주어진다. (1 ≤ N ≤ 20,000) 둘째 줄부터 N개의 줄에 걸쳐 알파벳 소문자로 이루어진 단어가 한 줄에 하나씩 주어진다. 주어지는 문자열의 길이는 50을 넘지 않는다. www.acmicpc.net Code import sys n = int(sys.stdin.readline()) lst = set() for i in range(n): lst.add(str(sys.stdin.readline())) result = list(lst) result.sort(key=lambda x: (len(x), x)) # 길이가 짧은 것 부터 len(x) # 길이가 같으면 사전 순으로 x for i i.. Algorithm/backjoon 2023. 10. 8.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 (3) https://newbiecs.tistory.com/394 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 전 게시글에서는 pandas와 argparse 를 이용하여 csv 파일을 만들고, 인터페이스를 파싱했습니다. 오늘은 아래 사진에서 빨간색 네모로 강조 된 부분의 데이터들을 가져오겠습니다. google-api-client.. Language/Python 2023. 9. 4.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - pandas, argparse (2) https://newbiecs.tistory.com/392 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 이전 글에서는 Google Cloud 및 googleapiclient 설정에 대해 알아봤습니다. 이제 유튜버의 영상 정보를 가져오는 것을 해보겠습니다. 영상 정보란 제목, 설명, 썸네일, 조회수, 좋아요, 업로드날짜, .. Language/Python 2023. 8. 29.

• 

  프로그라피 8기 백엔드 회고 안녕하세요. 프로그라피 8기가 종료되었습니다. 6~7개월 정도 프로그라피가 진행되었고, 각자 팀이 정한 주제에 맞게 개발이 되고, 마케팅, 광고 등등 여러 분야를 체험을 할 수 있었습니다. 프로그라피가 뭐지? 에 대한 자세한 설명은 링크를 참고하세요. https://prography.org/ 프로그라피 디자이너와 개발자가 함께 즐겁게 성장하는 커뮤니티, Prography prography.org 활동 일정 소개 팀빌딩 발표 정기 세션 팀모임 - 서비스 기획 마일스톤 - 서비스 결정 마일스톤 - 프로토타입, 배포, 유저모으기 파트별 모임 다같이 모각코! 마일스톤 - 프로토타입 발표 프로그라피 데이 개발자 모각코! 디자이너 프로젝트 킥오프 마일스톤 - 실 서비스 배포 마케킹 세션 데모데이 뭘 만들었니? 프로.. 일상다반사/동아리 및 모임 2023. 8. 29.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터를 입력해서 영상을 추천해주는 서비스를 만들었습니다. 유튜브 데이터에는 수많은 데이터가 존재합니다. 'google-api-python-client' 를 이용해서 데이터를 가져오겠습니다. 들어가기 전에 'google-api-python-client' 의 경우 쿼터 제한이 존재합니다. YouTube Data API는 쿼터(일일 사용량 한도)를 가지고 있습니다. 무료로 사용할 경우, 쿼터는 매일 1,000 단위의 "유저" 또는 "프로젝트" 당 요청 수로 제한됩니다. "유저".. Language/Python 2023. 8. 24.

• 

  Python 나무위키 데이터 가져오기 (Pandas, datasets, parquet) 안녕하세요. 오늘은 나무위키에 있는 '식품 관련 정보' 데이터를 가져오는 걸 구현 해보겠습니다. https://huggingface.co/datasets/heegyu/namuwiki 를 참고 하였습니다. datasets 을 설치하고, namuwiki 데이터 즉, parquet 데이터를 다운로드 받습니다. $ pip install datasets from datasets import load_dataset("heegyu/namuwiki") dataset = load_dataset("heegyu/namuwiki") 수 많은 데이터가 존재하고, 거기서 본인이 원하는 데이터를 아래와 같이 검색하면 됩니다. import pandas as pd df = pd.read_parquet("/Users/user/Downl.. Language/Python 2023. 6. 23.

• 

  Python 구글 뉴스 데이터 크롤링(apscheduler, nohup) - 2 https://newbiecs.tistory.com/365 Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성 newbiecs.tistory.com 안녕하세요. 전에 작성했던 글을 마무리 해보겠습니다. 이번에 사용할 건 Python apscheduler와 nohup 되겠습니다. 저도 nohup를 처음 사용하는데요. 간단히 알아보자면 '프로세스가 중단되지 않는 백그라운드 작업을 수행' 하는 용도로 사용된다고 하네요. 다음으로 apscheduler 은 파이썬의 스케쥴러 모듈입니다.. Language/Python 2023. 2. 14.

• 

  Python 텔레그램(telegram) 채널 데이터 가져오기, Django Create a Model- 2 안녕하세요. 저번에는 작성했던 글에 이어서 텔레그램(Telegram) 데이터 가져오기를 구현해보겠습니다. Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 newbiecs.tistory.com 링크에서 발급받은 API_ID 와 API_HASH 값이 없으면 구현할 수 없기 때문에 위 링크를 꼭 봐주시기 바랍니다. Python 을 이용하여 텔레그램 채널 데이터를 가져오고, 가져온 정보를 Django.. Language/Python 2023. 2. 6.