Language/Python56

• 

  ONVIF XML과 SOAP에 대해서 알아보고 REST API와 비교 https://newbiecs.tistory.com/440 ONVIF로 IP 카메라 설정 제어IP 카메라를 코드로 제어하려면 ONVIF라는 표준 프로토콜을 이해해야 합니다. 이 글에서는 ONVIF의 기본 개념부터 Python으로 카메라의 인코더 설정을 조회하고 변경하는 방법까지 단계적으로 설명newbiecs.tistory.com이전 게시글에서 간단히 XML과 SOAP에 대해서 간단히 설명했다.이 게시글에서는 XML과 SOAP 그리고 REST API와는 어떤 차이점이 있는지 살펴보자1. XML과 SOAP1.1 XML이란?XML(eXtensible Markup Language)은 데이터를 태그로 감싸서 표현하는 마크업 언어입니다.HTML과 생김새는 비슷하지만, HTML이 "어떻게 보여줄지"를 정의한다면 XM.. Language/Python 2026. 5. 28.

• 

  ONVIF로 IP 카메라 설정 제어 IP 카메라를 코드로 제어하려면 ONVIF라는 표준 프로토콜을 이해해야 합니다. 이 글에서는 ONVIF의 기본 개념부터 Python으로 카메라의 인코더 설정을 조회하고 변경하는 방법까지 단계적으로 설명합니다.들어가기 전에https://newbiecs.tistory.com/441 ONVIF XML과 SOAP에 대해서 알아보고 REST API와 비교https://newbiecs.tistory.com/440 ONVIF로 IP 카메라 설정 제어IP 카메라를 코드로 제어하려면 ONVIF라는 표준 프로토콜을 이해해야 합니다. 이 글에서는 ONVIF의 기본 개념부터 Python으로 카메라의 인코더 설newbiecs.tistory.comXML이란?XML(eXtensible Markup Language)은 데이터를 태그.. Language/Python 2026. 5. 20.

• 

  [Python] Iterator, Generator 정리 들어가기 전에 파이썬에서 이터레이터(Iterator)는 데이터를 순차적으로 접근하는 객체이고, 제너레이터(Generator)는 이터레이터를 더 쉽게 만들어주는 함수(메서드)인데, 메모리 효율성과 지연 평가(Lazy Evalutation)가 핵심 사용 이유 입니다. 특히 제너레이터는 거대한 데이터셋을 다룰 때 모든 데이터를 한 번에 메모리에 올리지 않고 필요할 때마다 하나씩 생성하여 반환하므로 메모리 사용량을 획기적으로 줄이고, 계산 비용을 낮추어 효율적인 프로그래밍을 가능하게 합니다.Iterator란 무엇인가?개념iterator는 순차적으로 값을 하나씩 반환하는 객체Iterator가 되기 위한 조건__iter__() 메서드: 자기 자신(iterator 객체)을 반환__next__() 메서드: 다음 값을 .. Language/Python 2025. 12. 26.

• 

  [FastAPI] 'Unknown Column' 에서 Alembic 사용법 (SQLAlchemy 스키마 동기화) 안녕하세요. FastAPI와 SQLAlchemy로 구현 된 서비스에서 코드를 수정하던 중 (pymysql.error.OperationalError) (1054, "Unknown column '..' in 'field list'") 오류와 그 해결 과정을 공유하려고 합니다. 참고로 Django 개발자였고 Django 는 makemigrations, migrate 명령어로 DB 스키마 동기화가 편리했지만, FastAPI의 경우 처음 사용하는 웹 프레임워크이다 보니까 아무것도 모르는 상태에서 Alembic 을 발견 했습니다.추측"FastAPI와 SQLAlchemy 로 AWS RDS 까지 구축된 상황에서 데이터베이스 스키마가 동기화가 안되어 있다" 라는 걸 봤을 때 전 개발자는 초기에 DB 를 개발하고 AWS .. Language/Python 2025. 6. 15.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 (3) https://newbiecs.tistory.com/394 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 전 게시글에서는 pandas와 argparse 를 이용하여 csv 파일을 만들고, 인터페이스를 파싱했습니다. 오늘은 아래 사진에서 빨간색 네모로 강조 된 부분의 데이터들을 가져오겠습니다. google-api-client.. Language/Python 2023. 9. 4.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - pandas, argparse (2) https://newbiecs.tistory.com/392 'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터 newbiecs.tistory.com 안녕하세요. 이전 글에서는 Google Cloud 및 googleapiclient 설정에 대해 알아봤습니다. 이제 유튜버의 영상 정보를 가져오는 것을 해보겠습니다. 영상 정보란 제목, 설명, 썸네일, 조회수, 좋아요, 업로드날짜, .. Language/Python 2023. 8. 29.

• 

  'google-api-python-client'를 사용한 유튜브 데이터 가져오기 - Google Cloud 및 Python 설정 가이드 (1) 안녕하세요. Prography 8기로 활동하고 있습니다. 8기에 저희 팀은 'google-api-python-client' 를 사용하여 유튜버의 영상들을 가져오고, Description 에 적혀있는 재료 정보들로 사용자가 필요한 재료 데이터를 입력해서 영상을 추천해주는 서비스를 만들었습니다. 유튜브 데이터에는 수많은 데이터가 존재합니다. 'google-api-python-client' 를 이용해서 데이터를 가져오겠습니다. 들어가기 전에 'google-api-python-client' 의 경우 쿼터 제한이 존재합니다. YouTube Data API는 쿼터(일일 사용량 한도)를 가지고 있습니다. 무료로 사용할 경우, 쿼터는 매일 1,000 단위의 "유저" 또는 "프로젝트" 당 요청 수로 제한됩니다. "유저".. Language/Python 2023. 8. 24.

• 

  Python 나무위키 데이터 가져오기 (Pandas, datasets, parquet) 안녕하세요. 오늘은 나무위키에 있는 '식품 관련 정보' 데이터를 가져오는 걸 구현 해보겠습니다. https://huggingface.co/datasets/heegyu/namuwiki 를 참고 하였습니다. datasets 을 설치하고, namuwiki 데이터 즉, parquet 데이터를 다운로드 받습니다. $ pip install datasets from datasets import load_dataset("heegyu/namuwiki") dataset = load_dataset("heegyu/namuwiki") 수 많은 데이터가 존재하고, 거기서 본인이 원하는 데이터를 아래와 같이 검색하면 됩니다. import pandas as pd df = pd.read_parquet("/Users/user/Downl.. Language/Python 2023. 6. 23.

• 

  [PostgreSQL] sorry, too many clients already 문제 해결 안녕하세요. 오늘은 PostgreSQL sorry, too many clients already 해결법에 대해 알아보겠습니다. 구현 사항은 docker-compose 로 web과 db를 배포해둔 상태입니다. web 에서 apscheduler 로 특정시간마다 정보를 가져와 db에 저장하는 것을 진행하던 중 문제가 발생하였습니다. 문제는 sorry, too many clients already 한마디로 클라이언트 수가 초과했다는 것을 의미합니다. 1. docker-compose DB connection docker-compose exec -it db /bin/bash apt-get update apt-get install vim docker-compose db 에 접속합니다. 그리고 vi var/lib/po.. Language/Python 2023. 2. 23.

• 

  Python 구글 뉴스 데이터 크롤링(apscheduler, nohup) - 2 https://newbiecs.tistory.com/365 Python 구글 뉴스 데이터 크롤링(beautifulsoup4, slack) - 1 안녕하세요. 요즘 할 일들이 많아서 일주일에 한번 글 쓰기가 소홀해졌네요. 오늘의 미션은 1. '한국타이어' 뉴스를 크롤링하라 2. 크롤링은 '매일' 오전 11시에 하고 싶다. 다음 게시글에서 작성 newbiecs.tistory.com 안녕하세요. 전에 작성했던 글을 마무리 해보겠습니다. 이번에 사용할 건 Python apscheduler와 nohup 되겠습니다. 저도 nohup를 처음 사용하는데요. 간단히 알아보자면 '프로세스가 중단되지 않는 백그라운드 작업을 수행' 하는 용도로 사용된다고 하네요. 다음으로 apscheduler 은 파이썬의 스케쥴러 모듈입니다.. Language/Python 2023. 2. 14.

• 

  Python 텔레그램(telegram) 채널 데이터 가져오기, Django Create a Model- 2 안녕하세요. 저번에는 작성했던 글에 이어서 텔레그램(Telegram) 데이터 가져오기를 구현해보겠습니다. Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 newbiecs.tistory.com 링크에서 발급받은 API_ID 와 API_HASH 값이 없으면 구현할 수 없기 때문에 위 링크를 꼭 봐주시기 바랍니다. Python 을 이용하여 텔레그램 채널 데이터를 가져오고, 가져온 정보를 Django.. Language/Python 2023. 2. 6.

• 

  Python 텔레그램(telegram) 설치(Installation), 로그인(Signing in), API 개발 도구(API development tools) - 1 안녕하세요. 오늘은 텔레그램 데이터를 가져오고, 데이터베이스 저장 및 프론트엔드, await 과 async 에 대해서 알아보겠습니다. 텔레그램에서 왜 데이터를 가져오냐 에 대해서는 주식관련 뉴스나 정보들(?)을 가져오기 위함입니다. Python 으로 텔레그램 데이터(async, await)를 가져오고, Django ORM 으로 데이터베이스 저장, 그리고 Bootstrap 을 이용한 HTML 만들기를 진행해보겠습니다. 1. 텔레그램 Installation 텔레그램을 설치해보겠습니다. 저는 poetry 환경으로 진행하겠습니다. poetry add telethon poetry add django_telethon or pip install telethon pip install django_telethon 텔레그.. Language/Python 2023. 1. 30.