atomicdev 님의 블로그

데이터 수집 API 구현강의 목표:FastAPI를 사용하여 데이터를 수집하는 방법을 이해한다.데이터 입력 엔드포인트(/data_input)를 구현하여 API로 데이터를 전송받고 저장하는 방법을 배운다. 강의 세부 내용:1. 데이터 수집 API의 기본 개념API를 통한 데이터 수집: 클라이언트로부터 데이터를 수집하고 이를 서버에서 처리하는 방법을 학습.FastAPI에서는 POST 요청을 통해 데이터를 받아올 수 있으며, 이를 JSON 또는 다른 형식으로 처리할 수 있습니다.2. FastAPI에서 데이터 전송 및 수신HTTP 메서드: FastAPI에서는 GET, POST, PUT, DELETE 등의 HTTP 메서드를 사용하여 다양한 형태의 요청을 처리합니다.POST 요청: 데이터를 서버에 보내기 위해 사용됩..

구글 설문지 작성하는 방법: 단계별 가이드구글 설문지는 쉽게 설문을 만들고, 응답을 수집하며, 분석할 수 있는 매우 유용한 도구입니다. 사용하기 간편하고, 무료로 제공되기 때문에 개인 용도뿐만 아니라, 비즈니스나 교육 등 다양한 분야에서 많이 사용되고 있습니다. 이번 포스팅에서는 구글 설문지를 처음부터 끝까지 작성하고 관리하는 방법을 단계별로 설명하겠습니다.1. 구글 설문지 접속 및 새 설문지 만들기1.1. 구글 설문지 접속구글 설문지는 Google Workspace의 일부로, 구글 계정만 있으면 누구나 무료로 사용할 수 있습니다. 먼저 구글 설문지에 접속하는 방법은 다음과 같습니다:구글 설문지 홈페이지로 이동: Google 설문지로 접속합니다.Google Drive를 통한 접속: Google Drive..

빅데이터 플랫폼 시나리오: 소셜 미디어 감정 분석 플랫폼 구축1. 프로젝트 개요이번 프로젝트는 소셜 미디어 플랫폼(예: Twitter, Instagram)의 데이터를 수집하여 감정 분석을 수행하는 빅데이터 플랫폼을 구축하는 것을 목표로 합니다. 이를 통해 기업은 고객의 피드백을 실시간으로 모니터링하고, 트렌드를 파악하여 더 나은 비즈니스 결정을 내릴 수 있습니다.2. 데이터 소스소셜 미디어 데이터는 크게 구조화된, 반구조화된, 비구조화된 데이터로 나뉩니다. 이 프로젝트에서 활용할 데이터 유형은 다음과 같습니다:구조화된 데이터: 고객의 CRM 데이터, 마케팅 캠페인 데이터.반구조화된 데이터: 소셜 미디어 API로 수집된 JSON 형식의 댓글 및 사용자 반응 데이터.비구조화된 데이터: 이미지, 비디오, 사용..

1. 데이터 소스구조화된 데이터: 관계형 데이터베이스, 데이터 웨어하우스, 기업 애플리케이션(예: CRM, ERP).반구조화된 데이터: XML 파일, JSON 문서, 로그 파일.비구조화된 데이터: 소셜 미디어 게시물, 멀티미디어 파일(이미지, 비디오), 센서 데이터, 이메일.2. 데이터 수집 계층배치 처리: Apache Sqoop, Talend와 같은 도구를 사용하여 다양한 소스로부터 대량의 데이터를 일정 간격으로 가져옵니다.실시간 처리: Apache Kafka, Apache Flume, Amazon Kinesis와 같은 도구를 사용하여 데이터를 실시간으로 스트리밍합니다.변경 데이터 캡처(CDC): Debezium, GoldenGate와 같은 도구를 사용하여 소스 데이터 시스템의 변경 사항을 캡처합니다...