atomicdev 님의 블로그

1. 데이터 소스구조화된 데이터: 관계형 데이터베이스, 데이터 웨어하우스, 기업 애플리케이션(예: CRM, ERP).반구조화된 데이터: XML 파일, JSON 문서, 로그 파일.비구조화된 데이터: 소셜 미디어 게시물, 멀티미디어 파일(이미지, 비디오), 센서 데이터, 이메일.2. 데이터 수집 계층배치 처리: Apache Sqoop, Talend와 같은 도구를 사용하여 다양한 소스로부터 대량의 데이터를 일정 간격으로 가져옵니다.실시간 처리: Apache Kafka, Apache Flume, Amazon Kinesis와 같은 도구를 사용하여 데이터를 실시간으로 스트리밍합니다.변경 데이터 캡처(CDC): Debezium, GoldenGate와 같은 도구를 사용하여 소스 데이터 시스템의 변경 사항을 캡처합니다...

빅데이터 플랫폼의 길잡이가 되기를 지난 30여 년간, 저는 글로벌 기업부터 한국의 다양한 기업에 이르기까지 수많은 빅데이터 플랫폼을 개발하고 컨설팅하는 과정을 겪어왔습니다. 이 여정 속에서 저에게 가장 중요한 과제는 단순히 기술적인 문제를 해결하는 것에 그치지 않았습니다. 더 큰 과제는 데이터의 힘을 기업의 성장과 혁신으로 연결시키고, 이를 통해 조직이 변화하는 시장 속에서 한 발 앞서 나갈 수 있도록 돕는 것이었습니다.빅데이터는 이제 단순한 유행어가 아니라, 오늘날 비즈니스 성공의 필수적인 요소가 되었습니다. 하지만 빅데이터 플랫폼을 처음 접하는 개발자들에게는 그 복잡성과 광범위한 기술 스택으로 인해 큰 부담이 될 수 있습니다. 저는 이러한 부담을 조금이라도 덜어주고자, 이 책을 통해 후배 개발자들이 ..