데이터/빅데이터2 [빅데이터] 빅데이터와 플랫폼에 대한 개괄적인 이해 빅데이터를 어떻게 처리하는 지에 대해 알아보고 단계별로 어떤 기술이 적용되는지에 대해 공부한 내용을 정리 목차 빅데이터(Big Data) 1. 빅데이터 이해 1.1. 빅데이터 정의 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미 웹 검색엔진 데이터 웹 페이지 데이터 검색어 로그와 클릭 로그 데이터 스마트 디바이스에서 생성되는 데이터 스마트폰 IoT, 교통카드, 신용카드 소셜 미디어의 데이터 카카오톡 페이스북, 트위터 ◆ 데이터의 단위 단위 크기 1 Magabyte 10^{6} 바이트 1 Gigabyte 10^{9} 바이트 = 1 Magabyte * 10^{3}.. 2023. 4. 18. [빅데이터] 빅데이터 처리 과정에 대한 내용 정리 빅데이터를 어떻게 처리하는 지에 대해 알아보고 단계별로 어떤 기술이 적용되는지에 대해 공부한 내용을 정리 목차 빅데이터(Big Data) 1. 단계별 적용 기술 1.1. 빅데이터 처리 단계 데이터 소스 내부 데이터 외부 데이터 수집 로그를 수집 데이터 통합 Open API 웹로봇 RSS 저장 배치처리 검색 실시간 & 배 분석 알고리즘 스크립트엔진 분산병렬처리 표현 시각화 처리 과정 설명 수집 조직 내외부의 분산된 여러 데이터 소스로부터 수동,자동으로데이터 수집기술 고려사항으로수집 가능성, 난이도및 비용, 보안, 정확성 등 검토 저장 컬럼 기반의 데이터 키, 밸류 기반의함수 형태로데이터 저장 처리 많은 양의 데이터 저장, 수집, 관리, 유통, 분석을 위한 처리 기술 분석 데이터의 효율적분석을통해 비즈니스 .. 2023. 4. 17. 이전 1 다음
