오픈소스 하둡(Hadoop) 기반에 빅데이터 플랫폼 구축, 빅데이터 수집/저장 빅데이터 분석시각화를 제공합니다.
상용 제품이 아닌 오픈소스 하둡(Hadoop) 솔루션을 사용하여 저렴하고 빠르게 사업이 가능하도록 도와드립니다
축적된 기술력을 바탕으로 빅 데이터와 융합한 AI 시스템 구축
OLAP 기반의 AI 시스템 설계 및 시스템 구축을 제공하며, 하둡(Hadoop) 기반의 빅데이터 플랫폼을 통하여
IoT, 빅데이터 분석 및 통계 처리를 AI 시스템과 연계, 시각화, SPARK를 기반으로 데이터 사이언스를 쉽게 적용할 수 있습니다.
구축/마이그레이션
| S/W | 기능 | 구분 |
|---|---|---|
| 하둡 HDFS | 하둡분산파일시스템, 대용량 데이터를 다수의 데이터노드에 분산 저장하며, 데이터 가용성을 보장 | 저장 |
| 하둡 YARN | 하둡 클러스터 자원관리 시스템, 맵리듀스 등의 분산병렬처리 애플리케이션에 자원을 할당하고 관리함 | 관리 |
| 하둡 MapReduce | 하둡의 분산병렬처리 프레임워크, YARN을 통해 자원을 할당받은 후 HDFS에 저장된 데이터를 분산병렬처리함 | 처리 |
| Hive | 하둡 기반의 DataWare House, HiveQL 쿼리 지원, HDFS에 저장된 대용량 데이터를 자동으로 분산병렬처리함 | 처리 |
| Pig | Pig Latin 스크립트를 작성하면 HDFS에 저장된 데이터를 자동으로 분산병렬처리함 | 처리 |
| Presto | 대화형 분산 SQL 쿼리 엔진, SQL On Hadoop의 대표적인 기술 | 분석 |
| Spark | 통계 분석, SQL 쿼리, 머신러닝, 웹서비스 등 인메모리 기반 분산병렬처리 및 분석 프레임워크 | 분석 |
| Anaconda(Python) | Python언어, 다양한 패키지 통합 S/W, Python Notebook을 주로 사용 | 분석 |
| Zeppelin | Spark 활용을 위한 Web 기반 Notebook | 분석 |
| Tensorflow | GPU를 활용한 DeepLearning 라이브러리 | 분석 |
시스템 사용 현황, 데이터 적재 모니터링 및 데이터 추출 기능
