생산 데이터 필터링·전처리 플랫폼
원시 데이터를 분석 가능한 고품질 데이터로 변환하는 전처리 전문 플랫폼
peak9-edge는 peak9-anchor를 통해 수집된 원시 데이터를 분석 가능한 고품질 데이터로 변환하는 데이터 필터링·전처리 전문 플랫폼입니다. 룰 엔진·통계 엔진·ML 추론 엔진의 3단계 처리 파이프라인을 통해 데이터 품질을 체계적으로 관리합니다.
원시 데이터를 정제하여, 분석할 수 있는 데이터로 만듭니다
peak9-edge는 peak9-anchor를 통해 수집된 원시(Raw) 데이터를 분석 가능한 고품질 데이터로 변환하는 데이터 필터링·전처리 전문 플랫폼입니다. 센서 노이즈 제거, 결측값 보정, 이상치 탐지부터 비즈니스 룰 기반의 데이터 검증, 정규화, 집계까지 데이터 파이프라인의 중간 처리 과정 전체를 담당합니다. 룰 엔진·통계 엔진·ML 추론 엔진의 3단계 처리 파이프라인을 통해 데이터 품질을 체계적으로 관리하며, 처리 결과는 데이터 품질 스코어카드로 자동 리포팅되어 데이터 거버넌스 체계 구축의 핵심 기반이 됩니다.
개요
- Rule → Statistical → ML의 3단계 파이프라인으로 데이터 품질을 단계적 향상
- 센서 노이즈 제거, 결측값 보정, 이상치 탐지 등 포괄적 전처리 기능 내장
- 밀리초 단위 실시간 스트림 필터링과 대량 배치 전처리를 동일 플랫폼에서 수행
- YAML/JSON 기반 노코드 룰 설계로 비개발자도 검증 규칙 작성 가능
- 6대 품질 차원 자동 측정 및 데이터 품질 스코어카드 자동 리포팅
시스템 구성
peak9-edge는 입력 데이터, 룰 검증 계층, 통계 처리 계층, ML 추론 계층, 출력 및 품질 관리의 5계층으로 구성됩니다. peak9-anchor에서 수집된 실시간 스트림·배치·이벤트 데이터가 입력되면, 룰 엔진이 타입·범위·포맷을 검증하고, 통계 엔진이 노이즈 제거·결측값 보정·이상치 탐지를 수행하며, ML 추론 엔진이 패턴 분류와 피처 엔지니어링을 처리합니다. 정제된 데이터는 Data Lake에 적재되고, 품질 스코어카드가 자동 생성됩니다.
구성 및 기능
룰 기반 데이터 검증 엔진
데이터 타입, 범위, 포맷, 필드 간 논리 관계를 자동 검증하는 룰 엔진으로, YAML/JSON 기반 DSL을 지원합니다.
- 4단계 검증 — 타입·범위·포맷·크로스 필드 검증을 순차 적용
- 비즈니스 룰 DSL — YAML/JSON 기반 선언적 룰 정의로 비개발자도 규칙 작성
- 조건부 처리 — 검증 실패 시 제거·대체·플래깅 등 전략 선택 적용
- 실시간 검증 — 스트림 데이터에 대한 인라인 검증으로 지연 없는 품질 관리
통계 기반 노이즈 제거
이동평균, 칼만 필터, 사비츠키-골레이 등 다양한 통계 필터로 센서 노이즈를 제거하고 추세를 보존합니다.
- 다중 필터 지원 — SMA/EMA, 칼만 필터, 사비츠키-골레이, FFT 기반 필터
- 신호 왜곡 최소화 — 추세를 보존하면서 단기 변동 노이즈만 선택적 제거
- 적응형 튜닝 — 데이터 특성 변화에 따라 필터 파라미터 자동 재조정
- 주파수 분리 — FFT 기반 고/저주파 노이즈 분리 및 선택적 제거
결측값 보정 및 보간
선형 보간, 스플라인, KNN, ARIMA 등 다양한 알고리즘으로 결측값을 자동 보정하고 원인을 태깅합니다.
- 다중 보간 알고리즘 — 선형, 스플라인, KNN 대체, ARIMA 시계열 예측 대체
- 결측 원인 분류 — 장비 오류, 통신 두절, 범위 초과 등 원인 자동 태깅
- 컨텍스트 기반 — 시계열 특성(추세, 계절성)을 반영한 지능형 보정
- 보정 신뢰도 — 보간된 값의 불확실성 구간(Confidence Interval) 함께 제공
이상치 탐지 및 처리
통계적, 밀도 기반, 시계열 특화, 다변량 등 다양한 알고리즘으로 이상치를 탐지하고 처리 전략을 적용합니다.
- 다중 탐지 알고리즘 — Z-Score, IQR, DBSCAN, LOF, Isolation Forest
- 시계열 분해 — STL 분해(계절성·추세·잔차)를 통한 시간적 맥락 기반 판별
- 유연한 처리 전략 — 제거(Remove), 대체(Replace), 캡핑(Cap), 플래깅(Flag) 선택
- 다변량 탐지 — Mahalanobis 거리 기반 다차원 이상 패턴 탐지
데이터 정규화 및 변환
이기종 소스에서 수집된 데이터의 단위, 타임스탬프, 스케일을 통일하고 피처를 자동 생성합니다.
- 단위 표준화 — °C↔︎°F, psi↔︎bar 등 이기종 소스의 측정 단위 자동 통일
- 시간축 정렬 — 서로 다른 샘플링 주기 데이터를 공통 시간축으로 리샘플링
- 스케일링/인코딩 — Min-Max, Z-Score 정규화 및 One-Hot, Label 인코딩 자동 처리
- 피처 엔지니어링 — 롤링 통계, 차분, 래그 피처, 교차 피처 자동 생성
데이터 품질 스코어카드
ISO 8000 프레임워크 기반의 6대 품질 차원을 자동 측정하고, 대시보드와 알림으로 품질을 관리합니다.
- 6대 품질 차원 — 완전성, 정확성, 일관성, 적시성, 유일성, 유효성 자동 측정
- 품질 추이 대시보드 — 소스별·파이프라인별·시간대별 품질 추이 시각화
- 자동 알림 — 품질 임계값 위반 시 Slack, 이메일, 웹훅 즉시 통보
- 근본 원인 분석 — 품질 이슈 이력 관리 및 RCA(Root Cause Analysis) 지원
특장점
peak9-edge는 Rule → Statistical → ML의 3단계 파이프라인으로 데이터 품질을 단계적으로 향상시키며, 센서 데이터 수신 후 10ms 이내에 필터링과 전달을 완료합니다.
3단계 파이프라인 처리
- Rule → Statistical → ML 순차 처리로 데이터 품질을 단계적으로 향상
- 각 단계별 처리 결과를 독립적으로 모니터링하여 병목 구간 즉시 파악
- 단계별 바이패스(Bypass) 설정으로 워크로드 특성에 맞는 유연한 구성
밀리초 단위 실시간 처리
- 센서 데이터 수신 후 10ms 이내 필터링 및 전달 완료(P99 기준)
- 스트림 처리 엔진 기반으로 연속 데이터 흐름의 지연 시간 최소화
- 실시간 품질 모니터링으로 이상 데이터 즉각 차단 및 알림
노코드 전처리 룰 설계
- YAML/JSON 기반 DSL로 복잡한 전처리 로직을 선언적으로 정의
- 시각적 룰 빌더에서 드래그 앤 드롭으로 검증 규칙 조합
- 룰 시뮬레이션: 과거 데이터에 신규 룰 적용 시 영향도 사전 분석
적응형 필터 오토튜닝
- 데이터 특성(분포, 주기성, 변동성) 변화를 감지하여 필터 파라미터 자동 재조정
- AutoML 기반 최적 필터 조합 탐색으로 수동 튜닝 부담 제거
- A/B 테스트 프레임워크: 신규 필터 적용 전 기존 대비 성능 비교 검증
포괄적 데이터 품질 관리
- ISO 8000 데이터 품질 프레임워크 기반의 6대 차원 자동 측정
- 품질 SLA 정의 및 위반 시 자동 에스컬레이션으로 거버넌스 체계 확립
- 데이터 품질 개선 효과의 정량적 추적 및 ROI 리포팅
데이터 리니지 추적
- 원시 데이터부터 최종 정제 데이터까지의 변환 이력 완전 추적
- 필드 단위 변환 로그: 어떤 룰/필터가 적용되어 값이 변경되었는지 상세 기록
- 감사 추적(Audit Trail) 기능으로 규제 준수 및 데이터 투명성 확보
관련 사례
설비 센서 노이즈 제거 제조 생산 데이터 품질 관리 품질 실시간 이상치 탐지·차단 품질 다공장 데이터 표준화 데이터 시계열 결측값 자동 보정 데이터 데이터 거버넌스 체계 구축 거버넌스 SPC 데이터 전처리 자동화 품질 AI 학습 데이터 정제 AI 배치 ETL 파이프라인 현대화 데이터 데이터 품질 SLA 모니터링 거버넌스