Sieun Kim Portfolio

Unsupervised Conformal Novelty Detection for Hierarchical Data

Thu, 01 Jan 2026 00:00:00 +0000

Abstract

Electric vehicle (EV) battery packs exhibit a natural pack–module–cell hierarchy, which induces dependence among measurements within the same module. Such hierarchical dependence poses challenges for the direct application of conventional novelty detection methods. To address these challenges, we develop conformal e-value procedures for hierarchical novelty detection, with the goal of controlling the false discovery rate (FDR) at both the group and unit levels. We combine hierarchical conformal score construction with eBH and U-eBH multiple testing procedures, and consider split conformal, full conformal, and group-wise conformal regimes. The proposed methods are evaluated through simulation studies and an analysis of EV battery pack data, where they provide empirical FDR control and detect localized module- and cell-level irregularities.

Type

Preprint

Publication

To be submitted to Journal of the Korean Statistical Society (JKSS, SCIE)

Keywords

novelty detection · hierarchical structure · conformal inference · false discovery rate · multiple testing

Motivation

Real-world industrial data — such as EV battery manufacturing — presents three compounding challenges that standard anomaly detection cannot handle jointly:

Hierarchical dependence: Cells within the same module share a common group effect, violating the IID assumption of most methods.
No anomaly labels: Ground-truth defect labels are expensive or infeasible to obtain in manufacturing, ruling out supervised approaches.
Multiple comparisons: Simultaneously testing hundreds of units inflates false discoveries without a principled error-control mechanism.

Method Overview

We frame hierarchical novelty detection as a multiple hypothesis testing problem at two levels simultaneously:

Group-level (HC-GND) — Does a test module contain any anomalous cells?
Unit-level (HC-UND) — Which specific cells within each module are anomalous?

Feature extraction: Charging voltage time series are treated as functional observations. Functional PCA (FPCA) projects each cell’s charging curve onto a low-dimensional score vector, placing cells from all packs on a common feature space.

Preprocessed charging voltage curves for all cells in the six test packs. Normal packs (blue) show regular charging behavior; Abnormal packs 4 and 5 (red) exhibit irregular patterns that are difficult to distinguish visually at the pack level.

Two-dimensional FPCA score vectors under the split conformal regime. Normal reference packs (black) form a tight cluster, while abnormal test packs (red) appear in a distinct region, validating FPCA as a discriminative feature extraction step.

Nonconformity score: For each cell, we compute a Mahalanobis-distance-based nonconformity score relative to a robust trimmed-mean group center. This naturally respects within-group dependence.

Multiple testing: Scores are converted to conformal e-values — non-negative statistics satisfying E[e] ≤ 1 under the null — and tested jointly via the eBH / U-eBH procedure, guaranteeing FDR control under minimal distributional assumptions.

We implement three conformal regimes with different data-efficiency / robustness trade-offs:

Regime	Training data	Contamination risk	Theoretical FDR guarantee
HSC (Split)	Reference only	None	✓ Both levels
HFC (Full)	Reference + all test	Higher	✓ Group level
HGC (Group-wise)	Reference + one test group	Moderate	✓ Group level

Results

Simulation Study

HC-GND simulation results. Empirical FDR (top) and power (bottom) under varying outlier proportions (left) and signal strengths (right). All three regimes maintain FDR below the target α = 0.1. HFC and HGC achieve higher power than HSC, especially at low outlier proportions, by exploiting more calibration data.

HC-UND vs. non-hierarchical baselines. The proposed hierarchical methods (HSC, HFC, HGC) consistently outperform non-hierarchical counterparts (SC, FC, AdaDetect) in power while maintaining empirical FDR control. Unit-level anomalies that are subtle in the pooled population become detectable within their own group context.

Key findings across 1,000 simulation replicates (α = 0.1):

Empirical FDR remains at or below the target level across all outlier proportions and signal strengths.
At weak signal, power reaches ~40%; as signal increases, power approaches 100%.
Hierarchical methods outperform non-hierarchical baselines by leveraging within-group structure.

EV Battery Pack Application

Pack-wise detection results (α = 0.1). Left three columns: hierarchical HC-GND/HC-UND results (yellow = module rejection, red = cell rejection). Right three columns: non-hierarchical baselines (SVM, Isolation Forest, AdaDetect). The proposed methods identify localized irregularities in Abnormal Pack 5 across multiple modules and cells that non-hierarchical methods largely miss.

The proposed procedures detect localized module- and cell-level irregularities not captured by pack-level labels.
Non-hierarchical baselines concentrate false detections on Normal Pack 0 and miss structured signals in Abnormal Pack 5.
Results provide an additional diagnostic layer when only coarse pack-level labels are available.

Presentation Slides

배터리 전압·온도 시계열 기반 이상 셀 탐지

Fri, 12 Dec 2025 00:00:00 +0000

개요

배터리팩 충전 과정의 전압 및 온도 시계열을 함수형 데이터로 변환하고, 데이터 특성에 맞춰 FPCA와vd-FPCA로 차원을 줄인 뒤, GMM 기반 등각 예측(Conformal Prediction)으로 통계적으로 보장된 이상 탐지 기준을 설계한 프로젝트입니다.

연구 기간

2024.05~2025.03

데이터

KAMP 「전기차 배터리 충전 실험 데이터(품질보증)」 — 셀 176개(16 모듈 × 11 셀) 전압, 온도 측정점 32개(모듈당 2개). 학습은 정상만, 테스트는 정상,이상 혼합

기술 스택

Python,R,scikit-fda, scikit-learn,

성과

전압·온도 이상을 위양성 없이 전수 식별(실제,시뮬레이션 데이터 모두 F1 ≈ 1), 유의수준 $\alpha=0.01$ 에서 통계적으로 보장된 커버리지 달성

문제 정의

제조 현장의 이상 탐지는 두 가지 제약이 있습니다. ① 이상 데이터를 얻기 어렵고, ② 라벨을 얻기는 더 어렵습니다. 이 배터리팩 데이터도 같은 상황이었습니다.

학습 데이터: 전부 정상 상태의 충전 과정만 수집 — 176개 셀 전압 + 32개 온도
테스트 데이터: 정상·이상이 섞여 있지만, 이상 샘플엔 이상 발생 시점과 “이상이다"라는 이진 라벨만 제공. 이상의 구체적 유형(온도/전압)은 알려주지 않음
판정 규칙: 전압이든 온도든 한쪽이라도 이상이면 그 배터리팩 전체를 이상으로 분류

즉 정상 데이터만으로 정상의 분포를 학습하고, 새 샘플이 그 분포를 벗어나는지를 판단하는 단일 클래스(novelty) 탐지 문제로 접근했습니다. 그리고 “몇 % 신뢰수준에서 이상이다"라고 말할 수 있도록, 통계적 보장이 있는 판정 기준이 필요했습니다.

배터리팩 계층 구조

배터리팩은 계층적으로 구성됩니다. 팩 1개 = 모듈 16개, 모듈 1개 = 셀 11개, 따라서 팩 전체는 176개 셀입니다. 온도는 모듈마다 센서 2개가 달려 총 32개 측정점을 갖습니다. 이 셀–모듈–팩 계층을 그대로 분석 단위에 반영했습니다(온도는 모듈당 2개 센서를 평균내 모듈 대표 온도로 사용).

배터리 팩은 여러 개의 모듈로 구성되며, 각 모듈은 다수의 셀로 이루어진 계층적 구조를 가졌습니다.[사진 출처: 삼성 SDI]

데이터 전처리

함수형 데이터 분석은 모든 곡선이 같은 충전 사이클을 담고 있어야 합니다. 그래서 전처리의 핵심은 실제 충전 구간만 정확히 절단하는 것이었습니다.

① 기본 절단. 각 곡선에서 전압 및 온도의 최솟값 인덱스를 충전 시작점, 최댓값 인덱스를 충전 완료점으로 잡아 완전한 충전 사이클을 추출했습니다.

② 변화점 탐지로 정밀 절단. 그런데 일부 데이터는 충전 초반에 최저 전압이 한동안 평평하게 유지되는 구간이 있었습니다. 단순히 최솟값의 첫 인덱스를 시작점으로 잡으면, 충전 전 평형 상태까지 끌려 들어가는 문제가 생겼습니다. 그래서 이런 경우에만 선택적으로 변화점 탐지(ruptures 라이브러리) 를 적용해, 감지된 변화점 중 가장 이른 시점을 실제 충전 시작점으로 삼았습니다. 모든 데이터에 적용하면 계산 비용이 크기 때문에, 문제가 되는 곡선에만 선택 적용해 효율적으로 처리했습니다.

③ 길이 통일. 곡선마다 측정 길이가 달라, 모두 1초 단위 격자로 선형보간하고, 가장 긴 곡선을 기준으로 짧은 곡선은 마지막 값을 연장해 길이를 맞췄습니다. 다만 온도는 센서별 변화 양상이 너무 달라 같은 방식으로 늘리면 본래 패턴이 손상되고 탐지 성능이 떨어졌습니다. 그래서 온도에는 가변 도메인 함수형 주성분 분석(vd-FPCA) 을 적용했습니다. vd-FPCA는 길이가 다른 곡선을 공통 격자로 억지로 맞추지 않고, 도메인 길이를 변수로 한 삼변량 평활(penalized thin-plate spline)로 공분산을 추정하고 길이에 조건부로 고유분해하는 방법입니다( ). 덕분에 측정 길이가 제각각인 온도 곡선의 고유한 패턴을 보존하면서 차원을 줄일 수 있었습니다.

함수형 분석

전압과 온도는 데이터 성격이 달랐습니다. 전압은 곡선 길이가 비교적 일정해 일반 FPCA를 적용했고, 온도는 센서마다 측정 길이가 제각각이라 길이 차이를 다룰 수 있는 vd-FPCA를 적용했습니다.

전압 — FPCA + Mahalanobis 거리

먼저 데이터를 팩 단위 5:5로 Train / Calibration 으로 분할한 뒤, 모든 전압 곡선을 함수형 데이터로 변환했습니다. Train 세트에서 FPCA를 학습해 고유함수(eigenfunction) 집합을 추정하고, Calibration,Test 곡선은 같은 함수공간으로 정사영해 2차원 FPCA 점수 공간에 표현했습니다.

이어 Train 세트에서 모듈 안 셀들의 전압 벡터로 평균 벡터와 공분산 행렬을 추정했습니다. 팩 $i$, 모듈 $j$, 셀 $k$의 전압 벡터를 $y_{ijk}$ 라 하면 모듈 단위 평균은

$$\bar{y}_{ij} = \frac{1}{K} \sum_{k=1}^{K} y_{ijk},$$

Train 세트 공분산 행렬 $\Sigma$ 는

$$\Sigma = \frac{1}{|D_{\mathrm{tr}}|}\sum_{i \in D_{\mathrm{tr}}} \sum_{j=1}^{M}\frac{1}{K} \sum_{k=1}^{K}(y_{ijk} - \bar{y}_{ij})(y_{ijk} - \bar{y}_{ij})^{\top}.$$

이 평균과 공분산 통해 각 셀이 모듈 분포에서 얼마나 벗어났는지를 Mahalanobis 거리로 측정해, 셀 단위 이상 점수를 정의했습니다. 셀–모듈 계층을 반영하므로, 팩이 이상으로 판정됐을 때 어느 셀이 원인인지까지 해석할 수 있습니다.

온도 — vd-FPCA

온도 곡선엔 vd-FPCA를 적용한 후 GMM을 통해 정상 집단과 이상 집단을 군집화했습니다. 주성분 공간에서 온도 이상 데이터는 정상 군집과 멀리 떨어진 $(-25,\,26)$ 부근에 고립되어 나타났습니다. 이런 뚜렷한 분리는 vd-FPCA가 길이가 다른 온도 곡선의 정상·이상 패턴 차이를 효과적으로 포착했음을 보여줍니다.

온도 vd-FPCA 점수 공간. 정상(train·cal·test_temp_ok)은 한 군집을 이루고, 온도 이상(test_temp_ng)은 $(-25,26)$ 부근에 고립됩니다.

등각 예측

차원을 줄인 점수 공간 위에서, 등각 예측(Conformal Prediction) 으로 이상을 판정했습니다.

왜 등각 예측인가. 이 데이터는 이상 샘플이 적고 라벨도 부족합니다. 등각 예측은 점 예측 대신 예측 집합(prediction set)을 내놓는데, 교환가능성(exchangeability)이라는 최소한의 가정만으로 불확실성을 정량화합니다. 핵심은 모델의 유효성과 무관하게 예측 집합이 참값을 포함할 확률이 설정한 수준 이상으로 유지된다는 점입니다. 덕분에 분포 가정을 강하게 두기 어렵고 데이터 수가 적은 이번 같은 상황에서도 유효하게 작동하고, “$\alpha$ 수준에서 정상을 이상으로 잘못 볼 확률"을 통제할 수 있습니다.

적합성 점수와 예측 집합 구성 방식이 다른 세 가지 임계값 설정 방법을 모두 적용해 강건성을 검증했습니다.

정상 테스트 데이터 — 세 방법 모두에서 예측 영역 내부에 위치해 정상으로 올바르게 분류
이상 데이터 — 세 방법 모두에서 예측 영역을 명확히 벗어나 이상으로 정확히 식별. 특히 한 이상 샘플은 정상 군집에서 상당히 멀리 떨어져, 높은 신뢰도로 탐지됨
위양성(false positive) 0건 — 세 방법 모두에서 완벽한 분류

전압 적합성 점수 분포. 정상(ok)은 낮은 값에 모이고 이상(test_ng)은 큰 값으로 퍼지며, $\alpha=0.01$ 임계값(26.65)을 기준으로 이상이 분리됩니다.

→ 전압·온도 양쪽 모두에서 $\alpha=0.01$ 수준의 통계적으로 보장된 커버리지를 유지하면서, 실제·시뮬레이션 데이터 모두 F1 ≈ 1 의 높은 정확도를 달성했습니다.

시뮬레이션 검증

실제 이상 데이터가 적어, 평균 이동·최댓값/최솟값 이동·시간가변 이동 등 다양한 이상 시나리오를 시뮬레이션으로 생성해 방법론의 강건성을 검증했습니다. 대부분의 시나리오에서 Accuracy·F1·MCC가 0.94~0.99 수준으로 안정적이었습니다.

시뮬레이션 이상 시나리오별 성능 요약 (Accuracy·Precision·Recall·F1·MCC).

핵심 요약

라벨 없는 제조 데이터에 맞춘 설계: 정상만으로 분포를 학습하는 novelty 탐지로 접근하고, 셀–모듈–팩 계층 구조를 분석 단위에 반영했습니다.
전압·온도를 특성에 맞게: 길이가 일정한 전압엔 FPCA + Mahalanobis 거리를, 길이가 제각각인 온도엔 vd-FPCA를 적용해 각 신호의 패턴을 살렸습니다.
통계적으로 보장된 판정: GMM 기반 등각 예측으로 세 가지 임계값 방법 모두에서 위양성 없이 이상을 전수 식별(F1 ≈ 1)했고, $\alpha=0.01$ 의 커버리지 보장을 확보했습니다.

참고문헌

Johns, J. T., Crainiceanu, C., Zipunnikov, V., & Gellar, J. (2019). . Journal of Computational and Graphical Statistics, 28(4), 993–1006.

출처

배터리 팩 사진

Multi-Agent Large Language Model-Based Economic Dispatch Framework for Optimal Energy Management of Data Center Microgrids

Thu, 01 Jan 2026 00:00:00 +0000

Abstract

The rapid expansion of artificial intelligence (AI) workloads and cloud computing drives a significant rise in hyperscale data centers. This growth in power demand, coupled with extreme load volatility inherent to AI operations, severely destabilizes power grids and complicates energy management. Consequently, data centers increasingly evolve into localized microgrids equipped with distributed energy resources (DERs) and energy storage systems (ESS). However, conventional economic dispatch models—typically based on Mixed-Integer Linear Programming (MILP)—demand specialized optimization expertise and make it difficult to respond flexibly to dynamic business environments, often requiring time-consuming model redesigns whenever tariffs (e.g., Time-of-Use rates) or environmental regulations (e.g., Renewable Energy Certificates) change.

To address these challenges, this paper proposes a multi-agent large language model (LLM)-based economic dispatch framework for data center microgrids. The model operates through a four-stage sequential agent architecture that lets operators execute complex optimization tasks from natural-language inputs. The efficiency of the framework is validated through simulations using the MIT TX-GAIA data center load profile scaled to 400 MW, configured with small modular reactors (SMR), gas turbines (GT), photovoltaics (PV), and a BESS.

Type

Conference

Publication

To be submitted to CIRED 2026

Demo

Interactive Streamlit app ↗

Keywords

LLM agent · economic dispatch · data center microgrid · energy management · multi-agent system

Motivation

AI workloads are pushing hyperscale data centers toward extreme, volatile power demand that destabilizes grids. To stay reliable and cost-efficient, data centers are becoming localized microgrids with distributed energy resources and storage. But the conventional way to operate them has real barriers:

High expertise barrier: MILP-based economic dispatch requires specialized optimization and modeling skills that facility operators rarely have.
Rigid to change: Whenever tariffs (Time-of-Use rates) or regulations (Renewable Energy Certificates) change, the entire model often needs a slow, complete redesign.
Slow scenario testing: Validating “what-if” operational strategies is time-consuming under rigid formulations.

System Configuration

The target is a grid-connected hyperscale data center microgrid sized for AI workloads.

Component	Parameter	Value
Data Center Load	Peak load	400 MW (AI/HPC workload)
SMR	Unit capacity / ramp / cost	100 MW · 0.75 MW/15 min · ≈ 7 USD/MWh
Gas Turbine (GT)	Unit capacity / ramp / fuel	170 MW · 15 MW/min · LNG
ESS	Energy / power / efficiency / SOC	160 MWh · 40 MW · 95% · 10–90%

Load modeling. The MIT Supercloud TX-GAIA HPC dataset — chosen for its high volatility relative to commercial data centers — was normalized from its native 300 kW scale up to a 400 MW peak and resampled to a 15-minute resolution (96 steps over 24 hours):

$$P_{load}(t) = \frac{P_{raw}(t)}{P_{raw}^{max}} \times 400\ \text{MW}$$

Generator modeling. The GT uses a quadratic cost function $C_{GT}(P) = aP^2 + bP + c$ (derived via GasTurb at 800 KRW/kg LNG) capturing partial-load efficiency drop, with a 15 MW/min ramp limit. The SMR (SMART-100, 100 MW) operates as baseload at 7 USD/MWh with a strict 0.75 MW/15 min ramp limit for operational safety.

Method Overview

We propose a four-stage sequential multi-agent LLM pipeline that converts a natural-language prompt into an optimized dispatch schedule — no manual model rebuilding required.

Four-stage agent architecture. An infeasibility-feedback loop returns from the solver to the formulation agent when constraints cannot be satisfied.

Parsing Agent — extracts optimization parameters from the user’s natural-language prompt.
Formulation Agent — translates the parameters into a formal mathematical model (objective + constraints).
Solver Agent — executes the computational dispatch and returns the optimal schedule.
Explanation Agent — synthesizes the numerical results into a comprehensive, human-readable strategic report.

A feedback loop returns infeasibility signals from the solver back to the formulation stage, enabling automatic correction without operator intervention.

Mathematical Formulation

Objective — minimize total daily operational cost $J$ (base demand charge + generation + grid purchase − sales revenue + ESS degradation):

$$\min J = C_{base} + \sum_{t=1}^{T} \Big[ \sum_{i \in \mathcal{G}} C_{gen,i}(P_i(t)) + \rho_{grid}(t)P_{grid}(t) - R_{sales}(t) + \sum_{k \in \mathcal{E}} \lambda_{deg} P_{dis,k}(t) \Big]$$

Key constraints:

Power balance — supply equals demand at every step $t$ (grid + generators + PV + ESS discharge = load + ESS charge).
ESS dynamics — $SOC(t) = SOC(t-1) + \big(P_{chg}(t)\eta - P_{dis}(t)/\eta\big)\Delta t / E_{cap}$, with round-trip efficiency $\eta = 0.95$ and $10\% \le SOC(t) \le 90\%$.
Generator limits — capacity bounds $P_{min,i} \le P_i(t) \le P_{max,i}$ and ramp limits $|P_i(t) - P_i(t-1)| \le Ramp_i$.

The Solver Agent casts this as a Mixed-Integer Quadratic Program (MIQP) and solves it with Gurobi for the global cost-minimizing optimum.

Results

The framework was validated on the MIT TX-GAIA data center load profile scaled to 400 MW over a 24-hour horizon, with a portfolio of small modular reactors (SMR), gas turbines (GT), photovoltaics (PV), and a BESS.

Key findings:

SMR as baseload: The framework seamlessly utilizes the SMR for stable baseload supply (~121 MW average, capacity factor ~100%).
Peak shaving: ESS and gas turbines are dispatched strategically for peak shaving during expensive TOU periods.
Cost structure: Total cost was driven primarily by dispatch strategy — baseload generation accounted for only ~2.5% of total cost, while variable operating cost dominated at ~90.9%, confirming that operational decisions matter more than raw asset mix.
Interactive testbed: The pipeline serves as a rapid, interactive testbed for verifying strategies against uncertainties in cost, load dynamics, and grid stability — and scales to other load systems.

Future Work

Capacity optimization: Move from fixed capacities to optimal sizing of GTs and ESS for a given load profile.
PV curtailment & RE100: Add objective penalty terms for curtailed renewables and minimum-usage constraints to meet sustainability targets.
Conformal prediction: Integrate distribution-free prediction intervals with guaranteed coverage into the demand-forecasting module, letting the Formulation Agent build uncertainty-aware robust optimization models that hedge against AI-workload volatility — reducing the risk of shortage or over-generation.

Try the Live Demo

The full agent pipeline is deployed as an interactive web app. Enter a natural-language scenario and watch the agents parse, formulate, solve, and explain the optimal dispatch in real time.

🚀 Launch the Streamlit App

다이캐스팅 공정데이터 이상 탐지

Wed, 10 Dec 2025 00:00:00 +0000

개요

다이캐스팅 공정의 시계열 패턴을 기반으로 불량을 예측하고, SHAP·CCF로 불량의 주요 원인을 해석한 제조데이터 분석 프로젝트입니다.

대회

제4회 K-인공지능 제조데이터 분석 경진대회 (KAMP, 2024)

기간

2024.10~2024.11(약 2주)

데이터

다이캐스팅 공정 시계열 2,852,465 cells (92,015 rows × 31 columns)

기술 스택

Python · pandas · NumPy · scikit-learn · XGBoost · SHAP · Matplotlib

성과

Accuracy 0.9970 · Recall 0.9501 · Precision 0.9794 · F1 0.9646

문제 정의

다이캐스팅은 금형(Die)에 녹인 금속을 고압으로 주입해 제품을 만드는 주조 공법으로, 압력·속도·시간·온도 4대 조건을 일정하게 유지하는 것이 중요합니다.

주요 변수의 시계열적 특성이 크게 변동하거나 일정 패턴을 벗어날 때 불량이 빈번하게 발생합니다.
현장 관리자는 변수의 실시간 변동은 볼 수 있지만, 그 패턴이 불량에 어떤 영향을 미치는지 구체적으로 파악하기 어렵습니다.
특히 중소기업은 설비 운영이 작업자 경험에 의존해 체계적 관리가 어렵습니다.

→ 시계열 패턴이 불량에 기여하는 정도를 정량적으로 설명하는 모델이 필요합니다.

접근 방법

불량(수율 영향인자)을 다섯 가지 관점으로 나누어 시계열 특성을 반영했습니다.

현재 상태 — 변수의 현재 값이 불량에 미치는 즉각적 영향
변동성 — 일정 기간의 변동성이 품질에 미치는 영향
변화 추세 — 이동평균 기반 장기적 변화 방향의 누적 영향
계절성 — 연중 시기에 따른 품질 변화
시간대 — 하루 중 밤/낮 변화

데이터 전처리 & 파생변수

롤링 윈도우(window=5) 로 각 공정 변수의 이동평균과 이동 변동계수를 생성했습니다. 변수 특성에 따라 금형코드·가열로 단위로 그룹화하여 계산했습니다.
시계열 특성을 위해 연중 며칠째인지(계절성)와 하루 중 시간대의 주기성을 나타내는 파생변수를 추가했습니다.
유효 범위 외 이상치는 결측 처리 후 평균으로 대체하여 일관성을 유지했고, 데이터 완전성·정확성·무결성 품질지수 100을 달성했습니다.
T-검정 결과 모든 파생변수의 p-value < 0.05 로, 생성 변수가 품질에 유의한 영향을 미침을 확인했습니다.

CCF 분석 — 시차를 고려한 영향력 검증

교차상관함수(Cross-Correlation Function)로 각 공정 변수가 지연 시간(lag) 에 따라 불량 판정에 미치는 상관관계를 분석했습니다.

변수의 지연시간(lag)에 따른 CCF. CCF가 양수면 변수 증가 시 불량 확률 증가, 음수면 정상 확률 증가를 의미합니다.

예측 모델 — XGBoost

금형코드·가열로 같은 범주형 변수와 비선형 상호작용이 많은 제조데이터 특성에 강점이 있는 XGBoost를 채택했습니다.

클래스 불균형 처리: 불량 비율이 낮은 문제를 보정하기 위해 불량 클래스에 더 높은 가중치를 부여했습니다.
데이터 분할: 클래스 비율을 유지하며 학습·검증·테스트로 분할했습니다.

모델	Accuracy	Recall	Precision	F1 Score
Random Forest	0.9965	0.9377	0.9817	0.9592
AdaBoost	0.9936	0.8928	0.9572	0.9239
Decision Tree	0.9957	0.9327	0.9664	0.9492
XGBoost	0.9970	0.9501	0.9794	0.9646

XAI — SHAP 기반 불량 원인 해석

SHAP(Shapley Additive Explanations)로 각 변수가 불량 발생에 기여하는 정도를 정량화했습니다. 각 변수를 현재상태/변화추세/변동성 특성으로 나누어 합산했습니다.

요인별 품질 기여도(좌)와 변수별 종합 영향(우). 빨간색은 품질 저하 요인, 파란색은 개선 요인. lower_mold_temp1, upper_mold_temp2 등 금형 온도 변수가 주요 불량 인자로 나타났습니다.

개별 생산품 진단 예시

불량 생산품(11번): 현재 상태와 변동성이 큰 품질 저하 요인. upper_mold_temp1·lower_mold_temp1의 온도 현재 상태가 불량에 강하게 기여.

정상 생산품(4번): 대부분 변수가 품질 개선에 기여. molten_temp가 일부 저하 요인이나 다른 변수가 이를 상쇄.

기대 효과

체계적 공정관리: 제품 생산 시점마다 공정 변수의 현재 상태·변동성을 평가해 품질 저하 요인을 즉시 조정할 수 있습니다.
비용 절감: 가벼운 트리 기반 모델로 고성능 컴퓨팅 자원 없이 수 분 내 분석 및 해석이 가능합니다.
확장성: 온도 및 습도를 다루는 다른 제조 공정(예: 레진 도포, 경화)으로도 확장 가능하며, 불균형한 범주형 데이터에서 F1 0.980의 높은 예측력을 보였습니다.

시계열 센서 데이터 기반 자동차 엔진 이상 탐지

Tue, 09 Dec 2025 00:00:00 +0000

개요

500개 센서의 시계열 데이터로 자동차 엔진의 정상/이상을 판별하고, Grad-CAM·SHAP로 모델의 판단 근거를 해석한 딥러닝 이상 탐지 프로젝트입니다.

수업

심층신경망특론 기말 프로젝트 (인하대학교 통계데이터사이언스학)

기간

2024.10 ~ 2024.12

데이터

Ford 오픈 데이터셋 — 4,921개 시계열 샘플 × 500개 센서 (학습 3,601 / 테스트 1,320, 정상 1 / 이상 −1)

기술 스택

Python · TensorFlow/Keras · scikit-learn · XGBoost · SHAP · NumPy

성과

1D-CNN 정확도 94.69% · AUC 0.95 로 세 모델 중 최고 성능 달성

문제 정의

엔진은 자동차 동력의 심장과도 같아서, 이상이 생기면 곧바로 안전 문제로 이어집니다. 실제로 최근 5년간 접수된 자동차 결함 신고에서 엔진 관련 문제가 가장 큰 비중을 차지했습니다. 그래서 엔진에 부착된 센서를 실시간으로 들여다보며 이상 징후를 미리 잡아내는 일이 점점 더 중요해지고 있습니다.

저희는 이 문제를 이진 분류로 풀기로 했습니다. 한 시점에서 측정된 센서 값들을 보고 그 순간 엔진이 정상인지 아닌지를 가려내는 것입니다.

입력: 특정 시점 $t$ 에 측정된 500개 센서 값
타깃: 그 시점의 엔진 상태 — 정상(1) / 이상(−1)
목표: 500개 센서만으로 현재 엔진 이상 여부를 정확히 판별

데이터 탐색

어떤 모델을 쓸지 정하기 전에, 데이터가 시간적으로, 또 센서 간 공간적으로 어떤 구조를 갖는지부터 살펴봤습니다.

① 시간적으로는 거의 무관했습니다. ACF/PACF를 보니 lag 1 이후로는 시간적 상관이 사라져, 타깃이 사실상 백색잡음(white noise)처럼 움직였습니다. 이는 과거 시점을 길게 기억하는 RNN 계열의 장점이 여기서는 작동하지 않는다는 것입니다.

② 반면 센서끼리는 강하게 얽혀 있었습니다. 센서 사이에는 뚜렷한 선형 상관 클러스터가 보였고, 특히 번호가 가까운 센서일수록 상관이 강했습니다(예: 10–13번 구간은 음의 상관, 1–3번 구간은 양의 상관). 즉 이상을 가르는 단서는 시간이 아니라 가까이 붙은 센서들이 함께 만드는 국소 패턴에 있었습니다. PCA로 약 66개 주성분까지 줄여도 봤지만 성능이 오히려 떨어져서, 500개 센서를 그대로 쓰기로 했습니다.

센서 간 0.6 이상 강한 상관관계 (좌: 2D, 우: 3D). 번호가 인접한 센서끼리 선형 클러스터를 형성합니다.

→ 이 두 가지를 종합해 “시간보다 인접 센서의 국소 패턴이 더 중요하다” 는 가설을 세웠고, 그런 패턴을 잡아내는 데 강한 1D-CNN을 가장 유력한 후보로 두었습니다.

데이터 전처리

시계열 누수 막기: 클래스별 80% 지점 중 더 뒤쪽 시점을 공통 기준으로 잡아 나눴습니다. 이렇게 해야 미래 데이터가 학습에 새어드는 시간적 누수(leakage) 를 막을 수 있습니다.
클래스 비율 유지: 정상/이상 비율을 그대로 유지하며 나눠 한쪽으로 치우치지 않게 했습니다.
정규화: Standard와 Min-Max Scaler를 비교해, 센서마다 다른 단위,범위를 같은 스케일로 맞췄습니다.

후보 모델 & 최적화

접근 방식이 서로 다른 세 모델을 같은 데이터 위에서 나란히 비교해봤습니다.

관점	모델	설계 의도
트리 기반	XGBoost	센서별 중요도 기반 분류
순환 신경망	LSTM	게이트로 시간 의존성 학습
합성곱 신경망	1D-CNN	인접 센서의 국소 패턴 추출

XGBoost. grid search로 하이퍼파라미터를 맞춰봤지만, Train Loss는 떨어지는데 Validation Loss는 제자리인 전형적인 과적합 양상을 보였습니다. AUC도 0.75에 머물렀습니다.

LSTM. 정규화 방식과 유닛 수를 바꿔가며 세 번 돌려보았고, 그중 유닛을 256개로 키운 설정이 정확도 92.88%로 가장 좋았습니다. AUC 0.93으로 성능은 높았지만 과적합 기미가 조금 있었고, 무엇보다 학습에 1시간이 넘게 걸렸습니다.

1D-CNN. 데이터 탐색에서 본 “좌우 15개 안팎의 센서가 강하게 얽힌다"는 특징을 그대로 설계에 반영했습니다. 첫 레이어 커널을 30으로 넓게 잡아 큰 패턴부터 보고, 이후 15 → 7 → 3 으로 좁혀가며 국소 패턴을 단계적으로 잡도록 했습니다. 각 Conv 블록에는 BatchNorm과 Dropout(0.2)을 넣어 과적합을 눌렀습니다.

모델링 결과

모델	Test Accuracy	Test Loss	AUC	Confusion (TP·TN·FP·FN)
XGBoost	74.92%	0.5521	0.75	470 · 519 · 162 · 169
LSTM	92.88%	0.2973	0.93	567 · 659 · 22 · 72
1D-CNN	94.69%	0.1338	0.95	608 · 643 · 38 · 31

결과적으로 1D-CNN이 정확도·안정성·속도 어느 쪽으로 봐도 가장 좋았습니다. Train과 Validation Loss가 나란히 수렴해 과적합이 없었고, 학습 시간도 약 10분으로 LSTM(1시간+)의 6분의 1 수준이었습니다. 데이터 탐색에서 세운 “시간보다 국소 공간 패턴이 중요하다"는 가설이 성능으로 확인되었습니다.

최종 1D-CNN 아키텍처. 4개 Conv1D 블록(BatchNorm·ReLU·Dropout) → Global Average Pooling → Dense.

XAI — 모델은 무엇을 보고 판단했나

정확도가 높다고 해서 모델을 곧바로 믿을 수는 없습니다. 따라서 Grad-CAM과 SHAP로 “CNN이 대체 어디를 보고 이상이라 판단했는지"를 들여다봤습니다.

Grad-CAM: 이상일 때 센서 활성화 값이 약 0.25, 정상일 때 약 0.12로 갈렸습니다. 모델이 이상이라고 볼 때 센서 신호를 훨씬 또렷하게 잡아낸다는 뜻입니다.
SHAP: 두 방법 모두에서 번호가 서로 가까운 센서들(Grad-CAM은 472·428, SHAP은 471·429)이 핵심으로 꼽혔습니다.

센서 번호별 SHAP 중요도. 인접 센서가 함께 중요 특징으로 나타납니다.

(좌) 단일 샘플의 센서별 중요도 (우) 전체 샘플에서 중요도 0.8 이상인 센서의 빈도.

→ 두 해석 결과가 상당히 겹쳤고, 모두 인접 센서의 선형 패턴을 가리켰습니다. 처음 EDA에서 세운 가설을 모델이 실제로 그렇게 작동하고 있다는 것을 확인할 수 있었습니다.

핵심 요약

데이터를 보고 모델을 골랐다: “시간 상관은 약하고 인접 센서의 공간 상관이 강하다"는 EDA 결과를 근거로 1D-CNN을 택했고, 성능이 그 판단을 뒷받침했습니다.
세 모델을 비교했다: XGBoost(0.75) < LSTM(0.93) < 1D-CNN(0.95, 정확도 94.69%) — 성능도 속도도 앞선 CNN을 최종 모델로 채택했습니다.
왜 맞췄는지까지 확인했다: Grad-CAM과 SHAP가 같은 결론을 내, 인접 센서의 선형 패턴이 이상 판별의 핵심이라는 점을 분명히 했습니다.

텍스트 기반 이미지 색채화 품질 개선

Mon, 08 Dec 2025 00:00:00 +0000

개요

텍스트 설명을 따라 흑백 이미지를 색채화하는 생성형 AI 프로젝트입니다. 여러 공개 색채화 모델을 비교하고, 텍스트 의미를 반영하는 추론 파이프라인을 구축했습니다.

대회

2025 INHA AI Challenge, 대학원생 부문 3위

기간

2025.06 ~ 2025.07(약 1달ㄴ)

과제

텍스트(캡션) 조건부 흑백→컬러 이미지 생성, 텍스트 의미 일치도 기반 Score 평가

기술 스택

Python, PyTorch, Diffusers, SAM(Segment Anything), OpenCLIP, NumPy

성과

최종 Score 0.70 달성 (베이스라인 대비 약 17~32% 향상)

문제 정의

텍스트 설명을 입력으로 받아 흑백 이미지를 색채화하되, 결과 색상이 텍스트 의미와 일치해야 하는 과제입니다. “빨간 셔츠를 입은 사람"이라는 설명이 있으면 실제로 그 셔츠가 빨갛게 칠해져야 점수를 받습니다.

핵심은 어떤 모델을 쓰느냐보다, 어떤 모델과 추론 전략의 조합이 텍스트 의미를 더 잘 반영하느냐를 실험으로 찾는 것이었습니다.

1. 공개 모델 비교

먼저 색채화 분야의 주요 사전학습 모델들을 같은 데이터와 환경에서 비교했습니다.

모델	Score
Unicolor	0.56
ControlNet	0.53
ControlColor	0.57
COCO-LC	0.60
L-CAD (튜닝 후 최종)	0.70

같은 조건에서 L-CAD가 가장 좋았고, 이를 메인 모델로 삼아 최적화에 집중했습니다.

2. 추론 파라미터 튜닝

초기 실험에서 두 가지 문제가 있었습니다. 같은 입력인데도 랜덤 시드에 따라 색이 달라졌고, 텍스트 의미와 맞지 않는 색이 나오기도 했습니다.

디퓨전 모델의 결과는 모델 구조만큼이나 추론 설정에 좌우됩니다. 그래서 주요 추론 파라미터를 조정하며 결과의 안정성과 의미 일관성을 확인했습니다.

DDIM Steps — 샘플링 단계 수에 따른 품질, 안정성 변화
Guidance Scale — 텍스트 조건을 얼마나 강하게 반영할지
Strength — 원본 구조를 얼마나 보존할지
Self-Attention Guidance(SAG) — 생성 결과의 일관성 보정

여러 차례 실험을 거쳐, 성능을 떨어뜨리지 않으면서 결과 변동성을 줄이는 설정을 찾았습니다.

3. 객체 단위 앙상블

단일 모델의 한계를 확인하기 위해, 객체별로 더 나은 모델 결과를 골라 합치는 앙상블을 설계했습니다.

SAM(Segment Anything) 으로 이미지 안의 객체를 분리
각 객체에 대해 COCO-LC와 L-CAD 결과를 모두 생성
OpenCLIP 이미지–텍스트 유사도로 객체마다 텍스트 의미에 더 맞는 결과를 선택해 합성

이 방식은 COCO-LC 단일 모델(0.60) 대비 0.686까지 점수를 올렸지만, 최적화한 L-CAD 단일 모델(0.70)에는 못 미쳤습니다. 객체 경계를 합성하는 과정에서 생기는 부자연스러움이 앙상블의 이점을 상쇄한 것으로 보입니다.

결국 앙상블보다 L-CAD 단일 모델의 추론 최적화가 더 효과적이어서, 이를 최종 제출안으로 택했습니다.

최종 L-CAD 색채화 결과. 좌측 흑백 입력을 텍스트 의미에 맞게 자연스럽게 색채화한 모습입니다.

결과

단계	Score	비고
최고 베이스라인 (COCO-LC)	0.60	공개 모델 비교 1위
SAM + OpenCLIP 객체 앙상블	0.686	단일 모델보다 낮음
L-CAD 단일 최적화 (최종)	0.70	최종 채택

최저 베이스라인(ControlNet 0.53) 대비 약 32%, COCO-LC(0.60) 대비 약 17% 향상
2025 INHA AI Challenge 대학원생 부문 3위

핵심 요약

모델 비교로 메인 선정: Unicolor, ControlNet, ControlColor, COCO-LC, L-CAD를 같은 조건에서 비교해 L-CAD를 메인 모델로 정했습니다.
추론 최적화: DDIM, Guidance, SAG 등 추론 파라미터를 조정해 의미 일관성을 유지하면서 변동성을 줄였습니다.
앙상블 검증: SAM과 OpenCLIP으로 객체 단위 앙상블을 설계해 비교한 결과, 이 과제에서는 단일 모델 최적화가 더 나았고 최종 Score 0.70을 달성했습니다.

전기차 주행가능거리 기반 충전소 추천 시스템

Fri, 05 Dec 2025 00:00:00 +0000

개요

전기차의 실시간 BMS(배터리 관리 시스템) 데이터로 주행가능거리를 예측하고, 실제 주행 경로 위에서 도달 가능한 충전소를 실시간 추천하는 시스템입니다.

기간

2024.03 ~ 2024.06(알파프로젝트)

담당 역할

주행가능거리 예측 모델링 · 경로 추천 알고리즘 구현 · GUI 개발

데이터

전기차(BMW i3) BMS 주행 로그 — 배터리 전압·전류, SoC, 속도, 거리, 온도 등

기술 스택

Python · pandas · NumPy · LSTM(TensorFlow/Keras) · Selenium · BeautifulSoup · Naver Map API · Arduino·ESP(IoT)

성과

주행가능거리 예측 MAE 0.03 · MSE 0.005 달성

문제 정의

전기차 운전자는 “지금 배터리로 어디까지 갈 수 있고, 그 안에 충전소가 있는가"를 늘 신경 써야 합니다. 여기엔 두 가지 어려움이 있었습니다.

배터리 잔량만으로는 주행가능거리 예측이 어렵다. 동일한 SoC라도 주행 환경·운전 습관·도로 조건에 따라 실제 갈 수 있는 거리가 크게 달라집니다.
방향 정보가 없으면 엉뚱한 충전소를 추천한다. 실시간 GPS·경로 정보가 없으면, 주행 방향과 반대편에 있는 충전소를 추천하게 됩니다.

그래서 ① BMS 데이터로 주행가능거리를 예측 → ② 실제 주행 경로 위에서 도달 가능한 충전소를 추천하는 흐름을 설계했습니다.

1. 주행가능거리 — 1차 계산

BMS에서 들어오는 배터리 전압 및 전류로 실시간 전력을 구하고, 누적 에너지 소비와 회생제동(에너지 회수)까지 반영해 주행가능거리를 계산했습니다. 배터리 전류가 음수면 회생제동으로 에너지를 회수하는 상태로 간주했습니다.

$$P_{[kW]} = \frac{V_{\text{batt}} \times I_{\text{batt}}}{1000}, \qquad \text{소비율}_{[kWh/km]} = \frac{E_{[kWh]}}{\text{거리}_{[km]}}$$$$\text{주행가능거리} = \frac{\dfrac{SoC}{100}\times C_{\text{batt}} + (E_{\text{회수}} \cdot \mathbb{1}[P<0])}{\max(|P|,\,0.1)}$$

(BMW i3 배터리 용량 $C_{\text{batt}} = 42.2\,\text{kWh}$ 기준)

한계 진단 — SoC 상관분석. 계산한 주행가능거리가 타당한지 SoC를 비롯한 변수들과의 상관관계로 검증했습니다. 그 결과 주행가능거리와 SoC의 상관(≈0.35)이 낮았고, 아래 산점도처럼 같은 배터리 잔량(SoC)에서도 추정 주행거리가 크게 퍼져 단순 계산식만으로는 한계가 있음을 확인했습니다.

배터리 잔량(SoC)과 추정 주행거리의 상관계수가 0.35로 두 변수간에 선형적인 특징이 매우 약하다는 것을 알 수 있습니다.

배터리 SoC(%) vs 추정 주행거리(km). 같은 잔량에서도 주행거리가 넓게 퍼져 있어, 잔량만으로는 정확한 예측이 어렵다는 것을 보여줍니다.

2. 주행가능거리 — 동적 소비율 보정 + LSTM 예측

단순 계산식의 한계를 넘기 위해, 주행 데이터의 변동성과 비선형 패턴을 반영하는 두 단계를 추가했습니다.

동적 소비율 보정: 주행 중 변동성을 반영하도록 가중 이동 평균 소비율(MAAEC) 과 보정식(AAEC) 을 설계해, 순간적인 가속·회생제동에 휘둘리지 않는 안정적인 소비율을 산출했습니다.
LSTM 시계열 예측: 보정된 소비율 위에 LSTM 기반 시계열 모델을 결합해, 주행 환경·운전 습관에 따른 비선형 주행 패턴을 학습했습니다.

→ 그 결과 주행가능거리 예측에서 MAE 0.03, MSE 0.005 의 높은 성능을 달성해, 1차 계산식의 한계를 크게 개선했습니다.

3. 경로 기반 충전소 추천

방향을 무시한 추천 문제를 해결하기 위해, 실제 주행 경로를 반영한 추천 알고리즘을 구현했습니다.

네이버 길찾기 API 로 현재 위치에서 후보 충전소까지의 실제 주행 경로(도달 거리)를 계산
예측된 주행가능거리와 연동해, 도달 가능한 충전소만 필터링
그 안에서 최소 거리 충전소를 추천하고, 네이버 지도를 실시간 크롤링한 충전소 정보(개방·충전 속도·이용 가능 대수 등)와 함께 GUI로 시각화

실시간 충전소 추천 GUI — 현재 위치와 도달 가능한 충전소 위치를 지도에 함께 표시

데이터 수집: 충전소 현황은 GPS 위치를 기준으로 네이버 지도를 Selenium·BeautifulSoup으로 크롤링해 이름·거리·개방 여부·충전 속도·이용 가능 대수를 수집하고 DataHub에 저장했습니다.

4. 사용자 대시보드 & 데모 시스템

운전자가 한눈에 보도록 실시간 대시보드(주행가능거리·배터리 잔량·배터리 온도·주변 충전소 목록)를 구성했습니다. 실제 전기차 대신 Arduino·ESP 기반 모형 전기차로 BMS-유사 데이터를 클라우드로 전송해 전체 흐름을 시연했습니다.

EV charging optimization 및 충전소 추천 대시보드 — 주행가능거리,배터리 잔량,온도,주변 충전소 현황을 실시간 표시

핵심 요약

예측 모델링: 단순 계산식의 한계(SoC 상관 ≈0.35)를 진단하고, 동적 소비율 보정(MAAEC·AAEC) + LSTM 시계열 모델로 MAE 0.03 · MSE 0.005 달성.
경로 추천 알고리즘: 네이버 길찾기 API로 실제 주행 경로를 계산해, 예측 주행가능거리와 연동한 방향까지 고려한 충전소 추천을 구현.
End-to-end: 데이터 수집(크롤링) → 주행가능거리 예측 → 경로 기반 추천 → 대시보드·모형 전기차 데모까지 전 과정을 완성.

지역별 태양광 발전량 예측 및 운영 솔루션

Fri, 05 Dec 2025 00:00:00 +0000

개요

전국 17개 지역의 태양광 발전량을 예측하고, 패널 상태 진단 및 수익 예측을 제공하는 운영 솔루션을 개발한 프로젝트입니다.

대회·과정

K-Software Empowerment BootCamp (KSEB) 3기 — 신세계 I&C 기업협력 프로젝트 (팀 5명)

담당 역할

팀장(PM) · 모델링 총괄 — 일정,역할 관리부터 전체 예측 모델링(날씨·발전량·패널 분류) 설계·구현을 담당

데이터

전국 17개 지역 태양광 발전량·날씨 관측·예보 데이터 (2017–2023, 공공데이터포털·기상자료개방포털)

기술 스택

Python · LightGBM · scikit-learn · TensorFlow/Keras · FastAPI · Streamlit · MySQL · AWS(EC2·RDS)

성과

발전량 예측 RMSE ~10% 개선, 패널 상태 분류 정확도 85%

문제 정의

태양광 발전은 효율이 약 12%로 수력(80 ~ 90%),화력(45 ~ 50%),원자력(30 ~ 40%)에 비해 낮고, 일사·일조·적운·적설 등 날씨에 크게 좌우되어 발전량이 일정하지 않습니다. 재생에너지 3020 정책으로 발전소가 급증하는 가운데, 안정적 운영과 전력 거래를 위해서는 지역별 발전량 예측이 필수적입니다.

이 프로젝트는 전국 17개 지역의 태양광 발전량을 예측하고, 패널 상태 진단를 제공하는 운영 솔루션을 목표로 했습니다.

시스템 구조

왜 날씨를 먼저 예측하고, 그 예측값으로 발전량을 예측했나? 태양광 발전량은 일사량·일조시간 같은 관측 날씨에 의해 결정됩니다. 그런데 우리가 알고 싶은 건 미래의 발전량이고, 미래의 관측 날씨는 아직 존재하지 않습니다. 따라서 ① 기상 예보로 미래의 관측 날씨를 먼저 예측 → ② 예측된 날씨로 미래 발전량을 예측하는 2단계 구조를 설계했습니다.

왜 패널 상태 분류까지 만들었나? 발전량을 아무리 정확히 예측해도, 현장의 패널이 먼지,새똥,손상 등으로 제대로 관리되지 않으면 실제 발전량은 예측을 따라가지 못합니다. 따라서 예측을 운영·관리 시스템의 일부로 완성하기 위해, 발전량이 예측보다 낮을 때 혹은 미리 패널 상태를 진단해 관리할 수 있도록 패널 상태 분류 모델을 함께 만들었습니다.

이 두 가지 이유로 아래 3단계 파이프라인을 설계했습니다.

날씨 예측 — 기상 예보 데이터로 미래의 관측 날씨(일사·일조 등)를 예측
발전량 예측 — 예측된 관측 날씨로 지역별 태양광 발전량을 예측
패널 상태 분류 (관리) — 발전량이 예측보다 낮을 때 패널 상태를 진단해 원인을 파악

예보 → 관측 날씨 예측 → 발전량 예측으로 이어지는 파이프라인 (패널 상태 분류는 관리·진단)

1. 날씨 예측 모델

목표: 전날 17시에 발표되는 기상 예보를 입력으로, 다음날의 실제 관측 날씨(일사,일조,습도,지면온도,기온,풍속 등)를 예측합니다. 발전량 예측의 입력이 되는 단계라 정확도가 전체 파이프라인의 토대가 됩니다.

기상청 매칭 & 변수 선별. 발전소마다 위치가 다르므로, 설비용량으로 가중한 위·경도를 계산해 각 지역에서 가장 가까운 기상청을 매칭했습니다. 이후 발전량과 상관계수 절댓값 0.2 이상인 날씨 변수만 선별하고, 결측은 Random Forest 기반 반복 대치(Iterative Imputer)로, 전부 결측인 경우는 인접한 날짜 데이터로 보완했습니다.

핵심 — 일사·일조량이 없는 지역의 직접 계산 + 구름 가중치 파생변수. 일부 지역(울산,세종,경북 등)은 일사량 및 일조시간이 관측되지 않아, 발전량 예측의 가장 중요한 입력이 비어 있는 문제가 있었습니다. 이를 인접 지역 값으로 대체하면 정확도가 크게 떨어졌습니다. 그래서 물리적으로 직접 계산하는 방식을 설계했습니다.

위·경도 + 시간으로 이론적 일사량 계산: 태양의 고도 및 방위는 위경도와 시각으로 결정되므로, 이를 이용해 맑은 하늘 기준 이론적 일사량과 일조시간을 직접 산출했습니다.
구름 가림을 가중치로 반영: 실제로는 구름이 햇빛을 가리므로, 그날의 하늘 상태를 가중치로 곱해 보정했습니다. 예보의 하늘 상태 코드별로 가중치를 부여했습니다.

하늘 상태 매우 맑음 맑음 구름 조금 구름 많음 흐림

가중치 1.0 0.8 0.5 0.3 0.05

→ 조정된 일사량 = 이론적 일사량 × 하늘 상태 가중치 로 파생변수를 생성해, 관측값이 없는 지역에서도 발전량 예측에 쓸 수 있는 입력을 확보했습니다.

하늘 상태	매우 맑음	맑음	구름 조금	구름 많음	흐림
가중치	1.0	0.8	0.5	0.3	0.05

모델 선택. LSTM·LightGBM·XGBoost·Random Forest를 같은 데이터로 비교한 결과(서울 기준 RMSE), 기온,습도,일사량처럼 특성이 다른 변수들의 상호작용을 안정적으로 처리하는 Random Forest가 가장 우수해 최종 채택했습니다. 학습에 한 번도 쓰지 않은 3일치 데이터에서도 일사 RMSE 0.1, 일조 RMSE 0.06으로 안정적인 성능을 보였습니다.

학습에 사용하지 않은 기간의 날씨 변수별 실제(True) vs 예측(Predicted) 비교.

2. 태양광 발전량 예측 모델

입력 설계. 1단계에서 예측한 관측 날씨에, 태양광이 시계열 특성을 갖는다는 점을 반영해 피처를 추가했습니다. 날짜 피처(연.월.일.요일)에 더해, 발전량이 전날의 발전량·날씨에 영향받는다는 사실을 담은 과거 발전량(lag)·이동평균 시계열 피처를 생성했습니다.

왜 군집화 후 군집별로 모델을 만들었나. 같은 전국 데이터라도 일사량·일조시간 수준에 따라 발전 패턴이 크게 달라집니다. 하나의 모델로 전 구간을 학습하면 평균적인 패턴에 묻혀 버리므로, 발전에 영향이 큰 일사량·일조시간을 기준으로 K-means 군집화(Elbow로 군집 수를 3개로 최적화)한 뒤 각 군집마다 별도의 LightGBM을 학습시켜, 발전 강도대별로 특화된 예측이 가능하도록 했습니다.

왜 LightGBM인가. 대규모 데이터에서도 학습이 빠르고, 결측 처리와 다양한 변수의 비선형 상호작용에 강하며, 과적합 방지에 장점이 있어 복잡한 시계열 특성을 가진 태양광 발전량 예측에 적합했습니다.

일사·일조 수준으로 나눈 3개 군집(Cluster 0·1·2) 각각에 LightGBM을 적용한 실제(Actual) vs 예측(Predicted) 결과. 발전 강도대별로 특화 학습해 각 구간에서 예측이 실제를 잘 따라갑니다.

결과 — 데이터 품질에 따라 예측 성능이 갈렸다. 시계열 피처와 군집별 모델 적용으로 서울시 기준 RMSE 0.57 → 0.52, MAE 0.38 → 0.33 로 예측력이 약 10% 향상됐고, 강원도(RMSE 18.62 → 15.67, MAE 12.26 → 10.04) 등 다른 지역에서도 비슷한 개선을 확인했습니다. 다만 대전처럼 데이터 품질이 낮은(일사 및 일조량이 관측되지 않아 인접 지역 값으로 대체한) 지역에서는 모델이 충분히 학습하지 못해 예측 성능이 낮았습니다. 즉 같은 모델이라도 입력 데이터의 품질이 예측 정확도를 좌우했으며, 이 한계가 1단계에서 일사량을 직접 계산·보정한 이유와 직접 연결됩니다.

학습에 사용하지 않은 기간의 실제(파랑) vs 예측(빨강) 발전량. 데이터 품질이 좋을수록 예측이 실제와 거의 일치하고, 품질이 낮은 지역일수록 오차가 커졌습니다.

3. 태양광 패널 상태 분류

왜 만들었나. 발전량을 정확히 예측해도, 패널이 먼지,새똥,손상 등으로 관리되지 않으면 실제 발전량은 예측을 따라가지 못합니다. 그래서 “예측 발전량 vs 실제 발전량"의 괴리를 진단하는 관리 도구로, 패널 상태를 분류하는 모델을 만들었습니다.

모델. 패널 이미지를 DenseNet121로 6개 상태(정상,새똥,먼지,전기적 결함,물리적 손상,눈 덮임)로 분류했습니다. 적은 데이터에서도 잘 작동하는 구조라 선택했고, 데이터 증강으로 다양한 상황에 강건하도록 학습했습니다.

결과. 전체 정확도 75% → (정제 테스트셋) 85% 를 달성했으며, 눈 덮임(Snow-Covered) 클래스는 F1 0.93으로 특히 높은 성능을 보였습니다. 학습 곡선에서 Loss가 안정적으로 수렴해 과적합 없이 학습이 잘 이뤄졌습니다.

학습 곡선 — Loss 안정 수렴

클래스	P	R	F1
Bird-drop	0.68	0.85	0.76
Clean	0.72	0.74	0.73
Dusty	0.81	0.55	0.66
Electrical-damage	0.71	0.79	0.75
Physical-Damage	0.70	0.54	0.61
Snow-Covered	0.89	0.96	0.93
Accuracy			0.75
Macro avg	0.75	0.74	0.74
Weighted avg	0.75	0.75	0.74

4. 서비스화 & 배포

예측 모델을 실제 사용 가능한 웹 솔루션으로 구현했습니다.

백엔드: FastAPI + SQLAlchemy로 MySQL(AWS RDS)과 연동, 하루 한 번 배치 처리로 지역별 예측을 미리 계산·저장
프론트엔드: Streamlit으로 17개 지역 지도·발전량 그래프·기간별 예측 제공
수익 예측: 예상 발전량에 SMP(계통한계가격)·REC(신재생에너지공급인증서)를 곱해 예상 수익 = (SMP + REC) × 발전량 산출
배포: AWS EC2(백엔드+Streamlit 통합 호스팅), RDS(MySQL)

PM으로서의 기여

모델링 총괄: 날씨 예측 → 발전량 예측 → 패널 분류로 이어지는 전체 ML 파이프라인을 직접 설계·구현했습니다.
일정·역할 관리: 프론트엔드·백엔드·도메인 조사로 나뉜 5인 팀의 작업을 조율하고, 모델·서비스·배포가 한 흐름으로 통합되도록 관리했습니다.
확장 비전: IoT·디지털 트윈과 결합한 AIoT 생태계로의 확장 방향을 제시했습니다.

LG Aimers 6기: 난임 시술 임신 성공률 예측

Sat, 06 Dec 2025 00:00:00 +0000

개요

난임 환자 시술 데이터로 임신 성공을 예측하는 LG Aimers 6기 해커톤 프로젝트입니다. 예선과 본선의 평가 방식 차이에 맞춰 모델 전략을 다르게 설계했습니다.

대회

LG Aimers 6기 — 난임 환자 대상 임신 성공 예측 AI 온라인 해커톤 (팀 간지포s)

기간

2024.01 ~ 2024.05

데이터

난임 환자 IVF(체외수정) 시술 데이터 (배아·난자 상태, 연령, 시술 이력 등)

기술 스택

Python · CatBoost · LightGBM · AutoGluon · Optuna · scikit-learn · pandas

성과

예선 0.70 → 0.74로 본선 진출, 본선 0.64 → 0.66 개선, 최종 7위

문제 정의

난임 환자의 IVF 시술 데이터를 바탕으로 임신 성공을 예측하는 과제입니다. 정밀한 예측은 의료진의 임상 의사결정과 환자 상담을 보조할 수 있습니다.

예선과 본선의 예측 대상(target)과 평가 방식이 달라, 이에 맞춰 모델링 전략을 완전히 다르게 가져갔습니다.

	예선	본선
예측 대상	임신 성공 여부 (0 또는 1)	임신 성공 확률 (0~1 연속값)
문제 유형	이진 분류	확률 회귀
평가 지표	ROC-AUC	Weighted Brier + F1 혼합 Score
핵심 전략	CatBoost + AutoGluon 앙상블	가중치 손실 설계 + Stacking

공통 — 데이터 전처리 & 파생변수

두 라운드 모두 의미 있는 파생변수 설계에 집중했습니다.

문자열 → 수치 변환: "0회", "1-5회", ">20", "6회 이상" 같은 범위형 문자열을 중앙값 추정 또는 기준값+1 방식으로 수치화했습니다.
결측치 처리: NaN을 대체하고 결측 존재 여부 플래그를 추가했습니다.
비율·상호작용 변수: 단순 수치 대신 의미 있는 파생변수를 생성했습니다.
- 배아 관련: 배아 이식 비율, ICSI(미세주입) 배아 비율, 배아 저장 비율, 배아 품질 지표
- 난자 관련: 난자 수정시도 비율, 난자 배아 생성 성공률, 신선/해동 난자 여부
- 시술·연령 관련: 이전 시술 총 횟수, 시술 경험 점수, 고위험 연령군, 연령 가중치, 이식 후 적정기간

상관관계 분석으로 임신 성공에 유의미한 핵심 변수를 선별했습니다.

임신 성공 확률과의 상관계수 상위 30개 변수 (초록: 양의 상관, 빨강: 음의 상관)

예선 — 임신 성공 여부 (이진 분류)

예선은 임신 성공을 0/1 이진 분류로 예측하고 ROC-AUC로 평가했습니다.

CatBoost + Optuna: 범주형 변수 처리에 강한 CatBoost를 사용하고, Optuna로 8개 하이퍼파라미터를 Stratified 5-Fold 교차검증 기반으로 튜닝했습니다.
AutoGluon: TabularPredictor로 다양한 모델을 자동 탐색(HPO)해 예측 확률을 얻었습니다.
Weighted mean 앙상블: 두 모델의 예측을 가중평균해 최종 확률을 산출했습니다.

$$\hat{y} = \frac{\text{CatBoost} + 2 \times \text{AutoGluon}}{3}$$

→ 단일 모델 대비 앙상블로 점수 0.70에서 0.74로 향상, 본선에 진출했습니다.

본선 — 임신 성공 확률 (회귀)

본선은 임신 성공을 0~1 사이 연속 확률로 예측해야 했고, 평가 지표 자체가 바뀌었습니다. 단순 정밀도가 아니라 확률 정확도(Weighted Brier)와 이진 분류 성능(F1)을 절반씩 섞은 점수였습니다.

$$\text{Score} = 0.5 \times \left(1 - \frac{\sum w_i (y_i - \hat{y}_i)^2}{\sum w_i}\right) + 0.5 \times \frac{2TP}{2TP + FP + FN}$$

이 지표에 맞춰 두 가지 전략을 새로 설계했습니다.

1. 가중치 기반 손실 설계

평가식의 가중치 $w_i = 1 + 4y_i + (0.5 - y_i)^2$ 를 학습 손실에 반영해, 임상적으로 중요한 임신 성공(희귀 클래스) 케이스에 더 민감하게 반응하도록 유도했습니다. 예측값은 확률로 출력 가능하도록 Calibration 친화적인 모델을 사용했습니다.

2. CatBoost + LightGBM Stacking

Stage 1: CatBoost로 예측값과 잔차(residual)를 계산
Stage 2: CatBoost 출력값 + 잔차를 LightGBM의 입력으로 활용

CatBoost의 범주형 처리·일반화 능력에 더해, LightGBM이 예측 오류 영역을 보완하도록 했습니다. 마지막으로 Stacking 예측을 CatBoost 단독 예측으로 보정하는 Ensemble 비율을 실험적으로 탐색해 최적 비율(n=3) 을 도출했습니다.

$$\hat{y}_{final} = \frac{n \cdot \hat{y}_{stacking} + \hat{y}_{catboost}}{n + 1}, \quad n = 3$$

→ 본선 점수 0.64에서 0.66으로 개선, 최종 7위를 달성했습니다.

핵심 요약

평가 방식에 맞춘 모델 설계: 예선(이진 분류·ROC-AUC)과 본선(확률 회귀·가중 혼합 Score)의 차이를 정확히 반영해 전략을 분리했습니다.
본선의 핵심 기여: 평가식의 가중치를 손실 함수에 직접 반영하고, CatBoost+LightGBM Stacking으로 예측 성능과 안정성을 동시에 확보했습니다.
해석 가능성: 의학적 맥락에 맞춘 비율·상호작용 파생변수로 해석 가능한 예측 구조를 설계했습니다.

대구 빅데이터 분석 경진대회: IT/SW 기업 성장성 판단

Thu, 04 Dec 2025 00:00:00 +0000

개요

기업의 성장 잠재력을 정량적으로 파악해 전략적 기업 대출(여신) 기준을 제안한 빅데이터 분석 프로젝트입니다.

대회

제5회 대구 빅데이터 분석 경진대회 — 우수상 수상

기간

2023.05~2023.08

데이터

IT/SW기업 생태계 실태조사, 대구·경북 ITSW기업, 현대카드·대구BC카드 매출, 시장금리(KOSIS)

기술 스택

Python · R · pandas · NumPy · scikit-learn · statsmodels · missingpy

성과

Random Forest 회귀 RMSE 0.0269 달성

문제 정의

대구·경북 지역 예금은행의 기업 대출은 특정 서비스업에 집중되어, 성장 잠재력이 높은 IT/SW·벤처 기업에 자금이 충분히 공급되지 못하는 자금 배분 비효율 문제가 있었습니다.

기존 여신 심사는 최근 3개년 재무제표·담보 중심이라 미래 성장 잠재력을 반영하지 못합니다. 본 프로젝트는 신용 서류에 드러나지 않는 요인까지 반영해 성장 잠재력 기반의 새로운 여신 기준을 제안합니다.

접근 방법

카드 매출 분석 — 현대카드·대구BC카드 데이터로 IT/비IT 산업의 매출액 증감률을 시장금리와 함께 분석해 산업 성장성을 파악합니다.
성장 업종 추출 — 한국 산업 평균 증감률보다 높은 업종(정보통신업, 전문·과학·기술 서비스업)을 선별합니다.
성장 잠재력 예측 모델 — 기업 데이터를 통합해 매출액 대비 연구개발비 투자금액 파생변수를 종속변수로, 성장성 관련 요인을 독립변수로 하는 회귀 모델을 구축합니다.

카드 데이터 분석 — 산업별 매출 성장성

5년간(2017–2021) 카드 매출을 월별로 집계해 IT/비IT 산업의 매출액 증감률을 시장금리 추세와 비교했습니다. 팬데믹 이후 두 산업 모두 매출이 감소했으나, 비IT 산업(관광·여가)의 감소폭이 더 컸습니다.

IT산업·비IT산업의 매출액 증감률과 시장금리 추세 (2017–2021)

데이터 전처리 & 파생변수

데이터 통합: 사업자등록번호를 기준으로 여러 기업 데이터를 병합하고, 범주형·논리형 자료를 정수형으로 처리했습니다.
결측치 대치: 무응답·결측이 많은 변수를 MissForest(Random Forest 기반 반복 대치)로 보완했습니다.
종속변수 설계: 기업가치평가의 가중평균자본비용(WACC) 개념을 차용해, 매출액 대비 연구개발비 투자금액의 연도별 변화율에 가중치(0.4 / 0.6)를 부여한 성장성 지표를 만들었습니다.
독립변수: 기업부설 연구소 유무, 특허 등록·출원 건수, SW 융합 기술 분야별 시장 전망 등 신용 서류에 없는 변수를 활용했습니다.

차원 축소 & 적합성 검정

변수 구조를 단순화하기 위해 주성분 분석(PCA) 과 요인 분석을 수행했습니다. 누적 분산 설명력이 약 99%에 도달하는 지점을 참고해 차원을 결정했습니다.

PCA scree plot(좌)과 누적 분산 설명력(우)

요인 분석 적합성은 Bartlett 검정(p-value ≈ 0.0)과 KMO 검정(≈ 0.66)으로 확인해, 요인 분석이 적합하다는 결론을 얻었습니다. 요인 적재량을 기준으로 특허 관련, 데이터 산업, 기기·차량 산업, 연구소, 의료 산업 등 5개의 해석 가능한 feature를 도출했습니다.

회귀 모델

도출한 5개 feature를 독립변수로, 매출액 대비 연구개발비 투자금액을 종속변수로 하여 여러 회귀 방법을 비교했습니다. Random Forest 회귀가 가장 우수했습니다.

n_estimators	max_features	max_depth	RMSE
10	2	10	0.0292
10	2	30	0.0269
1000	2	50	0.0306

최적 모델은 검증 데이터에서 RMSE 약 0.0269 로 가장 낮은 오차를 보였습니다.

기대 효과

객관적 성장성 평가: 재무 상태가 약하지만 성장 잠재력이 높은 기업을 정량 지표로 발굴해, 은행이 투명·안전하게 자금을 공급할 수 있습니다.
지역 경제 활성화: R&D 프로젝트의 잠재 가치를 반영한 기업 맞춤형 대출로 산업 발전과 혁신을 촉진합니다.
윈-윈 구조: 기업은 자금을 확보해 성장하고, 은행은 신규 고객 확보·신용평가 개선·장기 투자 수익을 얻습니다.

가짜연구소 인과추론 팀 10기 — 실무 인과추론 기법 학습·적용

Tue, 02 Dec 2025 00:00:00 +0000

개요

『실무로 배우는 인과추론 with Python』을 함께 공부하며, 인과추론 핵심 기법을 Synthetic 데이터와 실무형 예제로 직접 구현·비교한 스터디 프로젝트입니다.

활동

가짜연구소 10기 인과추론 팀 (오픈소스 협업 스터디)

기간

2025.03~2025.08

담당 역할

대안적 실험설계 파트 발표 · 분석 코드 제작 및 업로드 (기여도 15%)

기술 스택

Python · pandas · NumPy · scikit-learn · CausalML · Git/GitHub

성과

가짜연구소 10기 Project of the Season 수상

무엇을, 왜 했나

상관관계만으로는 “이 처치가 정말 결과를 바꿨는가"를 답할 수 없습니다. 인과추론은 바로 그 질문에 답하기 위한 방법론으로, 마케팅·의료·정책 등 실무에서 의사결정의 근거가 됩니다. 다만 이론서만으로는 실제 데이터에 적용했을 때의 감을 잡기 어렵기 때문에, 이론을 공부하는 데 그치지 않고 직접 데이터에 적용해 실용성을 확인하는 것을 목표로 삼았습니다.

저는 책의 대안적 실험설계 파트를 맡아 발표했고, 주요 기법들의 분석 코드를 직접 작성해 공유했습니다.

다룬 기법

처치효과를 추정하는 서로 다른 접근들을 하나씩 구현하며, 어떤 상황에 어떤 방법이 맞는지를 비교했습니다.

Synthetic 데이터 실습: 정답(true effect)을 아는 가상 데이터를 만들어, 각 기법이 실제 인과효과를 얼마나 잘 복원하는지 검증했습니다.
Uplift Tree: 처치에 대한 고객 반응 차이를 세분화해, 처치가 효과적인 집단과 그렇지 않은 집단을 구분했습니다.
CEVAE: 관측되지 않은 잠재 교란 변수를 보정하는 인과 추론 모델을 실습했습니다.
도구변수(IV)·2SLS: 내생성 문제가 있을 때 도구변수와 2단계 최소제곱법으로 인과효과를 추정했습니다.
Meta-learner 비교: S·T·X-learner 등 메타러너 계열의 처치효과 추정 성능을 비교했습니다.
DragonNet vs Meta-learner: 신경망 기반 DragonNet과 메타러너의 추정 성능을 정량적으로 비교 분석했습니다.

핵심 요약

이론 → 적용: 책으로 배운 인과추론 기법을 Synthetic·실무형 데이터에 직접 적용해 실용성을 확인했습니다.
다양한 기법 비교: Uplift Tree·CEVAE·IV/2SLS·Meta-learner·DragonNet을 한 흐름 안에서 비교해, 상황별 적합한 방법을 정리했습니다.
오픈소스 기여: 대안적 실험설계 파트 발표와 분석 코드 업로드로 팀 결과물에 기여했고, 10기 Project of the Season을 수상했습니다.

가짜연구소 인과추론 팀 11기 — Python DiD 코드집 배포

Mon, 01 Dec 2025 00:00:00 +0000

개요

흩어져 있던 다양한 DiD(이중차분) 방법론을 Python 코드로 통합·정리해, 누구나 바로 따라 쓸 수 있는 인과추론 코드집으로 만들어 배포한 프로젝트입니다.

활동

가짜연구소 11기 인과추론 팀 (오픈소스 코드집 제작·배포)

활동

2025.09~2025.12

담당 역할

DiD 파트 코드 제작 (기여도 85%) · 팀원 코드 리뷰 (15%)

기술 스택

Python · pandas · NumPy · statsmodels · linearmodels · DoubleML · LightGBM · Git/GitHub

기대 효과

R 중심이던 인과추론 학습을 Python으로 확장하고, 여러 DiD 방법을 한곳에 통합해 재현성·학습 효율 향상

무엇을, 왜 했나

DiD(Difference-in-Differences)는 정책·처치의 효과를 추정하는 대표적인 인과추론 방법이지만, 막상 공부하려 하면 자료가 대부분 R 중심이라 Python 사용자에게는 진입 장벽이 높았습니다. 게다가 Basic DiD부터 최신 Staggered DiD·머신러닝 DiD까지 방법론이 흩어져 있어, 한눈에 비교하며 배우기 어려웠습니다.

그래서 다양한 DiD 방법론을 Python으로 일관되게 구현하고, 한 저장소에 통합해 배포하기로 했습니다. 저는 그중 DiD 파트 코드 제작을 주도했습니다.

작업 내용

데이터 준비: 지역 단위 패널데이터를 전처리하고, 처치 전후 구간을 구분해 모든 방법론이 공통으로 쓸 수 있는 형태로 정리했습니다.
DiD 방법론 구현·비교: 아래 방법들을 같은 데이터 위에서 구현해 결과를 비교했습니다.
- Basic DiD — 가장 기본적인 2×2 이중차분
- 회귀 기반 DiD — 회귀식으로 표현한 DiD
- TWFE — 양방향 고정효과 모형
- DRDiD — 이중 강건(Doubly Robust) DiD
- Staggered DiD — 처치 시점이 집단마다 다른 경우를 보정
- Event Study — 처치 전후 시점별 동적 효과 추정
- DoubleML — 머신러닝으로 교란을 통제하는 이중 머신러닝
- LightGBM 기반 ML DiD — 부스팅 모델을 결합한 DiD
코드 리뷰·배포: DiD 파트 코드를 제작하고 팀원 코드를 리뷰한 뒤, Python 인과추론 코드집으로 정리해 GitHub에 공개 배포했습니다.

핵심 요약

Python으로의 확장: R 위주이던 인과추론 학습 자료를 Python으로 옮겨, Python 사용자의 진입 장벽을 낮췄습니다.
방법론 통합: Basic·TWFE·Staggered·DoubleML·ML DiD까지 8가지 방법을 한 저장소에 모아, 재현성과 학습 효율을 높였습니다.
주도적 기여: DiD 파트 코드 제작(85%)을 주도하고 팀원 코드를 리뷰해, 배포 가능한 오픈소스 코드집으로 완성했습니다.

Activities

Tue, 24 Oct 2023 00:00:00 +0000