[ADSP] 데이터 분석 기획

기록/자격증

[ADSP] 데이터 분석 기획

skyriv 2025. 5. 8. 22:16

1. 데이터분석 기획의 이해

분석 기획 방향성 도출

분석 대상과 방법
1. 4가지 유형을 넘나들며 분석을 수행 Known UnKnown
  
  Known 최적화 통찰
  
  UnKnown 솔루션 발견
분석 기획 방안과제 중심적 접근 장기적 마스터플랜

목적 빠르게 해결 지속적 분석 원인 해결

1차 목표 speed, test accuracy, deploy

과제유형 quick, win long term view

접근방식 problem solving problem definition
분석 기획 시 고려사항
1. 가용 데이터: 분석의 기본이 되는 데이터 확보 및 파악
2. 적절한 유스케이스 탐색 : 기존에 잘 구현되어 있는 유사 시나리오 활용
3. 장애요소에 대한 사전계획 수립 : 조직의 역량으로 내재화
의사결정을 가로막는 요소
1. 고정관념, 편향된 생각
2. 프레이밍 효과: 동일 상황임에도 개인의 판단, 결정이 달라짐

분석 방법론

분석 방법론의 구성요소
1. 절차, 방법, 도구와 기법, 템플릿과 산출물
분석 방법론 모델
1. 계층적 프로세스 모델 : 단계 (Baseline으로 관리) → 태스크 → 스텝(단기간 수행 WorkPackage)
2. 폭포수 모델 : 이전 단계 완료되어야 다음 단계 진행(Top-Down)
3. 나선형 모델 : 여러 개발 과정 거쳐 점진적으로 완성, 위험요소 제거 초점
4. 프로토타입 모델 : 일부분(프로토타입)을 우선 개발하고 보완
5. 반복적 모델
  1. 증분형 : 전체 시스템을 작은 기능 단위로 나눠 개발
  2. 진화형 : 핵심 부분을 개발한 후 요구사항을 반영하여 진화
6. 애자일 : 짧은 개발 주기를 가지고 고객 피드백을 지속적으로 반영하여 반복적으로 개발
KDD 분석 방법론
1. 데이터 선택 → 전처리 → 변환 → 마이닝 → 결과 평가
  1. 데이터 선택 : 원시데이터나 DB에서 필요한 데이터 선택
  2. 전처리 : 이상값, 잡음 식별 및 데이터 가공
  3. 변환 : 변수 선택 및 차원 축소
  4. 마이닝 : 알고리즘을 선택하여 분석 수행
  5. 결과 평가 : 결과에 대한 해석, 결과가 충족되지 않으면 절차를 반복 수행
Crisp-DM 분석 방법론
1. 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개
  1. 업무 이해 : 업무 목적 파악, 상황파악, 목표 설정, 프로젝트 계획 수립
  2. 데이터 이해 : 초기 데이터 수집, 기술 분석, EDA, 데이터 품질 확인
  3. 데이터 준비 : 데이터 셋 선택 및 정제, 통합
  4. 모델링 : 모델링 기법 선택, 테스트 계획 설계, 모델 작성 및 평가
  5. 평가 : 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가
  6. 전개 : 전개 계획, 모니터링 및 유지보수 계획 수립, 프로젝트 종료 보고서 작성, 프로젝트 리뷰
    1. 평가 → 전개에서 위대한 실패(업무 이해로 다시 돌아감) 발생 가능
SEMMA 분석 방법론
1. sample → explore → modify → model → assess
  1. sample : 분석 대상 데이터 추출
  2. explore : 탐색하고 오류 확인
  3. modify : 데이터의 변환
  4. model : 알고리즘 적용
  5. assess : 모델의 평가 및 검증
빅데이터 분석 방법론
1. Planning → Preparing → Analyzing → Developing → Deploying
  1. planning
    1. 비즈니스 이해 및 범위 설정
    2. 프로젝트 정의 및 계획 수립
    3. 프로젝트 위험계획 수립
  2. preparing
    1. 필요 데이터 정의
    2. 데이터 스토어 설계
    3. 데이터 수집 및 정합성 점검
  3. analyzing
    1. 분석용 데이터 준비
    2. 텍스트 분석
    3. 탐색적 분석
    4. 모델링
    5. 모델 평가 및 검증
    6. 모델 적용 및 운영방안 수립
  4. developing
    1. 설계 및 구현
    2. 시스템 테스트 및 운영
  5. deploying
    1. 모델 발전 계획 수립
    2. 프로젝트 평가 및 보고
PPADD
1. 분석 기획
  1. 비즈니스 범위 설정 : SOW - Statement of Works - 구조화된 프로젝트 정의서
  2. 프로젝트 위험계획 수립 : 회피, 전이, 완화, 수용
2. 데이터 준비
  1. 데이터 스토어 설계 : 정형, 비정형,, 반정형 데이터에 따른 효율적 저장소를 설계
3. 데이터 분석
  1. 분석용 데이터 준비 : 추가적인 데이터 확보 필요시, 데이터 준비 단계로 다시 진행
  2. 의사 코드 : 일반적인 언어로 프로그래밍 언어의 알고리즘을 유사한 형식으로 써 놓은 것
  3. 모델링 : 알고리즘 설명서는 상세히 작성
  4. 모델 평가 및 검증 : 성능이 저조한 모델은 튜닝 작업 수행

분석 과제 발굴

하향식 접근 방법
1. 문제가 주어지고 해답을 찾기 위해 진행
2. 문제 탐색 → 문제 정의 → 해결방안 → 타당성 검토
3. 문제 탐색
  1. 빠짐없이 문제를 도출, 식별, 설루션 초점보다 가치 초점
  2. 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품, 고객, 규제와 감사, 지원 인프라
  3. 관점
    1. 거시적 : STEEP ( 사회, 기술, 경제, 환경, 정치)
    2. 경쟁자 확대 관점 : 대체자, 경쟁자, 신규 진입자
    3. 시장의 니즈 탐색 관점 : 고객, 채널, 영향자
4. 문제 정의
  1. 비즈니스 문제를 데이터 문제로 변환하여 정의
5. 해결 방안
  1. 기존 시스템 활용, 시스템 고도화, 인적자원 확보, 아웃 소싱
6. 타당성 검토
  1. 경제적 : 비용대비 편익 분석관점 접근
  2. 데이터 : 데이터 존재여부, 분석역량 필요
  3. 기술적 : 역량 확보 방안 사전에 수립
상향식 접근 방법
1. 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점
2. 주로 비지도 학습 활용
혼합 접근 방법
1. 발산 : 상향식 접근 방법, 가능한 방안들을 도출
2. 수렴 : 하향식 접근 방법, 도출된 방안 분석
디자인 싱킹
1. 사용자에 공감으로 시작해서 아이디어 발산/수렴 과정을 통한 피드백으로 발전하는 과정
2. 공감하기 → 문제정의 → 아이디어 도출 → 프로토타입 → 테스트
지도학습, 비지도 학습
1. 지도학습 : 정답이 있는 데이터를 학습 → 하향식 접근법
  1. 분류분석, 회귀분석, 의사결정트리, KNN, SVM
2. 비지도학습 : 정답이 없는 데이터를 학습 → 상향식 접근법
  1. 군집 분석, 차원축소, 연관규칙분석

분석 프로젝트 관리 방안

분석 과제에서 고려해야 할 5가지 요소
- 데이터 크기. 속도, 복잡도, 분석 복잡도, 정확도/정밀도
  - 정확도, 정밀도는 trade-off 단계
프로젝트 관리 지식 체계 10가지
1. 통합, 범위, 시간, 원가, 품질, 인적자원, 의사소통, 리스크, 조달(아웃소싱), 이해관계자

2. 분석 마스터플랜

마스터플랜 수립

IT 프로젝트의 우선순위 선정 기준
- 중장기 마스터플랜을 수립 위하여 ISP 활용
  - 전략적 중요도 : 전략적 필요성, 시급성
  - 실행 용이성 : 투자 용이성, 기술 용이성
데이터 분석 프로젝트의 우선순위 선정 기준
1. 시급성 : 비즈니스 효과 - return - value
2. 난이도 : 투자비용 요소 - investment - volume, variety, velocity

분석 거버넌스 체계 수립

분석 거버넌스 체계 구성요소
1. 조직, 프로세스, 시스템, 데이터, 분석 관련 교육 및 마인드 육성체계
데이터 분석 수준 진단
1. 분석 준비도
  1. 분석적 업무파악
    1. 발생한 사실 분석 업무
    2. 예측분석 업무
    3. 시뮬레이션 분석업무
    4. 분석업무 정기적 개선
  2. 인력 및 조직
    1. 분석전문가 직무 존재 / 교육훈련 프로그램
    2. 관리자들의 기본적 분석능력
    3. 전사 분석업무 총괄 조직 존재
    4. 경영진 분석업무 이해능력
  3. 분석기법
    1. 업무결 적합한 분석기법 사용
    2. 분석업무 도입 방법론
    3. 분석기법 라이브러리 / 효과성 평가 / 정기적 개선
  4. 분석데이터
    1. 분석 업무를 위한 데이터 충분성 / 신뢰성 / 적시성
    2. 비구조적 데이터 관리
    3. 외부 데이터 활용 체계
    4. 마스터데이터 관리(MDM)
  5. 분석 문화
    1. 사실에 근거한 의사결정
    2. 관리자의 데이터 중시
    3. 회의 등에서 데이터 활용
    4. 경영진의 직관보다 데이터
    5. 데이터 공유 및 협업 문화
  6. IT 인프라
    1. 운영시스템 데이터 통합
    2. EAL, ETL 등 데이터 유통체계
    3. 분석전용 서버 및 분석 환경
    4. 빅데이터 분석환경
    5. 통계분석 환경
    6. 비주얼분석 환경
2. 1. 도입 : 환경, 시스템 구축
  2. 활용 : 업무에 적용
  3. 확산 : 전사 차원 관리, 공유
  4. 최적화 : 혁신, 성과향상에 기여분석 성숙도 - CMMI 모델 기반

데이터 분석 성숙도 모델
1. 준비형 : 낮은 준비도/성숙도
  1. 데이터, 인력, 조직, 분석 업무, 분석 기법 적용 안되어 사전 준비 필요
2. 정착형 : 낮은 준비도, 높은 성숙도
  1. 인력, 조직, 분석업무, 분석 기법 등을 제한적으로 사용
3. 도입형 : 높은 준비도, 낮은 성숙도
  1. 조직 및 인력 등 준비도는 높으나, 분석업무 및 기법 부족
4. 확산형 : 높은 준비도, 높은 성숙도
  1. 6가지 분석 구성요소를 모두 갖추고 있으며, 지속적 확산 가능
분석 지원 인프라 방안 수립
1. 확장성을 고려한 플랫폼 구조 적용 → 중앙 집중적 관리
2. 분석 플랫폼 구성요소
  1. 광의의 분석 플랫폼 : 분석 서비스 제공엔진, 분석 애플리케이션, 분석 서비스 API, 하드웨어
  2. 협의의 분석 플랫폼 : 데이터 처리 프레임워크, 분석엔진, 분석 라이브러리
  3. 광의의 분석 플랫폼은 협의의 분석 플랫폼 요소들을 포함하는 개념
데이터 거버넌스
1. 전사 차원에서 데이터에 대해 표준화된 관리 체계 수립
2. 구성요소 : 원칙, 조직, 프로세스
3. 중요 관리 대상 : 마스터 데이터, 메타데이터, 데이터 사전 등
  1. 마스터 데이터 : 자료 처리에 기준이 되는 자료
  2. 메타데이터 : 다른 데이터를 설명해 주는 데이터
  3. 데이터 사전 : DB에 저장된 정보를 요약
4. 체게
  1. 데이터 표준화 : 메타데이터 및 사전 구축
  2. 데이터 관리 체계 : 효율성을 위함
  3. 데이터 저장소 관리 : 저장소 구성
  4. 표준화 활동 : 모니터링, 표준 개선 활동
빅데이터 거버넌스
1. 데이터 거버넌스 체계 + 빅데이터 효율적 관리, 데이터 최적화, 정보보호, 데이터 카테고리 별 관리책임자 지정 등을 포함
조직 및 인력방안 수립 (DSCoE : 분석조직)
1. 집중 구조 : 독립적인 전담 조직 구성 (중복 업무 가능성 존재)
2. 기능 구조 : 해당 부서에서 직접 분석 (DSCoE가 없음)
3. 분산 구조 : 분석 조직 인력을 현업 부서에 배치

https://www.youtube.com/watch?v=nZ6gpnEj-KU&list=PLWtr7MRpQi5CW-jFYgAsX4jZcSp77O3a5&index=1

목적	빠르게 해결	지속적 분석 원인 해결
1차 목표	speed, test	accuracy, deploy
과제유형	quick, win	long term view
접근방식	problem solving	problem definition

Known	최적화	통찰
UnKnown	솔루션	발견