[ADsP] 공부 - 2과목

분석 기획 방향성 도출

1. 분석 기획의 특징

- 분석 기획: 실제 분석을 수행하가기 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리 할 수 있는 방안을 사전에 계획하는 일련의 작업

-데이터 사이언티스트의 역량: 수학/통계적 지식, 정보기술(IT기술, 해킹기술, 통신기술 등), 비즈니스에 대한 이해와 전문성

2. 분석 대상과 방법: 분석은 분석의 대상(What)과 분석의 방법(How)에 따라 4가지로 분류할 수 있음

분석 주제 유형		분석의 대상(What)
		Known	Un-Known
분석의 방법(How)	Known	Optimization	Insight
	Un-Known	Solution	Discovery

3. 목표 시점별 분석 기획 방안

당면한 분석 주제의 해결 (과제 단위)		지속적 분석 문화 내재화 (마스터 플랜 단위)
Speed & Test	1차 목표	Accuracy & Deploy
Quick-Win	과제의 유형	Long Term View
Problem Solving	접근 방식	Problem Definition

4. 분석 기획 시 고려사항

-분석의 기본인 가용 데이터(Available Data)에 대한 고려가 필요

-분석을 통해 가치가 창출 될 수 있는 적절한 활용방안과 유즈케이스(Proper Business Use Case) 탐색이 필요

-분석 수행시 발생하는 장애요소들에 대한 사전계획 수립이 필요(Low Barrier Of Execution)

 

분석 방법론

1. 분석 방법론 개요

-기업의 합리적 의사결정을 가로막는 장애요소

      # 고정 관념(Stereotype)

      # 편향된 생각(Bias)

      # 프레이밍 효과(Framing Effect)

-방법론의 적용 업무의 특성에 따른 모델

      # 폭포수 모델(Waterfall Model)

      # 프로토타입 모델(Prototype Model)

      # 나선형 모델(Spiral Model)

2. KDD 분석 방법론

-데이터셋 선택(Selection)

-데이터 전처리(Preprocessing)

-데이터 변환(Transformation)

-데이터 마이닝(Data Mining)

-결과 평가(Interpretation/Evaluation)

3. CRISP-DM 분석 방법론

-업무 이해(Business Understanding)

-데이터 이해(Data Understanding)

-데이터 준비(Data Preparation)

-모델링(Modeling)

-평가(Evaluation)

-전개(Deployment)

4. 빅데이터 분석 방법론

-빅데이터 분석의 계층적 프로세스

      # 단계 Phase 

      # 테스크 Task 

      # 스텝 Step

-빅데이터 분석 방법론 5단계

      # 분석 기획 

             ▶ 비즈니스 이해 및 범위 설정

             ▶ 프로젝트 정의 및 계획 수립

             ▶ 프로젝트 위험계획 수립

      # 데이터 준비

             ▶ 필요 데이터 정의

             ▶ 데이터 스토어 설계

             ▶ 데이터 수집 및 정합성 점검

      # 데이터 분석

             ▶ 분석용 데이터 준비

             ▶ 텍스트 분석

             ▶ 탐색적 분석

             ▶ 모델링

             ▶ 모델 평가 및 검증

             ▶ 모델 적용 및 운영방안 수립 

      # 시스템 구현

             ▶ 설계 및 구현

             ▶ 시스템 테스트 및 운영

      # 평가 및 전개

             ▶ 모델 발전계획 수립

             ▶ 프로젝트 평가 및 보고

 

분석 과제 발굴

1. 분석과제 발굴 방법론

-하향식 접근 방식(Top Down Approach): 분석 과제가 주어지고 이에 대한 해법을 찾기 위하여 각 과정이 체계적으로 단계화되어 수행하는 방식

-상향식 접근 방식(Bottom Up Approach): 문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제를 지속적으로 개선하는 방식

2. 하향식 접근 방식(Top Down Approach)

      # 문제 탐색(Problem Discovery)

             ▶ 비즈니스 모델기반 문제탐색

             ▶ 외부사례 기반 문제탐색(=벤치마킹)

      # 문제 정의(Problem Definition)

             ▶ 데이터 분석 문제 변환

      # 해결방안 탐색(Solution Search)

             ▶ 수행 옵션 도출

      # 타당성 검토(Feasibility Study)

             ▶ 타당성평가

             ▶ 과제 선정

3. 하향식 접근 방식(Top Down Approach)의 과정

-문제 탐색(Problem Discovery)

      # 비즈니스 모델 기반 문제 탐색: 업무(Operation), 제품(Product), 고객(Customer), 규제와 감사(Regulation & Audit),             지원 인프라(IT & Human Resource) 등 5가지영역으로 기업의 비즈니스를 분석

      # 분석 기회 발굴의 범휘 확장

             ▶ 거시적 관점: 사회, 기술, 경제, 환경, 정치

             ▶ 경쟁자 확대: 경쟁사의 동향(대체제, 경쟁자, 신규 진입자)

             ▶ 시장니즈 탐색: 고객, 채널, 영향자들

             ▶ 역량의 재해석: 역량의 변화(내부역량, 파트너 네트워크)

      # 외부 참조 모델 기반의 문제 탐색: 유사, 동종 사례를 벤치마킹을 통해 분석 기회를 발굴

      # 분석 유즈 케이스(Analytics Use Case) 정의

-문제 정의(Problem Definition): 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계

-해결방안 탐색(Solution Search): 분석역량(Who), 분석기법 및 시스템(How)으로 해결 방안 탐색

-타당성 검토(Feasibility Study): 경제적 타당성, 데이터 및 기술적 타당성 검토

4. 상향식 접근 방식(Bottom Up Approach)

-정의

      # 기업이 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 접근방법

      # 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 있는 모든 문제를 도출하는 일련의 과정

-상향식 접근법의 특징

      # 하향식 접근법은 논리적 단계별 접근법으로 최근의 복잡하고 다양한 환경에서 발생하는 문제를 해결하기 어렵기 때문에 디자인적 사고(Design Thinking) 접근법을 통해 WHY→WHAT 관점으로 존재하는 데이터 그 자체를 객관적으로 관찰하여 문제를 해결하려는 접근법을 사용

      #  상향식 접근법은 비지도 학습 방법으로 수행되며, 데이터 자체의 결합, 연관성, 유사성을 중심으로 접근

      #  시행착오를 통한 문제 해결: 프로토타이핑 접근법

5. 분석과제 정의

-분석 과제 정의서를 통해 분석별 필요 소스 데이터, 분석 방법, 데이터 입수 및 분석의 난이도, 분석 수행주기, 검증 오너십, 상세 분석 과정 등의 정의

 

분석 프로젝트 관리 방안

1. 분석과제 관리를 위한 5가지 주요 영역

-분석프로젝트는 범위, 일정, 품질, 리스크, 의사소통 등 영역별 관리가 수행되어야 할 뿐 아니라 데이터에 기반한 분석 기법을 적용한다는 특성 때문에 아래와 같은 5가지의 주요 속성을 고려하여 추가적이 관리가 필요

      # 분석과제 관리(5 Analytic Dimensions)

             ▶ Data Complexity

             ▶ Speed

             ▶ Analytic Complexity

             ▶ Accuracy & Precision

             ▶ Data Size

2. 분석 프로젝트의 특성

-분석가의 목표: 개별적인 분석업무 수행 뿐만 아니라 전반적인 프로젝트 관리 또한 중요

-분석가의 입장: 데이터 영역과 비즈니스 영역의 현황을 이해하고, 프로젝트의 목표인 분석의 정확도 달성과 결과에 대한 가치 이해를 전달하는 조정자로서의 분석가 역할이 중요

-분석 프로젝트는 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑 방식의 애자일(Agile) 프로젝트 관리방식에 대한 고려도 필요

 

마스터 플랜 수립 프레임워크

1. 마스터 플랜 프레임 워크

-분석 과제를 대상으로 다양한 기준을 고려해 적용 우선순위를 설정하고, 데이터 분석 구현을 위한 로드맵 수립

우선순위 고려요소
1. 전략적 중요도	적용 우선 순위 결정
2. 비즈니스 성과/ROI
3. 실행 용이성

적용범위/방식 고려요소
1. 업무 내재화 적용 수준	Analytics 구현 로드맵 수립
2. 분석 데이터 적용 수준
3. 기술 적용 수준

2. 우선순위 평가에 활용하기 위한 ROI 관점에서 빅데이터의 핵심 특징

4V	3V 난이도	1. 크기 Volume	데이터 규모/양	투자비용 요소 (Investment)
		2. 다양성 Variety	데이터 종류/유형
		3. 속도 Velocity	데이터 생성속도/처리속도
	시급성	4. 가치 Value	분석 결과 활용 및 실행을 통한 비즈니스 가치	비즈니스 효과 (Return)

분석 거버넌스 체계 수립

1. 분석 거버넌스 체계 구성요소

-Data: 데이터

-Human Resource: 분석교육/마인드 육성체계

-Organization: 분석기획 및 관리 수행 조직

-Process: 과제 기획 및 운영 프로세스

-System: 분석관련시스템

2. 데이터 분석 수준 진단

-분석 준비도 Readiness

      # 분석 업무

      # 분석 인력, 조직

      # 분석 기법

      # 분석 데이터

      # 분석 문화

      # 분석 인프라

-분석 성숙도 Maturity

      # 도입 → 활용 → 확산 → 최적화

      # 조직의 성숙도 평가도구: CMMI(Capability Maturity Model Integration)

-분석 수준 진단 결과: 도입형, 준비형, 확산형, 정착형

3. 데이터 거버넌스 체계 수립

-데이터 거버넌스 개요

      # 전사 차원의 모든 데이터에 대하여 정책 및 지침 표준화, 운영조직 및 책임 등의 표준화 된 관리 체계를 수립하고 운영을 위한 프레임워크(Framework) 및 저장소(Repository)를 구축하는 것을 말함

      # 마스터 데이터(Master Data), 메타 데이터(Meta Data), 데이터사전(Data Dictionary)은 데이터 거버넌스의 중요한 관리대상

-데이터 거버넌스 구성요소

      # 원칙(Principle), 조직(Organization), 프로세스(Process)

-데이터 거버넌스 체계

      # 데이터 표준화, 데이터 관리 체계, 데이터 저장소(Repository) 관리, 표준화 활동

4. 데이터 분석을 위한 3가지 조직구조

-집중구조

-기능구조

-분산구조

5. 분석과제 관리 프로세스

과제 발굴	1. 분석 Idea 발굴
	2. 분석 과제 후보 제안
	3. 분석 과제 확정
과제 수행	4. 팀구성
	5. 분석 과제 실행
	6. 분석 과제 진행 관리
	7. 결과 공유/개선