2강 빅데이터와 인공지능

빅데이터의 개념 

 

개념 : 오라클,구글 위키백과등이 모두 다르다.

기존 DBMS의 능력을 넘어서는 대량(테라바이트 급)의 정형, 혹은 비정형 데이터로부터 가치를 추출, 결과를 분석

<위키백과에서는 큰 데이터를 다루는 기술까지를 빅데이터로 정의> 

oracle에선 거대한 규모, 빠른 속도, 높은 다양성 데이터 

 

빅데이터 하면 무지하게 큰 데이터가 생각나지? 

이런 수많은 데이터를 분석하여 유의미한 가치를 추출하고 결과를 분석하는 기술을 포함하자 

많은 데이터 + 기술 (일반적으로 대량이라는 것은, 목적을 달성할 만한 크기 <테라~페타바이트>)

column에 딱딱 들어가는 정형적인 데이터 + 규칙과 패턴 데이터등이 없는 것을 포함한다.

 

빅데이터 특징

초기 빅데이터 - 규모가 매우 크고, 정형 + 비정형, (최근엔 반정형(로그등), 테라바이트 이상 데이터도 사용됨)

+ 속도가 빠른다. 

현대 빅데이터 -> +정확성(논리적 오류에 대해, 데이터가 사용될만 한것인지. 정확해야만 데이터다) + 가치 (유용한 가치를 지니는가)

 

미래에는 , sns가 확산되어 다른 문맥으로 전환되는 가변성 또한 필요하고 , 시각화 가능한 시각화 성질도 지닌다. 

 

2. 빅데이터와 인공지능

수집 -> 저장 -> 처리 -> 분석 -> 시각화

 

빅데이터는 분석과 가치 창출의 대상,  인공지능은 데이터의 패턴을 확인하고 예측하여 미래를 대비하는 기술

데이터 생성 , 보관 유통 .

 

Ex1 ) 카카오페이 자산관리 

서비스 정의 : 사용자이 결제, 관심사, 소비 성향을 활용한 카드 추천

데이터셋 : 결제데이터, 카드종류, 업체정보 등등 

데이터셋 수집 : 내부데이터(결제데이터,후기글,답변글,업체정보 등등..)

 

Ex2) 당근마켓 품목관리 (잘못된 담배, 전자담배 등 비노출 필터링)

데이터셋 -> 등록일시,사용자,품목 등. 이를 수집할때는, 내부데이터, 외부품목 설명 데이터(국가에서 제공하는 물품 목록)

 

핀테크는 어떻게 될까? 점점 완성된 인공지능을 활용하여 서비스가 제공될 것이다. 

이떄, 병렬처리 기술이 활용된다. (인공지능에서도 )

수많은 데이터가 들어가면 시간이 너무 오래걸리고, 이 시간을 줄이는 것이. <눈앞의 이익 =핀테크 기술>

인공지능 윤리 발전.