세상을 읽는 새로운 언어, 빅데이터

반응형

조성준 교수의 '세상을 읽는 새로운 언어, 빅데이터'를 읽고 (2020.04.17)

 

https://book.naver.com/bookdb/book_detail.naver?bid=15404948 

세상을 읽는 새로운 언어, 빅데이터

​

이 책은 회사에서 빅데이터 강의로 인해, 강압적으로 읽기 시작한 책이다. 그러나 책을 다 읽고 나서는 잘 읽었다는 생각이 들었다.

사내에서 진행한 신성장 동력 공모전을 준비하며 많은 도움이 되었기 때문이다. 공모전에 지원했던 아이디어는 빅데이터를 기반으로 추천 시스템, 리뷰 필터링, 데이터 가공 등을 주 차별점으로 하여 특정 용품에 대한 리뷰를 제공하는 애플리케이션이다.

나 조차도 빅데이터에 대해 무지하고, 어떻게 활용해야 하는지 잘 몰랐는데 이 책을 읽으며 많은 보편적인 빅데이터에 대한 개념과 많은 도움을 받았다.

 

책은 빅데이터에 대해 전문적으로 다루지는 않고, 보편적인 내용들을 기술했다. 빅데이터란 무엇이며 이렇게 얻은 데이터를 어떻게 활용하는지 그리고 기업에서 빅데이터를 도입하게 되면 어떠한 방식으로 운영해 나가야 하는지 등 말이다. 일반적으로 빅데이터라는 이야기를 들으면 누구나 IT영역이기 때문에 IT팀에서 해당 일을 추진해야 한다고 생각한다. 그러나 IT 적인 영역이 맞지만, 엄밀히 말하면 여러 가지 영역이 모두 중첩되어 있는게 빅데이터다. 그렇기 때문에 현업에서 추진해야 하며, 누구보다 빅데이터를 활용하고 가치 있게 만드는 역할을 하는 현업이 가장 중요하다고 이야기 한다.

 

책의 도입부에서는 '아마존'에 대해 이야기한다. 책의 이러한 내용은 예전에 읽었던 '2022 아마존의 미래전략'이라는 책에서 나왔던 부분이 다시금 나온다. 아마존은 구매내역뿐만 아니라 특정 상품을 들여다본 시간도 기록한다. 특정 상품의 화면에 오래 머물고 있다면 고객이 지금 구매를 망설이고 있는 것으로 판단해서 실시간으로 해당 상품에 대한 프로모션을 할 수도 있다는 이야기를 한다. 또한, 구매를 망설이거나 하는 부분도 모두 데이터로 기록되어 아마존이 이러한 모든 데이터를 활용할 수 있다.

 

책에서는 빅데이터의 적용분야에서 가장 주목해야 할 분야로 플랫폼 사업을 예로 들었다. 플랫폼 사업은 자체 생산도 하지 않고 구매도 하지 않으며, 단지 중간자 역할만 한다. 그렇데 소비자가 몰려와 야만 시장이 형성된다. 이때 소비자를 끌어당기는 당근이 바로 빅데이터라고 이야기한다.플랫폼이 성공하려면 소비자 입장에서 많은 정보가 일목요연하게 정리되어 있어서 꼭 가고 싶은 곳이어야 한다. 예로 아마존, 호텔스닷컴, 유튜브, 우버 등을 들 수 있다.

 

이 책을 읽으며 끊임없이 공모전에 적용해야 할 아이디어들을 얻을 수 있었다. 먼저, 리뷰 필터 시스템에 대해 얻었다. 리뷰들의 특정 단어들을 수집하여 수치화한다. 그리고 이러한 리뷰 문서들에서 특정 단어들의 분포의 유사도를 계산한다면 비슷한 문서인지 아닌지를 판가름할 수 있다. 또한, 컨퍼런스콜 녹취록은 텍스트로 변환되어 음성 파일과 텍스트 파일로 분류할 수 있다. 이러한 녹취록은 추후 회의실 예약 및 회의록 자동 저장 아이템을 만들 때 도움이 될 것이라 생각한다.

 

책 중간에 작가는 빅데이터와 정보 보안에 대한 이야기를 한다. 우리 정부는 적절한 보안정책을 펼쳐서 개인의 프라이버시를 지키고 있기 때문에, 빅데이터가 생겼다고 해서 정부가 이를 통제할 수 없다고 이야기한다. 중국과 같은 나라는 빅데이터를 잘 활용해서 사회 통제를 하고 있지만, 우리는 자유사회이기 때문에 정부가 빅브라더가 될 수 없다고 이야기 한다. 그러나 나는 이 생각에 반대한다. 이러한 프라이버시가 지켜진다고 하나, 최근 N번방과 여러 사이트 개인정보 유출과 관련해서 이런 사례들이 있다. 또한, 특정 정부 때는 계엄령을 선포하려고 했었다. 이 책에서 아주 중요한 이야기를 한다. 빅데이터 분석의 최종 목표는 인사이트가 아니라, 가치 만들기이다.

인사이트는 사전적 의미로 '통찰력'이라고 하지만, 빅데이터 분야에서는 빅데이터를 통해 창출되는 지식을 의미한다.

 

보통 빅데이터 > 인사이트 > 가치 창출이라는 프로세스로 생각한다. 그러나 작가는 가치를 먼저 생각해야지 이러한 가치에 어울리는 인사이트를 뽑고 그 인사이트의 재료로 어떤 데이터를 쌓을 것인지에 대해 이야기한다. 그렇기 때문에 저 순서가 아닌 역순으로 가치 창출 > 인사이트 > 빅데이터 순으로 과정이 진행되어야 한다고 한다.

 

작가는 리더와 더불어 의사결정자(현업)가 무엇보다 데이터에 대한 공부를 해야 한다고 이야기한다. 직접 체험해 봐야지 원하는 가치가 무엇인지 알고 어떻게 데이터를 활용할 것인지 알 수 있기 때문이다. 그렇기 때문에 기본적인 알고리즘과 인사이트 도출 실습, 각자의 업무에서 중요한 가치를 줄 수 있는 데이터를 확보하여 인사이트까지 도출하는 것 등을 실습해 보라고 이야기 한다.

코딩과 관련된 부분은 '래피드 마이너'와 같이 코딩하지 않고 클릭과 드래그만으로 데이터 분석을 하는 소프트웨어 패키지를 소개해 준다. 데이터 사이언티스트를 구할 때 컨설팅 업체와 대학교 연구실을 소개한다.

 

그리고 제일 중요한 부분은 모든지 실행하려는 당사자에게 힘을 실어줘야 한다는 이야기이다. 새로운 무엇인가를 도입하려는 사람이 있다면 "자네가 뭘 안다고?" 또는 "그래? 한번 해봐. 그런데 자네가 책임져"라고 하는 상황이다.

​

사일로 문화 극복을 통한 빅데이터 확보

빅데이터가 활성화되려면 빅데이터가 필요하다. 큰 조직 안에 데이터가 많다고 해서 분석을 위한 데이터를 많이 확보할 수 있다는 것은 아니다. 이른바 부서 사일로(silo) 화가 걸림돌이 된다. 사일로란 곡식을 쌓아두는 창고를 말하는데, 흔히 창고 간 소통이 없다는 의미로 사용된다. 조직 내 부서 간에 담을 쌓고 타 부서와 소통하지 않는 문화를 일컫는 말이다. 조직의 각 부서는 자기 데이터를 움켜쥐고 다른 부서에 잘 주지 않는다.

​

2019년 1분기 기준 세계 시가총액 톱 10 기업 중

1~ 4위, 6~ 8위까지가 데이터 기업이다. 아마존은 수익이 거의 없는 회사임에도 회사 가치가 높게 평가받는다. 쇼핑몰로서 고객들의 구매 데이터를 자동으로 확보할 수 있다는 이유 때문이다. 직접 데이터를 만들지 못하는 마이크로소프트는 데이터를 많이 가진 커리어 관리 전문 사이트 '링크드인'을 무료 29조 원에 인수했다. 사람들은 달러를 데이터로 환전했다고 한다. 우리나라는 네이버와 카카오 쿠팡이 이러한 데이터를 확보하는 회사로 나아가고 있다. 특히 쿠팡은 심한 적자를 이루고 있지만, 누가 언제 무엇을 구매하는지에 대한 데이터를 확보할 수 있는 유일한 회사라는 이유로 손정의 회장에게 높은 평가를 받아가며 투자를 받고 있다.

​

책 말미에는 '마이 데이터'에 대해 소개한다. 데이터 소유권을 개인에게 귀속시켜서 관리할 수 있도록 하자는 것이다. 병원 기록, 운동 기록,

금융 거래 기록 등 많은 데이터가 쌓이지만, 정작 데이터의 주인인 '나'는 아무것도 편하게 열람할 수 없다. 그렇기에 이러한 데이터를 필요한 기업이 있다면, 내 데이터를 제공해서 돈을 받거나 유저끼리 공유를 하자고 이야기한다. 또는 나의 데이터를 넘겨주고, 그회사가 제공하는 서비스를 이용할 수 있도록 하자고 이야기한다. 대표적인 예가 마이데이터 기반의 '뱅크 샐러드'를 이야기 한다. 현재 데이터를 회사끼리 거래하는 것은 법으로 금지되어 있다고 한다. 그러나 개인이 대가를 받고 허용한다면 이야기는 달라진다. 프라이버시 문제도 없고, 소비자는 대가를 받아서 좋고, 기업은 원하는 데이터를 합법적으로 확보할 수 있어 좋다.