골목통계

마케팅, 통계, 경제, 정치, 사회 등 잡다한 모든 글을 씁니다.

어떤 서비스를 통해 국가별 지도 이미지를 간단히 생성할 수 있는 방법을 알고 계시다면 이 글이 유용성이 다소 부족하게 느껴질 수 있습니다.

배경

보고서, 특히 PPT 형식의 보고서를 작성하다보면 이따금씩 특정 국가의 이미지가 필요합니다. 제가 재직 중인 부서에서는 정말 다양한 국가의 회사, 사람들과 함께 일하기 때문에 지도를 활용하는 일이 빈번합니다. 2~3개 국가의 지도만 필요하다면 구글에서 검색해서 붙여 넣으면 그만이지만, 만약 보고서에 20개 이상의 이미지가 필요하다면 어떻게 해야 할까요?

각 국가의 이미지를 구글에서 하나씩 찾을 수 있겠지만 이미지의 일관성이 부족하거나 무료 사용이 가능하지 않은 이미지가 대부분일 것입니다.

이런 상황에서 R은 우리에게 한 줄기 빛이 되어줄 수 있습니다. 단순 노가다 작업을 줄이고 우리가 필요로 하는 국가들의 지도 이미지들을 일관된 스타일과 포맷으로 빠르게 생성할 수 있습니다.

R을 활용하여 20개가 넘는 국가들의 이미지를 후딱 추출하는 방법을 알아보겠습니다.

maps 패키지

maps 패키지는 다양한 지리 데이터를 제공하고 간단한 지도를 그릴 수 있는 함수를 제공합니다.(click). library 함수를 통해 maps 패키지를 불러오겠습니다.

국가명을 정확히 지정해주어야 지도를 생성할 수 있습니다.

대한민국도 South Korea, Republic of Korea와 같이 기관에 따라 달리 부르는 것처럼 R에서 제공되는 데이터들 역시 같은 국가여도 다른 명칭을 붙여서 사용합니다. 따라서 항상 사전에 국가 명칭에 대한 사전(dictionary)를 확인하는 것이 필수입니다.

maps 데이터의 map 함수를 활용하여 국가명을 살펴보겠습니다.

R을 활용한 국가별 지도 이미지 생성

2024/05/02

OPEN API를 활용하여 사업자번호의 폐업 여부를 R 코드로 구현해봅니다.

배경

이 사업체가 지금도 운영하고 있는지 어떻게 알지?

최근 한 프로젝트를 진행하면서 전국에 있는 사업체를 대상으로 설문조사를 진행할 일이 있었습니다. 내부 자료를 통해 전국에 있는 사업체의 목록은 확보했으나 목록에 있는 사업체들이 설문조사를 하는 시점에도 사업을 영위 중인지 알 길이 없었습니다.

사업 영위 여부를 사전에 전화나 이메일로 연락을 취해 직접 확인하는 방법도 있지만, 목록 내 모든 사업체를 대상으로 사전 확인을 하는 것은 매우 비효율적인 방법입니다.

폐업한 사업체를 설문조사 대상에서 배제하기 위한 효율적인 사전 확인 작업이 필요했고, 정말 다행히도 행정안전부에서 운영 및 제공하는 공공데이터 포털의 오픈 API 서비스(Click)를 통해 이를 쉽게 수행할 수 있었습니다.

공공데이터 포털의 오픈 API 서비스를 활용하는 글은 매우 많으나 보통 Python 코드가 많고 R 코드로 구현된 것은 잘 없습니다. 또 이를 R로 구현하다고 하여도 API 1회 호출에 최대 100개 사업자등록번호만 조회할 수 있습니다. 따라서 한 번의 코드 실행으로 100개를 초과하는 사업자등록번호 목록을 모두 조회할 수 있는 방법을 상세히 설명한 글은 제가 찾았을 때 없었습니다. 때문에 이번 글을 통해 제 경험을 여러분께 공유하고자 합니다.

API

우선 API라는 단어를 들어본 적이 없거나 API에 대한 개념이 명확하지 않으신 분들을 위해 API에 대한 개념부터 짚고 넘어가고자 합니다. 해당되지 않는 분들께서는 본 챕터를 건너뛰셔도 좋습니다.

API의 정의

데이터를 전달하는 웨이터

[R] 오픈 API를 활용한 사업자번호 조회하기

2024/04/26

이번주 칼럼 작성을 해주신 ㅇㅈ님께 진심 어린 감사의 말씀 올립니다.

16화 시청 포인트

① 궁금해? 현커 될거야?!

서경  주원  유정  창진

② 우리 썸 탈 때 생각난다

유정  창진

③ 엽기떡볶이 오리지널맛 HMR

환친조사

지난 조사와의 차이

[환친조사] 환승연애 16화 시청자 여론조사

2024/03/29

워드 파일에 있는 이미지 파일만 추출하기!

배경

협업 과정에서 워드파일을 주고 받을 때가 참 많습니다. Google Drive, Onedrive와 같은 클라우드를 통해서 주고 받는 분들도 많습니다만 서로 다른 회사, 부서에 속한 경우에는 메일로 파일을 주고 받는 경우가 대부분일 것입니다.

때로는 그렇게 메일로 파일을 주고 받는 과정에서 파일에 첨부한 이미지를 따로 전달해주지 않는 경우가 있습니다. (단순 실수일수도 아니면 실수를 가장한 귀찮음일 수도)

이미지의 양이 상당히 많은데 급하게 편집, 수정해야 하는 경우 이 이미지들을 워드 파일 내에서 따로 저장하는 것은 굉장히 번거롭습니다.

이미지를 클릭하고, 저장하기를 누르고, 경로를 지정해야하기 때문에 너무 불필요한 시간이 소요됩니다.

오늘은 이런 문제점을 단 번에 해결할 수 있는 방법을 소개해드리고자 합니다.

문제점

DOCX 파일 내부의 이미지에 직접 접근하는 것은 직관적이지 않습니다. 파일 구조상 이미지는 문서 내부에 포함되어 있고 일반적인 방법으로는 별도로 추출하기 어렵습니다.

이런 경우에 워드 파일 속에 있는 이미지들을 한 번에 저장하는 방법이 있습니다.

워드 파일(docx)에서 이미지 한 번에 추출하기

2024/03/28

뉴스레터는 종영일 다음주 금요일까지 매주 금요일 오전에 발간됩니다.

15화 시청 포인트

① 남자 X 지목 데이트

•

창진  종은 & 창진  다혜 

•

동진  서경 & 동진  혜원 

•

주원  유정

② X와의 대화

•

주원  서경

•

상정  민형

•

동진  다혜

[환친조사] 환승연애 15화 시청자 여론조사

2024/03/22

표본의 대표성을 높이는 통계적인 기법: 표준화 가중치

1. 표준화 가중치를 적용했다!?

1.1. 사회 분야의 조사 결과에 빈번히 등장하는 ‘표준화 가중치’

•

道 여성 6명 중 1명, 성희롱 피해 경험 3명 중 1명 (2023년 3월 8일, 경기매일, 황영진 기자)

위 기사는 2022년 9월~10월까지 경기도내 19세~75세 성인 2,000명을 대상으로 실시한 ‘경기도 여성폭력 실태조사’에 관한 기사인데, 기사의 마지막 부분에는 다음과 같이 기재되어 있습니다.[1], [2]

*본 조사는 표준화 가중치를 적용해 성비가 1:1에 근접하게 조정했음 (전체 사례수 2,000명 중 남성 1,019명, 여성 981명 대상)

공공기관의 수많은 조사결과에서 ‘표준화 가중치’를 적용했다는 문구가 빈번히 등장하지만 그 개념을 함께 설명해주는 경우는 거의 없기 때문에 어떻게 해석해야 할지 가늠할 수 없는 경우가 많습니다.

조사 결과를 활용하는 실무자 입장에서 표준화 가중치에 대한 개념을 함께 이해할 수 있는 글을 작성하고자 합니다.

2. 표본 가중치의 역할과 필요성

표준화 가중치

2023/05/31

Survey를 진행하다보면 주관식 문항에 대해 워드클라우드를 요청하는 고객사가 정말 많다.

워드클라우드는 해석에 그렇게 좋지 않은 그래프임에도 무언가 꽉찬 느낌에 화려하여 보고서에서 한 장 차지하기 딱 좋아보여서 그런 것 같다.

근래 가장 많은 도움을 받고 있는 책인 ‘Do it! 쉽게 배우는 R 데이터 분석(김영우, 2017)’에 따르면 워드클라우드는 분석 결과를 정확하게 표현하는데는 정확하지 않다고 한다. 본문 중 워드클라우드에 대한 구체적인 평가 내용은 아래와 같다.

워드 클라우드는 디자인이 아름다워서 자주 사용되지만 분석 결과를 정확하게 표현하는 데는 적합하지 않다. 단어 빈도를 크기와 색으로 표현하므로 ‘어떤 단어가 몇 번 사용 되었는지’ 정확히 알 수 없고, 단어 배치가 산만해서 ‘어떤 단어가 다른 단어보다 얼마나 더 많이 사용되었는지’ 비교가 어렵다. 텍스트를 아름답게 표현하는 게 아니라 분석 결과를 정확하게 표현하는 목적이라면 워드 클라우드보다는 막대 그래프를 이용하는게 좋다.

고객사에게 해석의 어려움에 대해 설명 드려도 일단 해달라는 요청도 많다. 그래서 어떻게든 조금의 해석이 이루어질 수 있도록 하려다보면 전처리에 굉장히 심혈을 기울여야 한다.

“자연어처리 분야가 당연히 전처리를 꼼꼼히 잘 해야하는 것 아니냐”라고 묻는 분도 계시겠지만 워드클라우드를 일단 만들어 달라는 고객사의 요청에 부응하기 위해서는 인사이트의 실마리가 필요하다. 또 그 실마리를 찾기 위해서는 ‘진짜 정말로’ 전처리를 어떻게든 잘 해내야 한다.

그러다보니 데이터를 분석하면서 전처리에 평소보다 더 많은 시간을 할애하게 되었고 공부했다. 공부하며 얻게 된 지식의 일부를 명확하게 정리하고자 본 글을 쓰게 되었다.

(아 물론 이 글의 주제는 NLP의 매우 기본적인 내용이다)

주제는 Stemming & Lemmatization이다.

고객사에게 인사이트를 제공하기 위한 실마리를 찾는다는 것은 다른 말로 조사 참여자들의 응답 속에서 “의미를 찾는 것”이라 할 수 있다. 따라서 텍스트 안에서 객관적인 의미를 갖는 단어들을 추출해야 한다.

Stemming & Lemmatizatin

2022/11/18

이번 글은 이틀동안 우여곡절 끝에 KoNLP를 설치 오류를 해결했던 과정에 대해 간략하게 공유드리고자 한다.

의외로 간단하게 해결되었으니 KoNLP로 골머리를 썩고 오신 분이라면 부디 이 글을 보고 해결되셨으면 한다.

KoNLP 설치에 관한 문제

KoNLP 패키지는 공식적으로 R의 CRAN에서 제외되었음.

따라서 ‘mrchypark’님이 자신의 Github에 올려놓은 패키지를 설치해야됨.

온갖 방법을 동원했으나 실패하였음.

작성자는 수동으로 직접 설치하는 방법을 택했음.

그러나 다른 환경, 컴퓨터에서는 정상 작동할 수 있으니 우선 일반적인 설치 방법에 대한 코드를 실행해보고 안되면 수동설치하는 방법을 채택하면 된다.

아래 블로그들을 참고하여 순차적으로 설치를 시도한다.

블로그1

블로그2

만약 위 코드를 따라 실행하였음에도 실패한다면...'수동설치'를 시도해보자!

① KoNLP 파일 다운로드

KONLP

2022/10/09

내 기술이 없어!

최근 인스타그램의 창업자인 케빈 시스트롬의 인터뷰 영상을 본적이 있다.

You don't have to be the best, but you have to be dangerous

스스로 생각한 아이디어를 완전히 구현해낼 수 없다면 그것을 간단하게 나마 보여줄 수 있을 정도로는 제작해서 자신보다 그것을 더 잘 구현해줄 수 있는 누군가를 찾아야 한다는 것이다.

"내 기술은 뭐지?" "다른 사람한테 돈 받고 과외를 해줄 수 있는 그런 기술이 있나?"

스스로에게 질문을 던져보니 없었다. 학창시절 좋아했던 축구도 선수출신만큼 노력하지 않았기에 턱없이 부족했고 단지 경기를 분석하며 '전술이 이래야 되고 저래야 된다'라고 말로만 늘어놓기만 했을 뿐이다.

대학교까지 졸업하고 대학원을 다니고 있는 지금도 그런 것 같았다. 분야만 스포츠에서 마케팅으로 바뀌었을 뿐 나는 기업의 마케팅은 '이래야 되고 저래야 된다'라고 하고 있었다. 내가 생각하는 현실의 문제를 진짜로 풀어낼 수 있는 그 최소한의 능력이 없었다. 한 마디로 기술은 없고 철학만 있었다. 물론 한 조직을 이끌고 좋은 의사결정을 내리기 위해선 철학, 자기주관 있어야 한다. 그러나 한 조직의 의사결정을 내리는 위치까지 가기 전, 또 그 위치에 도달해서도 조직 내에서 리더십을 발휘하기 위해선 혼자서도 언제든지 문제를 해결할 수 있는 기술을 가지고 있어야 된다. 내 자리를 굳건히 지킬 수 있는 흔들림 없는 그 기술이 필요하다!

혼자 공모전을 진행하며 그런 기술적인 어려움 때문에 많은 시간을 빼앗겼고 결국 마감일을 지키지 못했다. 여태까지 내가 마감일을 지키지 못하는 이유는 '완벽주의' 때문이라고 생각했지만 단지 그것만이 아님을 느꼈다. 매우 간단한 코드 한줄마다 stack overflow와 github, youtube를 넘나들며 오류를 수정했고 내가 설계하는 모델이 맞는지 검증하기 위해 전공 서적을 찾아보고 위키피디아를 찾아보는 과정을 거쳤다. 그 과정을 거치며 더 많은 것을 알게 되었으나 적어도 제한된 시간 내에 성과를 내야 하는 공모전에서 거쳐야 하는 수준의 과정으로 느껴지진 않았다. (확률론을 펴고 포아송 분포를 다시 보고 있었으니 말이다) 현시점에서는 매우 고된 Top-down 형식의 반복 훈련이 필요한 것으로 느껴진다. 이제는 소기의 성과를 내야 하는 상황인만큼 다음 리서치 다이어리는 오늘과 같이 반성하는 글이 아니길 바란다.

[Research Diary] 기술은 없고 철학만 있다.

2021/06/27

내 깃허브의 repository에 대한 정보에 대한 철통 보안이 필요할 때 비공개로 전환하거나, 반대로 비공개로 전환 해놨던 것들을 여러 사람들에게 공개해서 포크질을 마구 받고 싶을 때!

를 대비해서 repository의 공개/비공개 전환하는 법을 araboza.

공부하는 회귀분석에 대한 코드 및 내용들을 모아놓기 위해 만들어 놨던 repository이다. 클릭하여 들어간다.

우측 상단에 setting 메뉴가 있다. 클릭해보자.

클릭하자마자 나오는 첫 화면에서 그대로 스크롤을 끝까지 내리면 Danger Zone에 Visibility를 Change하겠냐는게 있으니 클릭해보자.

[GitHub] Information Repository 공개/비공개 전환

2021/06/21

Main Page　｜　Category　｜　 Tags　｜　About Me　｜　Contact