Search

KONLP

이번 글은 이틀동안 우여곡절 끝에 KoNLP를 설치 오류를 해결했던 과정에 대해 간략하게 공유드리고자 한다.
의외로 간단하게 해결되었으니 KoNLP로 골머리를 썩고 오신 분이라면 부디 이 글을 보고 해결되셨으면 한다.

KoNLP 설치에 관한 문제

KoNLP 패키지는 공식적으로 R의 CRAN에서 제외되었음.
따라서 ‘mrchypark’님이 자신의 Github에 올려놓은 패키지를 설치해야됨.
온갖 방법을 동원했으나 실패하였음.
작성자는 수동으로 직접 설치하는 방법을 택했음.
그러나 다른 환경, 컴퓨터에서는 정상 작동할 수 있으니 우선 일반적인 설치 방법에 대한 코드를 실행해보고 안되면 수동설치하는 방법을 채택하면 된다.
아래 블로그들을 참고하여 순차적으로 설치를 시도한다.
#jdk 설치 확인 install.packages("rJava") #초기화 함수로 설치되어 있는지 확인 rJava::.jinit() #jdk 설치하기 install.packages("multilinguer") multilinguer::install_jdk() #multilinguer::install_jdk() 을 실행하면 R 새션을 재시작됨 #의존성 패키지 설치 install.packages(c("hash", "tau", "Sejong", "RSQLite", "devtools", "bit", "rex", "lazyeval", "htmlwidgets", "crosstalk", "promises", "later", "sessioninfo", "xopen", "bit64", "blob", "DBI", "memoise", "plogr", "covr", "DT", "rcmdcheck", "rversions"), type = "binary") #Github 버전 설치 install.packages("remotes") #KoNLP 설치방법1 remotes::install_github('haven-jeon/KoNLP', upgrade = "never", INSTALL_opts=c("--no-multiarch")) #KoNLP 설치방법2 install.packages("KoNLP", repos = "https://forkonlp.r-universe.dev", dependencies = TRUE, INSTALL_opts = c("--no-multiarch") ) #정상 작동 확인 library("KoNLP") SimplePos09("안녕하신가요?") #패키지 내 함수 사용해보기 extractNoun('한국갤럽 마케팅 4실이지말입니다.')
Plain Text
복사
만약 위 코드를 따라 실행하였음에도 실패한다면...'수동설치'를 시도해보자!

① KoNLP 파일 다운로드

아래 링크에 접속하여 CRAN의 Archive에 남아 있는 가장 최신 버전의 파일(0.80.2.tar.gz)을 다운로드하자.

② R-Studio 내 패키지 설치

R-Studio의 오른쪽 하단 [Packges]-[Install] 클릭

③ KoNLP 파일 지정

다운로드 받았던 KoNLP_0.80.2.tar.gz 클릭!

④ 설치 확인

⑤ Java 관련 오류

만약 설치된 것이 확인되었으나 Java와 관련한 오류 메세지가 발생한다면 Java 역시 직접 설치하여 폴더를 덮어씌우는 작업을 해보자!
보통 아래와 같은 오류 메세지가 나오는데, 경로는 저마다 다르니 참고하여 폴더를 통째로 덮어씌우길 바란다.
Fail to install scala-library-2.11.8.jar. Recommand to install library manually in /data/gannet/ripley/R/test-clang/00LOCK-KoNLP/00new/KoNLP/java
Plain Text
복사
아래 '다운로드 링크'를 통해 Java 파일을 다운로드한다. 만약 링크가 작동하지 않는다면 해당 링크의 출처인 블로그에 접속하길 바란다.

서론

해외 관련 프로젝트가 많은 부서 특성 상 각 국가의 경제 지표, 인구 등 데이터를 빠르게 수집해야 될 때가 참 많습니다.
오픈소스로 공개된 데이터는 워낙 많기에 Pool 자체에는 큰 걱정이 없지만, 그것을 내 목적에 맞게 최대한 효율적으로 가져오거나 가공하는 것은 또 다른 문제입니다.
최근 월드뱅크가 제공하는 데이터를 활용하면서 느낀 불편함을 개선하기 위해 작은 모듈을 만들었습니다. 이에 대한 내용을 소개하고자 본 글을 작성하게 되었습니다.

World Bank Open Data

월드뱅크(World Bank)는 세계은행 그룹 산하의 국제 금융 기관으로, 전 세계의 경제, 사회, 환경 등 다양한 지표를 수집 및 제공하고 있습니다. 이러한 데이터는 경제 발전, 빈곤 감소, 환경 보호 등 다양한 글로벌 이슈를 이해하고 해결하는 데 중요한 역할을 합니다.
월드뱅크의 데이터 목록 일부
KOSIS(Korean Statistical Information Service)는 대한민국 통계청이 운영하는 국가 통계 포털로, 국내외 다양한 통계 데이터를 제공하고 있는데요.
[R] KOSIS OPEN API를 활용한 월드뱅크 데이터 활용
2024/07/02
OPEN API를 활용하여 사업자번호의 폐업 여부를 R 코드로 구현해봅니다.

배경

이 사업체가 지금도 운영하고 있는지 어떻게 알지?
최근 한 프로젝트를 진행하면서 전국에 있는 사업체를 대상으로 설문조사를 진행할 일이 있었습니다. 내부 자료를 통해 전국에 있는 사업체의 목록은 확보했으나 목록에 있는 사업체들이 설문조사를 하는 시점에도 사업을 영위 중인지 알 길이 없었습니다.
사업 영위 여부를 사전에 전화나 이메일로 연락을 취해 직접 확인하는 방법도 있지만, 목록 내 모든 사업체를 대상으로 사전 확인을 하는 것은 매우 비효율적인 방법입니다.
폐업한 사업체를 설문조사 대상에서 배제하기 위한 효율적인 사전 확인 작업이 필요했고, 정말 다행히도 행정안전부에서 운영 및 제공하는 공공데이터 포털의 오픈 API 서비스(Click)를 통해 이를 쉽게 수행할 수 있었습니다.
공공데이터 포털의 오픈 API 서비스를 활용하는 글은 매우 많으나 보통 Python 코드가 많고 R 코드로 구현된 것은 잘 없습니다. 또 이를 R로 구현하다고 하여도 API 1회 호출에 최대 100개 사업자등록번호만 조회할 수 있습니다. 따라서 한 번의 코드 실행으로 100개를 초과하는 사업자등록번호 목록을 모두 조회할 수 있는 방법을 상세히 설명한 글은 제가 찾았을 때 없었습니다. 때문에 이번 글을 통해 제 경험을 여러분께 공유하고자 합니다.

API

우선 API라는 단어를 들어본 적이 없거나 API에 대한 개념이 명확하지 않으신 분들을 위해 API에 대한 개념부터 짚고 넘어가고자 합니다. 해당되지 않는 분들께서는 본 챕터를 건너뛰셔도 좋습니다.

API의 정의

데이터를 전달하는 웨이터
[R] 오픈 API를 활용한 사업자번호 조회하기
2024/04/26
어떤 서비스를 통해 국가별 지도 이미지를 간단히 생성할 수 있는 방법을 알고 계시다면 이 글이 유용성이 다소 부족하게 느껴질 수 있습니다.

배경

보고서, 특히 PPT 형식의 보고서를 작성하다보면 이따금씩 특정 국가의 이미지가 필요합니다. 제가 재직 중인 부서에서는 정말 다양한 국가의 회사, 사람들과 함께 일하기 때문에 지도를 활용하는 일이 빈번합니다. 2~3개 국가의 지도만 필요하다면 구글에서 검색해서 붙여 넣으면 그만이지만, 만약 보고서에 20개 이상의 이미지가 필요하다면 어떻게 해야 할까요?
각 국가의 이미지를 구글에서 하나씩 찾을 수 있겠지만 이미지의 일관성이 부족하거나 무료 사용이 가능하지 않은 이미지가 대부분일 것입니다.
이런 상황에서 R은 우리에게 한 줄기 빛이 되어줄 수 있습니다. 단순 반복 작업을 줄이고 우리가 필요로 하는 국가들의 지도 이미지들을 일관된 스타일과 포맷으로 빠르게 생성할 수 있습니다.
R을 활용하여 20개가 넘는 국가들의 이미지를 후딱 추출하는 방법을 알아보겠습니다.

maps 패키지

maps 패키지는 다양한 지리 데이터를 제공하고 간단한 지도를 그릴 수 있는 함수를 제공합니다.(click). library 함수를 통해 maps 패키지를 불러오겠습니다.
국가명을 정확히 지정해주어야 지도를 생성할 수 있습니다.
대한민국도 South Korea, Republic of Korea와 같이 기관에 따라 달리 부르는 것처럼 R에서 제공되는 데이터들 역시 같은 국가여도 다른 명칭을 붙여서 사용합니다. 따라서 항상 사전에 국가 명칭에 대한 사전(dictionary)를 확인하는 것이 필수입니다.
maps 데이터의 map 함수를 활용하여 국가명을 살펴보겠습니다.
[R] R을 활용한 국가별 지도 이미지 생성
2024/05/02
이번 글은 이틀동안 우여곡절 끝에 KoNLP를 설치 오류를 해결했던 과정에 대해 간략하게 공유드리고자 한다.
의외로 간단하게 해결되었으니 KoNLP로 골머리를 썩고 오신 분이라면 부디 이 글을 보고 해결되셨으면 한다.

KoNLP 설치에 관한 문제

KoNLP 패키지는 공식적으로 R의 CRAN에서 제외되었음.
따라서 ‘mrchypark’님이 자신의 Github에 올려놓은 패키지를 설치해야됨.
온갖 방법을 동원했으나 실패하였음.
작성자는 수동으로 직접 설치하는 방법을 택했음.
그러나 다른 환경, 컴퓨터에서는 정상 작동할 수 있으니 우선 일반적인 설치 방법에 대한 코드를 실행해보고 안되면 수동설치하는 방법을 채택하면 된다.
아래 블로그들을 참고하여 순차적으로 설치를 시도한다.
만약 위 코드를 따라 실행하였음에도 실패한다면...'수동설치'를 시도해보자!

① KoNLP 파일 다운로드

아래 링크에 접속하여 CRAN의 Archive에 남아 있는 가장 최신 버전의 파일(0.80.2.tar.gz)을 다운로드하자.

② R-Studio 내 패키지 설치

R-Studio의 오른쪽 하단 [Packges]-[Install] 클릭

③ KoNLP 파일 지정

다운로드 받았던 KoNLP_0.80.2.tar.gz 클릭!

④ 설치 확인

⑤ Java 관련 오류

만약 설치된 것이 확인되었으나 Java와 관련한 오류 메세지가 발생한다면 Java 역시 직접 설치하여 폴더를 덮어씌우는 작업을 해보자!
보통 아래와 같은 오류 메세지가 나오는데, 경로는 저마다 다르니 참고하여 폴더를 통째로 덮어씌우길 바란다.
아래 '다운로드 링크'를 통해 Java 파일을 다운로드한다. 만약 링크가 작동하지 않는다면 해당 링크의 출처인 블로그에 접속하길 바란다.
KONLP
2022/10/09
Survey를 진행하다보면 주관식 문항에 대해 워드클라우드를 요청하는 고객사가 정말 많다.
워드클라우드는 해석에 그렇게 좋지 않은 그래프임에도 무언가 꽉찬 느낌에 화려하여 보고서에서 한 장 차지하기 딱 좋아보여서 그런 것 같다.
근래 가장 많은 도움을 받고 있는 책인 ‘Do it! 쉽게 배우는 R 데이터 분석(김영우, 2017)’에 따르면 워드클라우드는 분석 결과를 정확하게 표현하는데는 정확하지 않다고 한다. 본문 중 워드클라우드에 대한 구체적인 평가 내용은 아래와 같다.
워드 클라우드는 디자인이 아름다워서 자주 사용되지만 분석 결과를 정확하게 표현하는 데는 적합하지 않다. 단어 빈도를 크기와 색으로 표현하므로 ‘어떤 단어가 몇 번 사용 되었는지’ 정확히 알 수 없고, 단어 배치가 산만해서 ‘어떤 단어가 다른 단어보다 얼마나 더 많이 사용되었는지’ 비교가 어렵다. 텍스트를 아름답게 표현하는 게 아니라 분석 결과를 정확하게 표현하는 목적이라면 워드 클라우드보다는 막대 그래프를 이용하는게 좋다.
고객사에게 해석의 어려움에 대해 설명 드려도 일단 해달라는 요청도 많다. 그래서 어떻게든 조금의 해석이 이루어질 수 있도록 하려다 보면 전처리에 굉장히 심혈을 기울여야 한다.
“자연어처리 분야가 당연히 전처리를 꼼꼼히 잘 해야하는 것 아니냐”라고 묻는 분도 계시겠지만 워드클라우드를 일단 만들어 달라는 고객사의 요청에 부응하기 위해서는 인사이트의 실마리가 필요하다. 또 그 실마리를 찾기 위해서는 ‘진짜 정말로’ 전처리를 어떻게든 잘 해내야 한다.
그러다보니 데이터를 분석하면서 전처리에 평소보다 더 많은 시간을 할애하게 되었고 공부했다. 공부하며 얻게 된 지식의 일부를 명확하게 정리하고자 본 글을 쓰게 되었다.
(아 물론 이 글의 주제는 NLP의 매우 기본적인 내용이다)
주제는 Stemming & Lemmatization이다.
고객사에게 인사이트를 제공하기 위한 실마리를 찾는다는 것은 다른 말로 조사 참여자들의 응답 속에서 “의미를 찾는 것”이라 할 수 있다. 따라서 텍스트 안에서 객관적인 의미를 갖는 단어들을 추출해야 한다.
Stemming & Lemmatizatin
2022/11/18
Main Page　｜　Category　｜　 Tags　｜　About Me　｜　Contact