Search

[GitHub] Information Repository 공개/비공개 전환

내 깃허브의 repository에 대한 정보에 대한 철통 보안이 필요할 때 비공개로 전환하거나, 반대로 비공개로 전환 해놨던 것들을 여러 사람들에게 공개해서 포크질을 마구 받고 싶을 때!
를 대비해서 repository의 공개/비공개 전환하는 법을 araboza.
아 그리고 이미 구글에 널린 글을 쓰는 이유는 파이썬으로 풀어보는 회귀분석 예제들을 어떤 교재를 통해 공부하다가 해당 코드들이 github에 공개되면 저작권에 문제가 있을까 싶어 비공개로 전환해놨었는데, 한참 뒤에 해당 내용들을 삭제하고 다시 공개로 전환하려니 그 방법을 까먹었기 때문이다.ㅠㅠ
공부하는 회귀분석에 대한 코드 및 내용들을 모아놓기 위해 만들어 놨던 repository이다. 클릭하여 들어간다.
우측 상단에 setting 메뉴가 있다. 클릭해보자.
클릭하자마자 나오는 첫 화면에서 그대로 스크롤을 끝까지 내리면 Danger Zone에 Visibility를 Change하겠냐는게 있으니 클릭해보자.
public으로 할지 private으로 할지 고민고민해서 선택 후에 하단에 내 계정(chldnjstjr)/레포지토리 이름(Regression-Analysis-Study)를 작성하고 'I understand, change repository visibility'라는 문구가 활성화되면 클릭하면 되겠다.
Private으로 설정한 것이 잘 되었나 확인해보자.
repository로 다시 들어가보니 좌측에는 든든한 자물쇠와 우측에는 Private이라는 문구가 생성되었다. 이렇게 비공개로 전환한 것을 public으로 전환하기 위해선 마찬가지로 change visibility를 통해 변경하면 되겠다.
끝.
우리나라 경제 구조에서 소상공인의 비중은 상당하다. 그러나 많은 소상공인들이 성장 의지 없이 생계를 위한 대안으로써 사업을 영위하고 있다. 2019년 소상공인 실태조사에 따르면 동일 업종에서 경쟁심화 문제로 경영상 애로를 겪고 있다고 응답한 소상공인은 약 42%이고, 소상공인들의 평균 부채액은 2019년 기준 1억 7100만원으로 집계되었다.
2020년 초부터 코로나 팬더믹으로 인한 사회적거리두기로 영업활동에 강력한 제한이 있었던 것을 감안하면 평균 부채액은 더욱 크게 증가하였을 것으로 예상된다.
과도한 경쟁과 코로나 팬더믹으로 인한 어려움 속에서 성장 의지가 없는 소상공인들의 신용등급하락, 세금체납, 사업부도 가능성이 높아질 것으로 예상된다.
그렇다면 정말로 어떻게 해야할까?
•
소상공인들의 사업이 성장하기 위해선 어떻게 해야 할까?
•
소상공인들의 사업이 성장 할 수 있을까?
•
소상공인들을 위해 어떤 정책과 지원이 필요할까?
위와 같은 질문에 답하기 위해 우선 소상공인에 대해 정확히 파악해보기로 했다.
이번 글에서는 아래와 같은 질문들에 대한 답을 찾았다.
1.
정확히 소상공인이 누구를 지칭하는 것일까?
2.
소상공인들은 왜 많을까?
3.
소상공인들은 잘 준비하고 창업을 하는 것인가?
전국 소상공인 현황
2022/05/02

서론

해외 관련 프로젝트가 많은 부서 특성 상 각 국가의 경제 지표, 인구 등 데이터를 빠르게 수집해야 될 때가 참 많습니다.
오픈소스로 공개된 데이터는 워낙 많기에 Pool 자체에는 큰 걱정이 없지만, 그것을 내 목적에 맞게 최대한 효율적으로 가져오거나 가공하는 것은 또 다른 문제입니다.
최근 월드뱅크가 제공하는 데이터를 활용하면서 느낀 불편함을 개선하기 위해 작은 모듈을 만들었습니다. 이에 대한 내용을 소개하고자 본 글을 작성하게 되었습니다.

World Bank Open Data

월드뱅크(World Bank)는 세계은행 그룹 산하의 국제 금융 기관으로, 전 세계의 경제, 사회, 환경 등 다양한 지표를 수집 및 제공하고 있습니다. 이러한 데이터는 경제 발전, 빈곤 감소, 환경 보호 등 다양한 글로벌 이슈를 이해하고 해결하는 데 중요한 역할을 합니다.
월드뱅크의 데이터 목록 일부
KOSIS(Korean Statistical Information Service)는 대한민국 통계청이 운영하는 국가 통계 포털로, 국내외 다양한 통계 데이터를 제공하고 있는데요.
[R] KOSIS OPEN API를 활용한 월드뱅크 데이터 활용
2024/07/02
OPEN API를 활용하여 사업자번호의 폐업 여부를 R 코드로 구현해봅니다.

배경

이 사업체가 지금도 운영하고 있는지 어떻게 알지?
최근 한 프로젝트를 진행하면서 전국에 있는 사업체를 대상으로 설문조사를 진행할 일이 있었습니다. 내부 자료를 통해 전국에 있는 사업체의 목록은 확보했으나 목록에 있는 사업체들이 설문조사를 하는 시점에도 사업을 영위 중인지 알 길이 없었습니다.
사업 영위 여부를 사전에 전화나 이메일로 연락을 취해 직접 확인하는 방법도 있지만, 목록 내 모든 사업체를 대상으로 사전 확인을 하는 것은 매우 비효율적인 방법입니다.
데이터를 전달하는 웨이터
[R] 오픈 API를 활용한 사업자번호 조회하기
어떤 서비스를 통해 국가별 지도 이미지를 간단히 생성할 수 있는 방법을 알고 계시다면 이 글이 유용성이 다소 부족하게 느껴질 수 있습니다.

배경

보고서, 특히 PPT 형식의 보고서를 작성하다보면 이따금씩 특정 국가의 이미지가 필요합니다. 제가 재직 중인 부서에서는 정말 다양한 국가의 회사, 사람들과 함께 일하기 때문에 지도를 활용하는 일이 빈번합니다. 2~3개 국가의 지도만 필요하다면 구글에서 검색해서 붙여 넣으면 그만이지만, 만약 보고서에 20개 이상의 이미지가 필요하다면 어떻게 해야 할까요?
각 국가의 이미지를 구글에서 하나씩 찾을 수 있겠지만 이미지의 일관성이 부족하거나 무료 사용이 가능하지 않은 이미지가 대부분일 것입니다.
이런 상황에서 R은 우리에게 한 줄기 빛이 되어줄 수 있습니다. 단순 반복 작업을 줄이고 우리가 필요로 하는 국가들의 지도 이미지들을 일관된 스타일과 포맷으로 빠르게 생성할 수 있습니다.
R을 활용하여 20개가 넘는 국가들의 이미지를 후딱 추출하는 방법을 알아보겠습니다.

maps 패키지

[R] R을 활용한 국가별 지도 이미지 생성
표본의 대표성을 높이는 통계적인 기법: 표준화 가중치

1. 표준화 가중치를 적용했다!?

1.1. 사회 분야의 조사 결과에 빈번히 등장하는 ‘표준화 가중치’

표준화 가중치
이번주 칼럼 작성을 해주신 ㅇㅈ님께 진심 어린 감사의 말씀 올립니다.
목차

16화 시청 포인트

① 궁금해? 현커 될거야?!

서경 주원 유정 창진

② 우리 썸 탈 때 생각난다

유정 창진

③ 엽기떡볶이 오리지널맛 HMR

환친조사

지난 조사와의 차이

[환친조사] 환승연애 16화 시청자 여론조사
2024/03/29
뉴스레터는 종영일 다음주 금요일까지 매주 금요일 오전에 발간됩니다.
목차

15화 시청 포인트

① 남자 X 지목 데이트

•
창진 종은 & 창진 다혜
•
동진 서경 & 동진 혜원
•
주원 유정

② X와의 대화

•
주원 서경
•
상정 민형
•
동진 다혜
[환친조사] 환승연애 15화 시청자 여론조사
2024/03/22
조만간 경영학계를 뒤흔들겠다는 야망을 품고 시작했던 내 첫 Term-paper. 일주일 전만해도 "제출 기한보다 훨씬 일찍 끝나면 어떡하지?"라는 고민과 걱정이 가득했으나, 다행히도(또는 불행히도) 그런 걱정은 2020년 11월 19일 목요일인 오늘부로 필요가 없어졌다. 일주일 전으로 돌아가 다시 시작해야되니깐 말이다.
본 글은 일반대학원 경영학과 마케팅을 전공하는 석사(1기) 과정의 학생이 작성한 글로 굉장히 사적인 생각을 담은 글이지만 굉장히 공개적인 곳에 올려놓은 글입니다. *오류가 상당 부분 존재하니 댓글 또는 메일을 통해 적극적인 태클과 피드백을 부탁드립니다. 겸허히 받아들여 성장의 자양분으로 삼겠습니다.
수강 중인 소비자행동론 강의에서 지필고사를 대신하여 Term-paper를 작성하게 되었다. 평소 번뜩이는 아이디어가 많았기에 보통 연구논문은 아니지만 내가 주체적으로 연구과제를 수행한다는 생각에 즐거웠다. 그러나 교수님께서 분석은 소비자행동 관련 연구에서 많이 사용되는, 특히 심리실험 '실험계획법(Design of Experiments)'의 방법론들을 사용하라고 정해주셨다. 학부시절 실험계획법을 수강하여 C+를 받아버렸던 전과가 있기에 자신이 없기도 했거니와 평소 흥미있어하던 온라인 소비행동을 주제로 페이퍼를 작성하고 싶은 마음에 과거 공모전을 준비하며 받아뒀던 온라인 소비행동 데이터를 무조건 활용하고자 했다. 그래서 신난 마음에 Github 아이디를 새로 만들고 구글의 Colab 노트와 연동 해놓고 이 블로그 역시 개설하게 되었다. 열심히 다른 깃허브를 참고해가며 코드를 작성하고 소위 EDA를 하고 있던 와중 생각이 들었다.
①내가 하는 게 맞나?
②나는 무엇을 위해 지금 이 코드를 작성하고 있었던 것이지?
① 내가 하는게 맞나?
우선 나는 틀린 방법으로 분석을 하려는 것 같았다. 교수님께서 정해주신 실험계획법이라는 분석방법에 정면으로 반하는 접근방법을 사용한 느낌이었다. EDA, 그러니깐 Exploratory Data Analysis, 다시 한 번만 더 말해서 '탐색적 자료 분석'은 수집된(또는 기존의) 데이터를 기술적(technical)으로 탐색하고 데이터의 특징과 구조적 측면을 파악하여 통찰(insight)를 얻는 것이다. 그러나 교수님께서 말씀하신 DOE, 그러니깐 Design Of Experiments, 다시 한 번만 더 말해서 실험계획법은 이미 어떤 이론 또는 선행연구를 통해 인사이트를 얻었고 그게 맞는지 아닌지를 데이터를 수집해서 한 번 증명해보겠다는 식의 접근이었다. 미안하지만 또 한 번 다시 설명하자면 이런 방법은 CDA, 그러니깐 Confirmatory Data Analysis, 정말 미안하지만 '확증적 데이터 분석'이었다. 탐색적 자료분석(EDA)이 아니었다. 2018년 6월 28일 순천향대학교 서울병원에서 내과학교실 감연분과의 김태형 교수님께서 사용하신 '자료분석과 KONIS 통계의 이용방법 산수이야기'의 PPT 중 '2016 대한의료관련감영관리학회 학술대회에서 고려대 허명회 교수님 강의'에서 나왔다는 EDA와 CDA의 차이는 다음과 같았다.
교수님이 정해주신 분석 방법에 의하면 나는 계획을 세우고 특정 인사이트를 증명할 데이터를 확보하여 분석을 진행하는 확증적 데이터 분석을 진행해야했다. 그럼에도 불구하고 나는 단지 내가 하고 싶다는 이유로 탐색적 자료 분석을 무작정 진행하고 있었다. 물론 자료를 탐색적으로 살펴보고 특정 인사이트를 얻어 가설을 세우고 통계적인 분석 방법을 통해 그 인사이트를 증명해낼 수도 있겠다. 그러나 그것 조차도 나는 할 수 없었다. 왜냐하면 나는 뚜렷한 연구 목적, 주제도 없이 단지 '온라인 소비행동에 관련한 연구'를 할 작정이었기 때문이다.
이를 깨닫고 사색에 잠겼다. 그리고 갑자기 과거 무더운 여름 축구 지도자 자격증을 취득하고자 연수를 갔을 때가 생각났다.
[Research Diary] 내 첫 텀페이퍼의 향방은 과연 어디로?
2020/11/19
주사위 하나를 던졌을 때 나오는 눈의 기대값이 3.5라는 것은 통계학개론, 기초확률론 강의에서 수도 없이 들었다. 근데 정말로, 진짜로 그것이 맞는지 내 두 눈으로 확인하지 않고서야 그냥 넘어가지 못하는 바보같은 성격 때문에 주사위 1000번(정확히는 1000개의 눈)을 던져 평균을 구해보았다. 그리고 믿을 수 없게도 결과는...
이제 읽게 되실 이 글은 통계학이 어려운 통계학과 학부 졸업생이 작성한 글로 오류가 상당 부분 존재할 예정입니다. 평균과 기대값은 엄밀히 따지자면 분명 차이가 있으나 본 글에서는 직관적인 의미전달을 위해 혼용하여 사용했습니다. 댓글 또는 메일 또는 유선전화 또는 인스타그램DM을 통해 적극적인 태클과 피드백을 부탁드립니다. 겸허히 받아들여 성장의 자양분으로 삼겠습니다.
잘하진 못했지만 학부에서 통계학을 공부하고 대학원에 입학했다. 지도교수님께서 통계과목은 빨리 끝내 놓으라는 말씀해주셔서 첫 학기부터 다시 통계학 과목을 수강하게 되었다. 광고를 전공 했다던 동기는 자신은 '통계 문외한'이라며 통계강의가 끝날 때면 나에게 다음과 같은 질문들을 했다.
"기대값이 뭔지 이해가 안가요"
"기대값도 정규분포일 것이라 가정하고 산출한 값인건가요?"
"주사위 기대값을 구하는 공식(1x1/6+2x1/6...6x1/6)에서 1~6은 정확히 어떤 의미인가요?"
어렵지도 않은 질문이었다. 통계학 난제에 대한 질문이 아니었기 때문이다. 그러나 나는 동기가 했던 위 질문 중 무엇하나 명쾌하게 대답해 줄 수 없었다. 질문의 수준이 아닌 쉽사리 질문에 대답할 수 없는 내 얄팍한 지식 수준 때문에 나는 말문이 턱 막혔다.
주사위의 기대값은 진짜 3.5인가?
2020/10/01
이번 글은 이틀동안 우여곡절 끝에 KoNLP를 설치 오류를 해결했던 과정에 대해 간략하게 공유드리고자 한다.
의외로 간단하게 해결되었으니 KoNLP로 골머리를 썩고 오신 분이라면 부디 이 글을 보고 해결되셨으면 한다.

KoNLP 설치에 관한 문제

KoNLP 패키지는 공식적으로 R의 CRAN에서 제외되었음.
따라서 ‘mrchypark’님이 자신의 Github에 올려놓은 패키지를 설치해야됨.
온갖 방법을 동원했으나 실패하였음.
작성자는 수동으로 직접 설치하는 방법을 택했음.
그러나 다른 환경, 컴퓨터에서는 정상 작동할 수 있으니 우선 일반적인 설치 방법에 대한 코드를 실행해보고 안되면 수동설치하는 방법을 채택하면 된다.
아래 블로그들을 참고하여 순차적으로 설치를 시도한다.
만약 위 코드를 따라 실행하였음에도 실패한다면...'수동설치'를 시도해보자!

① KoNLP 파일 다운로드

KONLP
2022/10/09
Survey를 진행하다보면 주관식 문항에 대해 워드클라우드를 요청하는 고객사가 정말 많다.
워드클라우드는 해석에 그렇게 좋지 않은 그래프임에도 무언가 꽉찬 느낌에 화려하여 보고서에서 한 장 차지하기 딱 좋아보여서 그런 것 같다.
근래 가장 많은 도움을 받고 있는 책인 ‘Do it! 쉽게 배우는 R 데이터 분석(김영우, 2017)’에 따르면 워드클라우드는 분석 결과를 정확하게 표현하는데는 정확하지 않다고 한다. 본문 중 워드클라우드에 대한 구체적인 평가 내용은 아래와 같다.
워드 클라우드는 디자인이 아름다워서 자주 사용되지만 분석 결과를 정확하게 표현하는 데는 적합하지 않다. 단어 빈도를 크기와 색으로 표현하므로 ‘어떤 단어가 몇 번 사용 되었는지’ 정확히 알 수 없고, 단어 배치가 산만해서 ‘어떤 단어가 다른 단어보다 얼마나 더 많이 사용되었는지’ 비교가 어렵다. 텍스트를 아름답게 표현하는 게 아니라 분석 결과를 정확하게 표현하는 목적이라면 워드 클라우드보다는 막대 그래프를 이용하는게 좋다.
고객사에게 해석의 어려움에 대해 설명 드려도 일단 해달라는 요청도 많다. 그래서 어떻게든 조금의 해석이 이루어질 수 있도록 하려다 보면 전처리에 굉장히 심혈을 기울여야 한다.
“자연어처리 분야가 당연히 전처리를 꼼꼼히 잘 해야하는 것 아니냐”라고 묻는 분도 계시겠지만 워드클라우드를 일단 만들어 달라는 고객사의 요청에 부응하기 위해서는 인사이트의 실마리가 필요하다. 또 그 실마리를 찾기 위해서는 ‘진짜 정말로’ 전처리를 어떻게든 잘 해내야 한다.
그러다보니 데이터를 분석하면서 전처리에 평소보다 더 많은 시간을 할애하게 되었고 공부했다. 공부하며 얻게 된 지식의 일부를 명확하게 정리하고자 본 글을 쓰게 되었다.
(아 물론 이 글의 주제는 NLP의 매우 기본적인 내용이다)
주제는 Stemming & Lemmatization이다.
고객사에게 인사이트를 제공하기 위한 실마리를 찾는다는 것은 다른 말로 조사 참여자들의 응답 속에서 “의미를 찾는 것”이라 할 수 있다. 따라서 텍스트 안에서 객관적인 의미를 갖는 단어들을 추출해야 한다.
Stemming & Lemmatizatin
2022/11/18
내 깃허브의 repository에 대한 정보에 대한 철통 보안이 필요할 때 비공개로 전환하거나, 반대로 비공개로 전환 해놨던 것들을 여러 사람들에게 공개해서 포크질을 마구 받고 싶을 때!
를 대비해서 repository의 공개/비공개 전환하는 법을 araboza.
아 그리고 이미 구글에 널린 글을 쓰는 이유는 파이썬으로 풀어보는 회귀분석 예제들을 어떤 교재를 통해 공부하다가 해당 코드들이 github에 공개되면 저작권에 문제가 있을까 싶어 비공개로 전환해놨었는데, 한참 뒤에 해당 내용들을 삭제하고 다시 공개로 전환하려니 그 방법을 까먹었기 때문이다.ㅠㅠ
공부하는 회귀분석에 대한 코드 및 내용들을 모아놓기 위해 만들어 놨던 repository이다. 클릭하여 들어간다.
우측 상단에 setting 메뉴가 있다. 클릭해보자.
클릭하자마자 나오는 첫 화면에서 그대로 스크롤을 끝까지 내리면 Danger Zone에 Visibility를 Change하겠냐는게 있으니 클릭해보자.
public으로 할지 private으로 할지 고민고민해서 선택 후에 하단에 내 계정(chldnjstjr)/레포지토리 이름(Regression-Analysis-Study)를 작성하고 'I understand, change repository visibility'라는 문구가 활성화되면 클릭하면 되겠다.
Private으로 설정한 것이 잘 되었나 확인해보자.
repository로 다시 들어가보니 좌측에는 든든한 자물쇠와 우측에는 Private이라는 문구가 생성되었다. 이렇게 비공개로 전환한 것을 public으로 전환하기 위해선 마찬가지로 change visibility를 통해 변경하면 되겠다.
끝.
[GitHub] Information Repository 공개/비공개 전환
2021/06/21
내 기술이 없어!
최근 인스타그램의 창업자인 케빈 시스트롬의 인터뷰 영상을 본적이 있다.
You don't have to be the best, but you have to be dangerous
스스로 생각한 아이디어를 완전히 구현해낼 수 없다면 그것을 간단하게 나마 보여줄 수 있을 정도로는 제작해서 자신보다 그것을 더 잘 구현해줄 수 있는 누군가를 찾아야 한다는 것이다.
"내 기술은 뭐지?" "다른 사람한테 돈 받고 과외를 해줄 수 있는 그런 기술이 있나?"
스스로에게 질문을 던져보니 없었다. 학창시절 좋아했던 축구도 선수출신만큼 노력하지 않았기에 턱없이 부족했고 단지 경기를 분석하며 '전술이 이래야 되고 저래야 된다'라고 말로만 늘어놓기만 했을 뿐이다.
대학교까지 졸업하고 대학원을 다니고 있는 지금도 그런 것 같았다. 분야만 스포츠에서 마케팅으로 바뀌었을 뿐 나는 기업의 마케팅은 '이래야 되고 저래야 된다'라고 하고 있었다. 내가 생각하는 현실의 문제를 진짜로 풀어낼 수 있는 그 최소한의 능력이 없었다. 한 마디로 기술은 없고 철학만 있었다. 물론 한 조직을 이끌고 좋은 의사결정을 내리기 위해선 철학, 자기주관 있어야 한다. 그러나 한 조직의 의사결정을 내리는 위치까지 가기 전, 또 그 위치에 도달해서도 조직 내에서 리더십을 발휘하기 위해선 혼자서도 언제든지 문제를 해결할 수 있는 기술을 가지고 있어야 된다. 내 자리를 굳건히 지킬 수 있는 흔들림 없는 그 기술이 필요하다!
혼자 공모전을 진행하며 그런 기술적인 어려움 때문에 많은 시간을 빼앗겼고 결국 마감일을 지키지 못했다. 여태까지 내가 마감일을 지키지 못하는 이유는 '완벽주의' 때문이라고 생각했지만 단지 그것만이 아님을 느꼈다. 매우 간단한 코드 한줄마다 stack overflow와 github, youtube를 넘나들며 오류를 수정했고 내가 설계하는 모델이 맞는지 검증하기 위해 전공 서적을 찾아보고 위키피디아를 찾아보는 과정을 거쳤다. 그 과정을 거치며 더 많은 것을 알게 되었으나 적어도 제한된 시간 내에 성과를 내야 하는 공모전에서 거쳐야 하는 수준의 과정으로 느껴지진 않았다. (확률론을 펴고 포아송 분포를 다시 보고 있었으니 말이다) 현시점에서는 매우 고된 Top-down 형식의 반복 훈련이 필요한 것으로 느껴진다. 이제는 소기의 성과를 내야 하는 상황인만큼 다음 리서치 다이어리는 오늘과 같이 반성하는 글이 아니길 바란다.
[Research Diary] 기술은 없고 철학만 있다.
2021/06/27
워드 파일에 있는 이미지 파일만 추출하기!

배경

협업 과정에서 워드파일을 주고 받을 때가 참 많습니다. Google Drive, Onedrive와 같은 클라우드를 통해서 주고 받는 분들도 많습니다만 서로 다른 회사, 부서에 속한 경우에는 메일로 파일을 주고 받는 경우가 대부분일 것입니다.
때로는 그렇게 메일로 파일을 주고 받는 과정에서 파일에 첨부한 이미지를 따로 전달해주지 않는 경우가 있습니다. (단순 실수일수도 아니면 실수를 가장한 귀찮음일 수도)
이미지의 양이 상당히 많은데 급하게 편집, 수정해야 하는 경우 이 이미지들을 워드 파일 내에서 따로 저장하는 것은 굉장히 번거롭습니다.
이미지를 클릭하고, 저장하기를 누르고, 경로를 지정해야하기 때문에 너무 불필요한 시간이 소요됩니다.
오늘은 이런 문제점을 단 번에 해결할 수 있는 방법을 소개해드리고자 합니다.

문제점

DOCX 파일 내부의 이미지에 직접 접근하는 것은 직관적이지 않습니다. 파일 구조상 이미지는 문서 내부에 포함되어 있고 일반적인 방법으로는 별도로 추출하기 어렵습니다.
이런 경우에 워드 파일 속에 있는 이미지들을 한 번에 저장하는 방법이 있습니다.
워드 파일(docx)에서 이미지 한 번에 추출하기
2024/03/28
Main Page　｜　Category　｜　 Tags　｜　About Me　｜　Contact