areum

Okt이용하여 형태소 분석해 보기 ( 형태소 빈도 측정) 1. 기본세팅 from collections import Counter import numpy as np import pandas as pd from tqdm import tqdm # konlpy from konlpy.tag import Okt okt = Okt() # 데이터 불러오기 df = pd.read_csv('/content/ratings_train.txt',sep='\t') # 데이터 양이 너무 많아 200행까지만 실행해보았습니다. df=df.iloc[0:200,0:2] 2. Okt이용하여 형태소 나눠주기 sentences = [] for cp in tqdm(df.document.dropna()): sentences.append(okt.p..

파이썬으로 텍스트 카테고리 분류해보기 1. 기본 세팅 데이터는 https://github.com/e9t/nsmc에서 받을 수 있습니다. (위 데이터는 네이버 영화 평점 데이터입니다.) import pandas as pd import numpy as np from tqdm import tqdm # 시각화 import matplotlib.pyplot as plt df = pd.read_csv('/content/ratings_train.txt',sep='\t') # 데이터 양이 너무 많아 200행까지만 실행해보았습니다. df=df.iloc[0:200,0:2] 2. 긍정/부정/중립의 키워드 지정 후 카테고리화 하였습니다. 긍정과 부정의 키워드는 제가 임의로 작성한 키워드 입니다. # 긍정 키워드 pos_word..

텍스트 Emoji(이모티콘) 제거하는 방법 1. dataframe의 예시를 만들어 test 해보았습니다. # 기본 데이터 from pandas import DataFrame raw_data = {'user_id': [1, 2, 3, 4], 'chat': ['apple😊😇', 'grape🧡💛💚💙💜', 'banana', 'cherry']} df = DataFrame(raw_data) 2. 이모티콘 제거 함수 생성 import emoji from tqdm import tqdm def remove_emoji(df): for i in tqdm(df.index): df.loc[i, 'chat'] = emoji.replace_emoji(df.loc[i, 'chat'], replace='') return df

pip install을 통해 psycopg2를 설치하는데 계속 오류가 발생한다. 오류 : command errores out with exit status 1 해결방법 - 현재 psycopg2 권장사항 : python 버전 3.6 ~ 3.11 방법1. 버전 확인 ( python, postgresql) python버전 확인 python --version 위 권장사항의 버전과 맞지 않는다면 업그레이드 또는 다운그레이드 진행 python -m pip install --upgrade pip 방법2. psycopg2-binary 설치 pip install psycopg2-binary

1. psycopg2 설치하기 2. 포스트그레 연결하기 1. psycopg2 설치하기 pip install psycopg2 위 명령어로 설치가 안되신다면 아래 링크로 들어와주세요 ! https://armmy.tistory.com/38 psycopg2 설치하는 방법 pip install을 통해 psycopg2를 설치하는데 계속 오류가 발생한다. 오류 : command errores out with exit status 1 해결방법 - 현재 psycopg2 권장사항 : python 버전 3.6 ~ 3.11 방법1. 버전 확인 ( python, postgresql) python버 armmy.tistory.com 2. 포스트그레 연결하기 import pandas as pd import psycopg2 as pg..

1. Oracle 홈페이지에서 instant client 다운로드하기 2. cmd 창에서 cx_oracle install 하기 3. 주피터 노트북에서 cx_oracle import 하여 연결하기 * 주피터 노트북에서 바로 오라클을 연결하여 데이터를 추출하고 싶어 아래 방법을 사용하였습니다. 1. Oracle 홈페이지에서 instant client 다운로드하기 저는 Windows 환경이라 아래 노란색 체크되어 있는 것으로 다운로드하였어요! 본인 환경에 맞는 instant client 설치하시면 될 거 같아요. https://www.oracle.com/database/technologies/instant-client/downloads.html Oracle Instant Client Downloads We’r..

정의 다양한 독립변수들을 가지고 종속변수를 예측하는 것이다. 변수들간의 상관관계를 통해 종속변수의 값이 예측된다. 방법1. 데이터 세트 분리하여 모델 적용 가지고 있는 데이터를 모두 사용해서 다중선형회귀 모델을 만들 수도 있지만, 우리는 실제로 생성한 모델이 잘 예측하는지 테스트를 해보기 위해 학습(train) 데이터와 시험(test) 데이터를 분리 데이터 세트 분리는 sklearn에서 train_test_split을 통해 손쉽게 할 수 있다. 아래와 같이 8:2 정도의 비율로 나눠보자. 학습데이터인 train데이터를 가지고 모델을 생성 키에 대한 6개의 항목값을 넣어주면 키가 몇인지 예측해주는 것 - 여기에서 6개의 항목값은 위 x값에 넣어준 항목! x 시험 데이터 x_test를 넣어 예측한 y 값들을..