다시 이음

정적 웹 vs 동적 웹 정적 웹 정적 웹 페이지는 언제 접속해도 같은 응답을 보내줍니다. 일단 HTML, CSS, JS 파일 등이 서버에 업로드되면 개발자가 수정하기 전까지 매번 같은 파일을 브라우저에 건네줍니다. 즉, 웹 서버가 정적 웹 페이지에 대한 요청을 받은 경우 서버는 추가적인 처리 과정 없이 클라이언트에게 응답을 보냅니다. 예를 들어 회사나 개인의 소개 페이지가 정적 웹 페이지의 좋은 예시입니다. 동적 웹 웹 서버가 동적 웹 페이지에 대한 요청을 받은 경우 서버는 추가적인 처리 과정 이후 클라이언트에게 응답을 보냅니다. 동적 페이지는 방문자와 상호작용하기 때문에 페이지 내용은 그때그때 다릅니다. 댓글, 날씨, 주가 정보 등과 같이 정보 변경이 잦은 곳에 많이 사용됩니다. 예를 들어 다음 뉴스 ..

안녕하세요. 오늘은 간단하게 csv파일을 파이썬에서 읽을 때 발생하는 오류에 대한 해결방법을 올려보려고 합니다. No such file of directory. 이 문구가 나왔다면 입력하신 경로에 불러오려는 파일이 없다는 이야기입니다. 다들 어,,, 경로 복사해서 제대로 넣었는데 안되서 들어온 건데.. 라고 생각하실 거 같아요. import csv # csv 읽기모드로 불러오기 f = open('경로/파일이름', 'r', encoding='utf-8') import os path = os.path.join(os.path.dirname(__file__), '파일이름') f = open(path, 'r', encoding='utf-8') # 오류 해결 -- 메소드를 통하여 불러올 파일이름의 경로를 파악했기때..

안녕하세요. 이번 섹션들어오면서 이론이 많지가 않고 실습위주라 블로깅 하기가 쉽지 않네요. 간단하게만 이론을 보고 그 외에는 Trouble shooting을 하려고 합니다. SQL(Structured Query Language) SQL 이란? SQL 이란 데이터베이스 용 프로그래밍 언어입니다. 한 마디로 데이터베이스에 쿼리(질의문)를 보내 원하는 데이터만을 가져올 수 있게 해줍니다. 하나의 언어인 SQL 혹은 Structured Query Language 은 데이터베이스 언어의 기준으로 주로 관계형 데이터베이스(RDB)에서 사용이 됩니다. 예를 들어 MySQL, Oracle, SQLite, PostgreSQL 등 다양한 데이터베이스에서 볼 수 있습니다. 위의 분류는 데이터베이스의 종류이며 각각 장단점을 ..

안녕하세요. 오늘은 데이터 엔지니어링의 기초인 터미널, CLI, Git을 사용하는 방법을 알아보려고 합니다. 이번 한 달은 이론이 아닌 실습이나 Trouble이 생긴 사례를 공유하는 걸 위주로 해야할 거 같아요. 그래도 이해를 위해 짧은 설명을 하면서 진행을 해볼게요. CLI 란? 명령 줄 인터페이스(Command-line interface, CLI, 커맨드 라인 인터페이스) 또는 명령어 인터페이스는 가상 터미널 또는 터미널을 통해 사용자와 컴퓨터가 상호 작용하는 방식을 뜻합니다. 즉, 작업 명령은 사용자가 컴퓨터 키보드 등을 통해 문자열의 형태로 입력하며, 컴퓨터로부터의 출력 역시 문자열의 형태로 주어집니다. 콘솔, 터미널 그리고 쉘 콘솔 서버의 로컬 장치에서 직접 명령어를 작성할 수 있는 입출력 장치..

안녕하세요. 간만에 돌아왔습니다. 머신러닝에 대해서 많을 걸 배운 1달이었는데 아직도 모자른게 한참 많은 거 같네요. 그래서 조금 더 알아보는 시간을 가지면 좋을 것 같아서 몇가지 포인트를 더 알아보려고 해요. 1. Ridge / Lasso / Elastic Net 2. 교차검증하는 이유 3. Stacked Ensemble 1. Ridge / Lasso / Elastic Net 릿지 회귀에 대해서는 Ridge 회귀 포스팅이 있음으로 그 포스팅을 확인하시면 좋을 것 같습니다. 그래도 설명을 조금 해볼게요. 위의 3가지의 회귀를 사용하는 이유는 과적합을 줄이기 위함입니다. 일반 선형회귀와 다른 점은 페널티(Lambda)값을 주어서 이상치(outlier) 때문에 전체적인 오류값이 높아지는 것을 방지 할 수 있..

Interpreting Machine Learning Model ( 머신러닝 모델 해석하기 ) 안녕하세요. 오늘은 지금까지 배웠던 머신러닝 모델을 해석할 수 있는 방법에 대해서 다루려고 합니다. Partial Dependence Plots(PDP)와 Shap value를 통해서 우리는 모델을 해석할 수 있습니다. 이러한 해석과정을 거치는 이유는 모델의 결정 과정을 이해하게 도와주며, 블랙박스라고도 하는 모델안의 결정과정을 해석할 수 없는 경우 신뢰도가 낮아진다고도 생각할 수 있습니다. Partial Dependence Plots(PDP) Partial Dependence Plots(PDP)(부분의존도 그래프) 란, 예측모델을 만들었을 때, 어떤 특성(feature)이 예측모델의 타겟변수(target va..

Feature Importances & Boosting 안녕하세요. 오늘은 결정트리와 랜덤포레스트에 대해서 공부했을 때 빠지지 않고 등장했던 특성중요도(Feature importance)의 다른 방법들을 알아볼 예정입니다. 또한, 트리 앙상블 모델중에 하나인 Boosting ( Ada boost, Gradient boost ) 에 대해서도 알아보겠습니다. Feature Importances 모델 기반 변수 선택(Model based method) 우리가 회귀모델에 대해서 배울때( 이전 포스트인 https://thogood212.tistory.com/21?category=993583 참조해주세요. ) SelectKBest 라는 메소드를 공부했습니다. SelectKBest 메소드는 단일 변수 선택법 으로 특..

Data Wrangling 안녕하세요. 오늘은~ 데이터 랭글링에 대해서 살펴보려 합니다. 사실 데이터 랭글링의 예시, 활용방법은 이전 포스팅에서 정리한 EDA 과정과 크게 차이는 없습니다. 그렇기 때문에 기존 'EDA의 여러가지 방법' 포스트도 같이 참고 하시면 좋을 거 같습니다. 궁금하신 분은 아래 링크를 참고하세요! https://thogood212.tistory.com/29 EDA의 여러가지 방법 EDA( Exploratory Data Analysis ) 탐색적 데이터 분석 안녕하세요. 오늘은 지금까지 활용해왔던 EDA 전처리 방법에 대해서 알아보려고 합니다. 간단히 EDA의 정의부터 알아볼게요. EDA란? 수집한 데이터가 thogood212.tistory.com Data Wrangling 데이터 ..

ML problems 안녕하세요. 오늘은 지금까지 배웠던 문제 해결방법이 아닌 그에 앞서 필요한 과정에 대해서 알아보려고 합니다. 이번 포스팅에서는 지도학습(Supervised Learning)에서 문제를 파악하고 타겟(종속변수)을 확인하는 방법을 보겠습니다. 1. 예측할 타겟 정하기, 문제 확인하기 - 이산형, 순서형, 범주형 타겟 특성도 회귀문제 또는 다중클래스분류 문제로도 볼 수 있습니다. - 회귀, 다중클래스분류 문제들도 이진분류 문제로 바꿀 수 있습니다. 어제 포스팅했던 EDA와 겹치는 부분이 상당수 있으니 복습하는 느낌으로 나열해볼게요. 칼럼명 정리 결측치 확인 타겟 예측하기 (데이터타입, 데이터분포 확인) 데이터 전처리 ( 인코딩, 중복값 처리 , value 수정 등등) Tip) 위에 다룬 ..

EDA( Exploratory Data Analysis ) 탐색적 데이터 분석 안녕하세요. 오늘은 지금까지 활용해왔던 EDA 전처리 방법에 대해서 알아보려고 합니다. 간단히 EDA의 정의부터 알아볼게요. EDA란? 수집한 데이터가 들어왔을 때, 이를 다양한 각도에서 관찰하고 이해하는 과정입니다. 한마디로 데이터를 분석하기 전에 그래프나 통계적인 방법으로 자료를 직관적으로 바라보는 과정입니다. EDA 과정 여기서 말하는 과정이란 개인별로 혹은 데이터별로 편차가 있습니다. 저의 경우 제가 활용해보거나 확인해본 것을 정리해본 것으로 이것이 무조건 정답이 아닙니다. 1) 기초 정보 확인하기 - 데이터의 행,열의 개수 및 각 열의 데이터형태 파악 df.info() -데이터의 열의 이름 확인하기 # 컬럼명 확인 d..