전체 글39 파이썬으로 데이터 분석하기(EDA -Exploratory Data Analysis/데이터 시각화/그래프 만들기/csv 파일/공공데이터) 데이터를 기계학습에 사용하기 위해 전처리하고 데이터에서 통찰을 얻기 위한 데이터 시각화 및 분석하는 글입니다. 구글 코랩에서 작성하였고 파이썬을 사용합니다. 사용한 데이터는 공공 데이터 포털의 건강검진 데이터 (링크) 이고 csv 파일 입니다. 만약 csv 형식의 다른 데이터를 사용하시기 원하신다면 아래의 코드에서 변수명을 적절히 수정하시면 될 것 같습니다. 기본 설정 모듈 설치 필수 모듈 불러오기 koreanize-matplotlib 설치 !pip install koreanize-matplotlib python, sklearn, numpy 등 모듈 불러오기 # 파이썬 ≥3.5 import sys assert sys.version_info >= (3, 5) # 사이킷런 ≥0.20 import sklear.. 2023. 12. 30. nerfstudio web viewer 빈 화면만 나오는 문제 해결방법 ( nerfstudio / Mixed Content Policy / NeRF / nerfstudio web viwer ) nerfstudio web viewer에 빈 화면만 나오는 문제 브라우저에서 nerfstudio web viewer에 접속하면 빈 화면만 나오고 렌더결과가 나오지 않는 상황이 있었습니다. (서버와 연결되지 않음) 원인 - Mixed Content Policy 문제 Mixed Content Policy 문제가 원인이며 SSL 보안 인증서가 적용된 사이트 본문에 HTTP:// 를 통해 불러오는 이미지, 오디오, 비디오, 스트리밍, 첨부파일 등을 불러오는 경우를 말합니다. nerfstudio web viewer는 SSL 보안 인증서가 적용된 사이트이고 server 컴퓨터는 SSL 인증서가 적용이 안되어 있기 때문에 불러오는 데이터가 Mixed Content Policy 문제를 일으킨 것입니다. 관련 글 : 브.. 2023. 8. 14. 2D 이미지로 3D 만들기 - Instant NGP 애플리케이션 사용방법 설명(NeRF/Instant NeRF/딥러닝/인공지능/Nvidia) Instant NGP(Inastan Neural Gaphics Primitives)는 2D 이미지를 입력하면 3D로 변환해 주는 딥러닝 모델인 NeRF를 발전시킨 모델 중 하나입니다. original NeRF 모델 보다 학습 시간이 짧으면서 고품질로 3차원 재구성 결과를 얻을 수 있습니다. 또한 사용하기 편한 애플리케이션을 깃허브에 공개해 두었습니다. 이 글에서는 instant-ngp 깃허브에 공개된 애플리케이션 사용 방법에 대해 설명합니다. instant-ngp 깃허브나 코드, 유튜브의 정보나 직접 확인해 본 내용들을 정리했습니다. Instant Neural Gaphics Primitives 애플리케이션 설명 neural graphics primitives를 사용하여 neural radiance fie.. 2023. 8. 13. 인공지능 자동 음성 인식 모델 만들기(파이썬/딥러닝/허깅페이스/Wav2vec /STT/ASR ) 자동 음성 인식(Automatic Speech Recognition:ASR), 음성을 텍스트로 변환(Speech-To-Text:STT) 작업에서 좋은 성능을 보이고 있는 Transformer 기반 음성 모델인 Wac2Vec을 학습 시켜 음성 인식 모델을 구축하는 방법을 공부했습니다. Fine-tuning Wav2Vec2 for English ASR with 🤗 Transformers Fine-tuning Wav2Vec2 for English ASR with Transformers를 한국어로 번역하고 공부한 notebook입니다. (Learning curve plot 추가) Wav2vec 이란? Wav2Vec2는 자동 음성 인식(ASR)을 위해 사전 훈련된 모델입니다. September 2020에 Alex.. 2022. 10. 30. 구름 AI 자연어 처리 전문가 양성 과정 후기 (구름 Goorm / 네이버 부스트캠프 AI Tech / 엘리스 AI 트랙 지원 후기 ) 여러 인공지능 부트 캠프에 지원하고 선택한 과정을 적어봤습니다. 제가 지원할 당시에 구름 후기가 많이 없어서 고민을 많이 했었는데 혹시 고민 중이신 분들에게 도움이 되었으면 합니다~ 오복이 정보 저는 데이터 분석가로 취업하는 것이 목표입니다. 소프트웨어 학부생 때 인공지능과 데이터 분석에 관심을 가지게 되어 자대 AI 연구실에 공부와 프로젝트를 진행했습니다. 그리고 졸업하고 반년 정도 연구실에서 연구 보조원으로 일했습니다. AI/ 데이터 분석 분야에서 취업하여 일을 시작하고 싶었지만 그러기 위해서는 조금 더 공부해야겠다는 생각이 들었습니다. 대학원에 가는 방법도 있었지만 부트 캠프에 들어가면 짧은 시간 동안 공부에 집중해서 많은 발전을 할 수 있지 않을까라는 기대로 여러 부트 캠프들에 지원했습니다. 제가.. 2022. 3. 5. 활성화 함수(Activation fucntion)란? (역할/ 개념 / 종류 / 비교 / Sigmoid / tanh /ReLU/ 구현 ) 활성화 함수에 대해서 공부한 내용을 요약한 글입니다. 활성화 함수의 역할, 종류(Sigmoid. tanh, ReLU)를 공부하고 파이썬으로 구현, 시각화 했습니다. 활성화 함수 입력 신호의 총합을 출력 신호로 변환하는 함수를 일반적으로 활성화 함수라고 합니다. 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할입니다. 아래는 신경망 그림으로 가중치(w)가 달린 입력 신호(x)와 편향(b)의 총합을 계산하고 함수 f에 넣어 출력하는 흐름을 보여줍니다. 활성화 함수 역할 (비선형 함수여야 하는 이유) 신경망의 활성화 함수는 비선형 함수를 사용해야 합니다. 선형 함수란 출력이 입력의 상수 배만큼 변화는 함수(1개의 곧은 직선)이고 비선형 함수 선형이 아닌 함수로 직선 하나로는 그릴 수 없는 함수입니다. 신경.. 2022. 2. 25. [크롤링] IMDB 영화 리뷰 크롤링 하고 긍부정 라벨링하기(파이썬/ BeautifulSoup/requests/데이터 추출/실습) IMDB는 영화, TV 시리즈, 홈 비디오, 비디오 게임 및 온라인 스트리밍 콘텐츠와 관련 온라인 데이터베이스입니다. 여기서 수집하고 싶은 영화의 리뷰를 크롤링하고 CSV 형식으로 저장해봅니다. 크롤링하면서 리뷰와 함께 있는 평점을 통해 해당 리뷰를 긍정과 부정으로 라벨링 합니다. 해당 리뷰의 평점이 높다면 긍정으로 라벨링 하고 평점이 낮다면 부정으로 라벨링 합니다. 꼭 평점이 낮다고 부정적인 내용의 리뷰이고 평점이 높다고 긍정적인 내용의 리뷰는 아니지만 평점과 리뷰의 긍부정이 일치한다고 가정하고 임시적으로 라벨을 붙였습니다. 1. 필요한 패키지 불러오기 - requests, BeautifulSoup, urllib.parse, pandas requests : HTTP 요청을 위해 사용하는 파이썬 라이브러.. 2022. 2. 3. [크롤링] 네이버 영화 리뷰 크롤링하기(파이썬/python/web crawling/웹 크롤링/제목 리뷰 평점 수집하는 방법) 파이썬을 사용하여 네이버 영화의 네티즌 평점과 리뷰 크롤링하고 csv 파일로 저장해봅니다 1. 필요한 패키지 불러오기 - requests, BeautifulSoup, time, csv requests : HTTP 요청을 위해 사용하는 파이썬 라이브러리 BeautifulSoup : 웹 사이트에서 데이터를 추출하는 웹 스크래핑 라이브러리 time : 시간 데이터 처리 모듈 csv : CSV형식의 데이터를 읽고 쓰는 모듈 import requests from bs4 import BeautifulSoup import time import csv 2. soup 객체 만들기 네이버 영화 리뷰 웹 페이지 구성 확인하기 데이터를 추출할 웹 페이지가 어떻게 구성되어 있는지 확인합니다. 아래의 네이버 영화에서는 네티즌의 .. 2022. 2. 1. [프로그래머스] 기능 개발 문제 풀이 (파이썬/ 큐) 문제 설명 프로그래머스 팀에서는 기능 개선 작업을 수행 중입니다. 각 기능은 진도가 100% 일 때 서비스에 반영할 수 있습니다. 또, 각 기능의 개발속도는 모두 다르기 때문에 뒤에 있는 기능이 앞에 있는 기능보다 먼저 개발될 수 있고, 이때 뒤에 있는 기능은 앞에 있는 기능이 배포될 때 함께 배포됩니다. 먼저 배포되어야 하는 순서대로 작업의 진도가 적힌 정수 배열 progresses와 각 작업의 개발 속도가 적힌 정수 배열 speeds가 주어질 때 각 배포마다 몇 개의 기능이 배포되는지를 return 하도록 solution 함수를 완성하세요. 제한 사항 작업의 개수(progresses, speeds배열의 길이)는 100개 이하입니다. 작업 진도는 100 미만의 자연수입니다. 작업 속도는 100 이하의 .. 2022. 1. 25. 9 Least Squares Problem 소개(Least Squares/ 내적/벡터의 길이/단위 벡터/ 직교벡터) AI 기술 자연어 처리 전문가 양성 과정 3기 비슷한 강의 : 인공지능을 위한 선형대수 를 바탕으로 공부한 내용을 정리한 포스팅입니다. Least Squares Problem에 대한 소개와 함께 앞으로 Least Squares를 배우는데 필요한 개념들을 배우기 벡터와 관련된 이 개념들은 선형대수에 있어 중요한 개념이니 잘 알아 두기 키워드 내적(Inner Product, Dot Product) 벡터의 길이(Vector Norm) 단위 벡터(Unit Vector) 직교 벡터(Orthogonal Vectors) Over determinded Linear Systems 방정식의 개수 가 미지수의 개수보다 많은 선형 방정식을 Over determinded Linear Systems라고 합니다. 결정해야 하는 변.. 2022. 1. 21. 8 전사함수와 일대일함수 (Onto, One-to-one) AI 기술 자연어 처리 전문가 양성 과정 3기 강의 인공지능을 위한 선형대수 를 공부하고 요약한 포스팅입니다. Surjective) 일대일 함수(One-to-one, Injective) Neural networks에서 전사 함수와 일대일 함수 응용 정의역(Domain) : 함수의 입력 변수의 집합 , x가 가능한 전체 집합 공역(Co-domain) : 함수의 출력으로 가능한 집합, y가 가능한 전체 집합 상(image) : 어떤 함수에 대한 정의역의 원소(들) 에 대응하는 공역의 원소(들) 치역(range) : 모든 출력값의 집합, 모든 상의 집합 {3,5,7,9} , 선형 변환에서 나오는 두 가지 개념 ONTO (전사 함수) 전사 함수란 공역과 치역이 같은 경우를 의미합니다. 공역은 치역의 부분 집합인.. 2022. 1. 20. 7 선형 변환 with Neural Network(Linear Transformation with Neural Network) Goorm : AI 기술 자연어 처리 전문가 양성 과정 3기 강의 인공지능을 위한 선형대수 를 바탕으로 공부한 내용을 요약한 포스팅입니다. 선형 변환이 실제 딥 러닝(Deep Learning)이 기반을 두는 신경망(Neural Networks)에서는 어떻게 작용하는지 알아보기 선형 변환은 Neural Networks에서 fully connected layers(linear layer)의 기본적인 형태 왼쪽 그림은 Neural Networks의 한 레이어가 있을 때 시각화한 것 (2차원에서 2차원으로 선형 변환되는 레이어가 있고 bias는 없을 때) 이 레이어를 통과하면 T [1,0] = [2,3]과 T [0, 1] = [1,4]라는 변환 = Ax 선형 변환 (A는 계수 집합 행렬) standard bas.. 2022. 1. 19. 이전 1 2 3 4 다음 728x90 반응형
