파이썬에서 Dictionary는 중요한 자료형 중 하나이다. 사실, 생각보다 학부 과제 정도를 해결할 때는 그렇게 많이 쓰진 않았었다. 그런데, 회사나 대학원에서는 생각보다 쓰임이 다방면으로 다양한 친구이다. What is the Dictionary? Dictionary는 말 그대로 사전과 같은 형식으로 떠올리면 된다. 흔히들 우리가 사전을 찾을 때, 사과를 찾으면 사과에 대한 뜻이 있듯이 사과가 Key이고 사과에 대한 뜻이 Value로 간주되는 것이다. 따라서, 기본 구성은 다음과 같다. {Key1: Value1, Key2: Value2, Key3: Value3, ...} Basic Dictionary Dictionary에 대한 기초적인 다루는 방법은 다음 글에 잘 정리되어 있다. https://wik..

Before the Start스탠포드 강좌는 딥러닝을 배우는 모든 이들의 바이블이 아닐까?Andrew Ng(앤드류 응) 교수님 강좌를 듣고 나서 CS224N과 CS224W존재를 알게 되었다.그전까지는 인터넷을 돌아다니며 여러 자료를 통해 공부를 하게 되었는데,가장 어느정도 깊이까지 다루는 곳은 아무래도 대학교 강좌들이다. 가장 간편하게 보았던 것은 짧게 개념정리하기 좋은 허민석 님의 유튜브였고,그 다음으로는 강필성 교수님 강의였다. (물론,, 이리저리 해서 이건 다 보지 못했다...ㅎ)아무튼 현재 나에게 자연어처리는 이래저래 내가 연구하는 부분들만 공부하다 보니 전체적 흐름이 조금 덜 정리되어 있던 상태이다.그러다, 현재 빠르게 봐야하는 일이 좀 생겨서 급하게 자연어처리 입문 부분을 다시 정리하고자 한다..

딥러닝을 공부하다 보면 여러 형식의 데이터를 다루게 된다. xlsx, csv, txt 등등 .. 오늘은 .txt파일 읽기에 대해 알아보도록 하겠다. 내가 가장 평소에 자주 사용하는 방법은 아래와 같다. f = open("temp.txt", 'r') while True: line = f.readline() if not line: break 그런데, 여러 코드들을 보다보면 다양한 방식으로 .txt파일을 읽을 수 있다는 것을 알 수 있다. 과연 그들의 차이는 무엇일까? readline() : 파일의 한 줄씩 읽어 문자열로 반환해주는 함수이다. readlines() : 파일 내용 전체를 가져와 리스트로 반환해주는 함수이다. 예를 들어, 파일 내용이 10줄이라고 하면 크기가 10인 리스트가 반환되는 것이다. re..

Trasformer를 사용 중에 마주한 뜬금 없는 Internet connection 오류 "Connection error, and we cannot find the requested files in the cached path." ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on. 다음 Github 답변을 통해 해결하였다.https://github.com/huggingface/transformers/issues/10067 "Connection error, and we cannot find..

Anaconda의 가상 환경을 사용하게 되면, 보통 각 환경 별로 다른 python 버전을 사용하는 경우가 많다. 또한, 환경 별로 python 버전을 변경하고 싶을 때도 발생하게 된다. 가상환경 내에서 python 버전을 변경하는 방법을 정리하고자 한다. 이 방법은 보통 가상 환경을 만들면서 python 버전을 정한 경우 즉, conda install로 python을 설치한 경우에 해당한다. 1. 변경하고 싶은 가상 환경을 실행한다. conda activate "가상환경 이름" 2. 현재 환경의 python version을 확인한다. python -V 3. 현재 사용 가능한 python list를 확인한다. conda search python 4. 변경하고자 하는 python으로 변경한다. conda ..

당연하게도, 연구를 할 때 가장많이 쓰는 것 중 하나는 바로 Git clone이다. 그래야, 다른 연구자들의 코드를 내 환경에 copy해 직접 돌려보고, 이를 기반으로 새로운 실험도 할 수 있기 때문이다. 오늘의 오류는 이 git clone 과정에서 발생하는 오류이다. 평소와같이 git clone을 통해 repository를 복사했다. 복사 후 zip파일이 있어 unzip을 통해 압축을 풀려고 하는데 오류가 발생했다. file zip파일이름 명령어를 통해 zip파일 내용을 살펴보니 원래 있어야 할 파일들이 전부 다운로드 되지 못한 것을 알 수 있었다. 원인을 찾아보니 zip파일의 내용이 대용량이기 때문이었다. (50MB 이상 warning, 100MB 이상 Erorr 발생) 해결 방법은 고로 간단하다. ..

[이전 글] 2024.01.24 - [Lectures/CS224W] - Introduction 그래프가 왜 중요한지는 그래프를 공부하기 시작한 사람들이라면 알 것이라 생각되기에 생략하겠다. 그래프의 종류는 정말 다양하다. Graph in Deep Learning 이러한 그래프는 구조적으로 다른 데이터와 다른 형태적 특징을 가지기에 가장 흔히들 생각하는 이미지와는 또 다르게 딥러닝 적용 방식을 생각해야한다. 이를, 그림으로 표현하면 다음과 같다. 그래프를 input으로 주면 graph convolutions와 같은 그래프 모델을 통해 graph의 embedding을 딥러닝의 과정에 걸처 학습한다. 이후 prediction과정에서 원하는 task에 맞게 모델을 학습시키면 된다. 과거에는 모델이 잘 학습 할 ..

딥러닝을 배우면서, 알게되는 Stanford university의 위대함! 비록 최신 강좌는 아니지만, 지금 보는데 아무런 불편함이 없고 기본 개념을 익히기에 충분히 아주 좋은 강좌를 유튜브에 무료로 제공하는 학교이다. 나 같은 경우도, Andrew Ng(앤드류 응) 교수님에 대해 알게되면서 Stanford의 CS코스에 대해서 알게 되었다. 그렇기에, 딥러닝을 더 먼저 배우고 싶은 분들은, 앤드류 응 교수님 강좌를 적극 추천한다. 영어로 되어있는게 문제라면, 앤드류 응 교수님 강좌는 네이버 부스트코스에서 한글 자막을 제공하고 있으니 참고하면 좋겠다. (단, 4단계까지만 자막을 제공하는데 유튜브로 확인해보면 이후 강좌들도 존재한다. 잊지말고, 해당 강좌는 유튜브로 공부하길 바란다.) https://www...