vertexai 1.43.0 Gemini API를 사용하여 코드상에서 응답을 받을 수 있는 예제입니다. 결제계정 연결은 구글 vertexai를 참고하시면 좋을 것 같습니다. 먼저 1개씩 처리하는 코드입니다.import osfrom vertexai.preview.generative_models import GenerativeModel, GenerationConfigfrom vertexai import generative_modelsdef Gemini_call(): os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "******" gemini_vision = GenerativeModel("gemini-1.5-pro") gemini_config = Genera..

파이썬에서 anaconda3도 많이 사용하지만 anaconda3 만을 사용해서 오픈소스를 재현하기에는 돌발상황이 많이 발생합니다. 예를 들어, pip install -r requirements.txt 로 install을 한방에 할 수 있습니다. 하지만 이 경우에 생길 돌발상황들은 requirements.txt 관리를 하지 않아 패키지간 confilct가 생겨 설치가 되지 않음. 파이썬 버전과 패키지간 호환이 되지 않아 설치가 되지 않음. CUDA, cudnn 별도 설치 다른 오픈소스를 사용해보고 싶을 경우 CUDA, cudnn path를 계속 바꿔줘야함 등등 예상치 못한 설치 실패 상황이 다수 발생할 수 있음 이런 수 많은 삽질과 돌발 상황들이 많이 있습니다. 그렇기 때문에 요즘은 오픈소스에서 재현을 편..

Apple Silicon 칩에서 pytorch GPU 가속이 가능하게 되었습니다. pytorch 1.12 버전부터 지원되며, 프리뷰 버전이 22년 6월 즈음에 나온 것 같습니다. 저는 M2 맥북에어로 진행했습니다. 1. miniconda3을 다운로드 받습니다. 아래 그림에서 “Miniconda3 macOS Apple M1 64-bit pkg”를 선택하시면 됩니다. 터미널을 띄우고 conda를 쳐보시면 설치가 되었음을 확인할 수 있습니다. 2. 필요한 여러 패키지 설치 (저는 python 버전을 3.10으로 정하였습니다.) conda create -n torch python==3.10 conda activate torch conda update --all conda install pytorch==1.12...

Unsupervised Learning (Representation Learning의 한 분야) Unlabeled dataset만을 가지고 네트워크 모델을 학습하는 방법, 비슷한 특징을 가진 데이터들을 clustering 하는 방식 Self-supervised learning (Unsupervised Learning의 한 분야) labeled 데이터를 수집하려면 많은 시간과 비용이 발생한다. 딥러닝 모델은 모델 사이즈에 따라 성능이 좋아지지만 모델이 커질수록 이상적인 학습데이터량도 많아지게 된다. 클라우드 워커처럼 labeled 데이터를 수집하기 위해 노력하지만 여력이 충분하지 않은 대다수의 기업 또는 labeling이 어렵거나 보안을 이유로 수집이 어려운 기업들은 데이터 수집이 쉽지 않다. 또한 사람이..

mmpretrain 프레임워크는 리뉴얼 되면서 mmclassification과 mmSelfsUp (self-supervised learning) 이 통합되었다. task마다 docker를 만들어야 되다 보니 두 프레임워크가 합쳐진건 환영할만한 일이다.👏 아래 설명은 mmpretrain tag 1.0.0rc7 버전이 기준이며, mmpretrain도 mmclassification 사용 방법과 크게 다르진 않다. config를 구성하고 학습하면 되는데, 중요한 가지는 1) dataset 구성 2) config 구성 이 정도인 것 같다. 예시로 ImageNet-1k를 resnet50으로 학습해보는 과정을 진행해보겠다. 사람마다 다를 것 같긴 한데 나는 mmpretrain/model_config 라는 나의 con..

mmdeploy 환경 세팅 😀 사전 지식 - mmpretrain은 mmclassification의 최신 framework 이름이다. - 경량화 툴킷 정리해본 글 >> https://beelinekim.tistory.com/96 1. Docker pull을 받는다. 이 docker에는 CUDA, CUDNN, python, torch, tensorRT, ONNX, OPenVINO, ncnn이 다 세팅되어 있다. https://github.com/open-mmlab/mmdeploy/blob/main/docs/en/01-how-to-build/build_from_docker.md docker pull openmmlab/mmdeploy:ubuntu20.04-cuda11.3-mmdeploy docker 세팅 환경은..