Pytorch로 학습을 하다가 OSError: Truncated File Read 라는 에러를 마주했다.  이 에러는 Pillow로 손상된 이미지를 읽었을 때 발생한다. 아마 현재 코드가 pillow를 쓰고 있을 것이다.  데이터가 너무 많아서 뭐가 문제인지 몰라 이미지를 하나하나 다 읽어봐야 했다.  데이터가 몇십, 몇백만장 된다면 ray나 multiprocessing을 추천한다.  이미지를 다 읽어보고 이상한 데이터를 찾아내 이미지를 열어보니 아래와 같이 손상이 된 이미지였다. 역시 무작정 데이터셋을 신뢰하는건 나의 삽질에 큰 도움이 된다.    아래 함수를 잘 적용하면 손상된 이미지를 찾는데에 도움이 될 것이다. 이미지 경로를 glob으로 죄다 긁어서 함수에 넣어주면 된다. def truncated..

https://arxiv.org/pdf/2103.00020.pdf CLIP 모델은 contrastive representation learning을 4억여개의 이미지와 텍스트 쌍으로 사전학습을 진행한 모델이다. 배치는 32,768을 사용하였으며 배치가 클수록 의미가 가까운 이미지-텍스트와 의미가 먼 이미지-텍스트를 더 잘 학습할 수 있다고 한다. 이미지와 텍스트를 인코딩하여 contrastive learning을 통해 embedding space에서 벡터간의 거리를 계산하는 방식으로 같은 의미의 이미지-텍스트의 표현을 유사하게 하고, 다른 의미의 이미지-텍스트는 표현을 다르게 만들도록 유도한다. 사전 훈련 모델로 다양한 downstream task에 적용할 수 있다. 기존의 문제와 CLIP이 해결한 방법..

https://arxiv.org/pdf/2304.06790.pdf Segment-Anything 모델과 Stable Diffusion을 붙여 Inpaint Anything이라는 것을 만든 아이디어다. 모델을 붙이는 과정에서 segmentation mask를 조금 수정해주는 것 말고는 큰 작업이 없다. 요즘은 Large model을 붙이는 것 만으로도 논문을 쓰나보다. 모델을 직접 만들고 구조를 고치고 뚝딱뚝딱 하는 것에서 LLM 등장 이후 조금 패러다임이 옮겨가는 듯한 느낌이 든다. LLM 연구가 어려운 소상공인 입장에서는 조금 새로운 유형의 논문이었다. 아이디어라는 것은 정해진 것이 없으니 이런 생각도 충분히 아이디어가 될 수 있다고 생각한다. 그러나 정량적인 성능 측정이 어려운 것도 알겠지만 몇 개 ..

간단하게 요약하면 ResNet의 shortcut block에 ConvRNN을 붙여 사용하는 형태인 것 같습니다. 논문에서 말하는 시공간 정보라는 것이 조금 추상적인 표현이라 100% 와닿지는 않았습니다. 하지만 Feature visualization으로 기존 ResNet보다 더 많은 정보를 가진 feature를 얻을 수 있는 부분은 좋은 아이디어 같습니다. 시공간이라는 표현을 쓴 것은 sequence classification이 가능한 RNN을 적용해보기 위해 쓴 표현일까? 라는 생각이 들었습니다. abstract Resnet은 다양한 computer vision task에서 놀라운 성공을 이루었다. 하지만 shortcut connection 구조는 잠재적이고 보완적인 특징을 재탐색하는 능력을 제한한다...

평화롭던 반전세 거주 중 어느 날 HUG에서 나의 정신을 일깨우는 카톡이 왔다.나의 피와땀이 들어간 전세보증보험의 만료 문자였던 것이다. 당연히 난 가만히 있을 수 없었다.나는 서울에 사는 지방러..... 이 주거스트레스는 언제쯤 끝날까???  의식주 중에서 단 하나 해결하지 못했고 앞으로도 해결할 수 있을지 모르겠는 "주".....보이지 않지만 이것저것 해가면서 최종 목표(의식주 해결)에 가까워 지길 바라며!!!  전체 메시지는 아래와 같고, 나는 또 마음이 조급해졌다. 바로 준비를 시작했다. # 전체 메시지[주택도시보증공사HUG] [오후 1:00] [HUG] 전세보증금반환보증 유의사항 안내고객님께서 체결하신 전세계약의 계약기간이 만료 3개월 전입니다.1. 전세계약종료를 원할 경우는 계약기간만료 2개월..

토지임대부 분양주택 토지는 공공소유, 건물만 내가 소유하는 형태이다.공정률 90% 시점에 본청약을 진행하는 후분양제 형태이다.내 소유의 건물에 살지만, 토지는 빌리기 때문에 임대료를 매달 내야하는 주거 형태이다.토지임대부 분양주택은 건물만 분양가에 들어가기 때문에, 상대적으로 저렴하다.현행법상 5년 거주 후 건물을 팔고 이사를 가고자 할 때는 LH에 매각할 수 있다.매매가격 : 분양대금 + 1년만기 정기예금 이자율을 적용한 이자주택공급 확대를 목적으로 현행법을 개정하고자 2022년 12월 한 국회의원이 주택법 일부개정안을 발의했다. http://www.conslove.co.kr/news/articleView.html?idxno=76432 https://news.mtn.co.kr/news-detail/20..

Intro 10일 정도가 지나면 크로스핏을 시작한 지 만 5개월이 된다. 그 동안 수많은 동작의 자세를 배우고 수행했다. 하지만 아직까지 제대로 하지 못하는 자세 또한 있다. 손목 부상도 2번 정도 겪었기 때문에 크로스핏을 시작할 지 고민하는 분들에게 도움이 될 것이라 생각하며 글을 적는다. 나의 3n년 운동(생활체육, 스포츠) 경력은 프리다이빙 3개월, 스킨스쿠버 오픈워터, 서핑 초급(초보 아님), 스노우보드 초급, 맨몸 운동 깨작, 복싱 6개월, 헬스 깨작, 필라테스 6개월 정도이다. 그냥 이것저것 배우고 싶어서 돈주고 조금씩 배운정도와 턱걸이를 좋아한다라는 특징 정도를 가졌다. 2년간 퇴근할 때 걸어가면서 공원을 들려 턱걸이 40~50개를 하고 퇴근했었다. 헬스는 여러번 시도해보았지만 혼자 쇠질하고..

현재 DISPLAY가 되지 않아서 cv2.imshow가 작동할 수 없다는 에러이다. 원격 서버 display가 되지 않는 환경이라면 display가 되게 세팅하거나 cv2.imshow를 사용하지 않는 것이 좋다. 원격 서버에서 GUI를 띄우는 방법은 https://beelinekim.tistory.com/15 글을 참고할 수 있다. reinstall 하면 해결될 수도 있다는 글도 있었지만 나 같은 경우에는 해결되지 않았다. 혹시 해결될 수도 있어 첨부한다. reinstall 해결방법1 pip uninstall opencv-python pip install opencv-python reinstall 해결방법2 pip uninstall opencv-python pip install opencv-python-..