error
-
Pytorch로 학습을 하다가 OSError: Truncated File Read 라는 에러를 마주했다. 이 에러는 Pillow로 손상된 이미지를 읽었을 때 발생한다. 아마 현재 코드가 pillow를 쓰고 있을 것이다. 데이터가 너무 많아서 뭐가 문제인지 몰라 이미지를 하나하나 다 읽어봐야 했다. 데이터가 몇십, 몇백만장 된다면 ray나 multiprocessing을 추천한다. 이미지를 다 읽어보고 이상한 데이터를 찾아내 이미지를 열어보니 아래와 같이 손상이 된 이미지였다. 역시 무작정 데이터셋을 신뢰하는건 나의 삽질에 큰 도움이 된다. 아래 함수를 잘 적용하면 손상된 이미지를 찾는데에 도움이 될 것이다. 이미지 경로를 glob으로 죄다 긁어서 함수에 넣어주면 된다. def truncated_check(..
OSError: Truncated File ReadPytorch로 학습을 하다가 OSError: Truncated File Read 라는 에러를 마주했다. 이 에러는 Pillow로 손상된 이미지를 읽었을 때 발생한다. 아마 현재 코드가 pillow를 쓰고 있을 것이다. 데이터가 너무 많아서 뭐가 문제인지 몰라 이미지를 하나하나 다 읽어봐야 했다. 데이터가 몇십, 몇백만장 된다면 ray나 multiprocessing을 추천한다. 이미지를 다 읽어보고 이상한 데이터를 찾아내 이미지를 열어보니 아래와 같이 손상이 된 이미지였다. 역시 무작정 데이터셋을 신뢰하는건 나의 삽질에 큰 도움이 된다. 아래 함수를 잘 적용하면 손상된 이미지를 찾는데에 도움이 될 것이다. 이미지 경로를 glob으로 죄다 긁어서 함수에 넣어주면 된다. def truncated_check(..
2023.12.06 -
현재 DISPLAY가 되지 않아서 cv2.imshow가 작동할 수 없다는 에러이다. 원격 서버 display가 되지 않는 환경이라면 display가 되게 세팅하거나 cv2.imshow를 사용하지 않는 것이 좋다. 원격 서버에서 GUI를 띄우는 방법은 https://beelinekim.tistory.com/15 글을 참고할 수 있다. reinstall 하면 해결될 수도 있다는 글도 있었지만 나 같은 경우에는 해결되지 않았다. 혹시 해결될 수도 있어 첨부한다. reinstall 해결방법1 pip uninstall opencv-python pip install opencv-python reinstall 해결방법2 pip uninstall opencv-python pip install opencv-python-..
qt.qpa.xcb: could not connect to display :0qt.qpa.plugin: Could not load the Qt platform plugin "xcb" ...현재 DISPLAY가 되지 않아서 cv2.imshow가 작동할 수 없다는 에러이다. 원격 서버 display가 되지 않는 환경이라면 display가 되게 세팅하거나 cv2.imshow를 사용하지 않는 것이 좋다. 원격 서버에서 GUI를 띄우는 방법은 https://beelinekim.tistory.com/15 글을 참고할 수 있다. reinstall 하면 해결될 수도 있다는 글도 있었지만 나 같은 경우에는 해결되지 않았다. 혹시 해결될 수도 있어 첨부한다. reinstall 해결방법1 pip uninstall opencv-python pip install opencv-python reinstall 해결방법2 pip uninstall opencv-python pip install opencv-python-..
2023.10.04 -
켜진 프로세스가 너무 많아서 프로세스를 더 생성할 수 없다는 의미로, /etc/security/limits.conf 에서 max user processes를 늘리거나, 현재 사용중인 프로세스를 종료하는 두 가지 방법이 있다. max user processes를 늘리면 재부팅을 해야 적용되므로, 서버를 사용중인 나에게는 적합하지 않아 사용중인 프로세스를 종료하는 방법을 선택했다. [ps -ef | grep username] 을 입력하면 그 유저가 현재 사용중인 프로세스 목록이 나온다. ps -ef | grep username [sudo kill -9 프로세스번호] 명령어로 현재 사용중인 프로세스를 줄여주면 에러가 나지 않게 된다. sudo kill -9 프로세스번호 도움이 되셨다면 아무 광고나 클릭 한 번..
리눅스 resource temporarily unavailable켜진 프로세스가 너무 많아서 프로세스를 더 생성할 수 없다는 의미로, /etc/security/limits.conf 에서 max user processes를 늘리거나, 현재 사용중인 프로세스를 종료하는 두 가지 방법이 있다. max user processes를 늘리면 재부팅을 해야 적용되므로, 서버를 사용중인 나에게는 적합하지 않아 사용중인 프로세스를 종료하는 방법을 선택했다. [ps -ef | grep username] 을 입력하면 그 유저가 현재 사용중인 프로세스 목록이 나온다. ps -ef | grep username [sudo kill -9 프로세스번호] 명령어로 현재 사용중인 프로세스를 줄여주면 에러가 나지 않게 된다. sudo kill -9 프로세스번호 도움이 되셨다면 아무 광고나 클릭 한 번..
2023.04.17