전체 글
멋지게 살고 싶다🐝 (이미지는 stable-diffusion으로 생성하였습니다.)
-
mmdeploy 환경 세팅 😀 사전 지식 - mmpretrain은 mmclassification의 최신 framework 이름이다. - 경량화 툴킷 정리해본 글 >> https://beelinekim.tistory.com/96 1. Docker pull을 받는다. 이 docker에는 CUDA, CUDNN, python, torch, tensorRT, ONNX, OPenVINO, ncnn이 다 세팅되어 있다. https://github.com/open-mmlab/mmdeploy/blob/main/docs/en/01-how-to-build/build_from_docker.md docker pull openmmlab/mmdeploy:ubuntu20.04-cuda11.3-mmdeploy docker 세팅 환경은..
mmdeploy에서 TensorRT int8 quantization 모델 변환해보기mmdeploy 환경 세팅 😀 사전 지식 - mmpretrain은 mmclassification의 최신 framework 이름이다. - 경량화 툴킷 정리해본 글 >> https://beelinekim.tistory.com/96 1. Docker pull을 받는다. 이 docker에는 CUDA, CUDNN, python, torch, tensorRT, ONNX, OPenVINO, ncnn이 다 세팅되어 있다. https://github.com/open-mmlab/mmdeploy/blob/main/docs/en/01-how-to-build/build_from_docker.md docker pull openmmlab/mmdeploy:ubuntu20.04-cuda11.3-mmdeploy docker 세팅 환경은..
2023.06.24 -
개념 정리 완벽히 알진 못하여 틀린 부분이 있을 수 있습니다. 틀린 부분이 있다면 말씀 부탁드립니다. 모델 최적화 및 가속 OPenVINO 인텔에서 제공하는 딥러닝 최적화 및 하드웨어 가속화 기능을 가진 툴킷 Intel CPU 아키텍처에 모델을 최적화시켜 인퍼런스 타임을 pytorch 대비 10배 가량 향상시켜 주는 모델 최적화 방법, 누군가 실험해 본 벤치마크상 인퍼런스 타임이 1/10 정도로 감소, 모델 용량은 그대로임. Intel CPU 인퍼런스를 하는 환경이라면 OPenVINO TensorRT Nvidia GPU를 사용하는 연산을 보조하기 위한 기술, 딥러닝 모델 추론 속도를 향상시키는 모델 최적화 엔진 Nvidia GPU에 모델을 최적화 시켜 인퍼런스 타임을 pytorch 대비 5~10배 향상 ..
모델 경량화, 가속화 관련 툴킷 및 PTQ 개념 정리개념 정리 완벽히 알진 못하여 틀린 부분이 있을 수 있습니다. 틀린 부분이 있다면 말씀 부탁드립니다. 모델 최적화 및 가속 OPenVINO 인텔에서 제공하는 딥러닝 최적화 및 하드웨어 가속화 기능을 가진 툴킷 Intel CPU 아키텍처에 모델을 최적화시켜 인퍼런스 타임을 pytorch 대비 10배 가량 향상시켜 주는 모델 최적화 방법, 누군가 실험해 본 벤치마크상 인퍼런스 타임이 1/10 정도로 감소, 모델 용량은 그대로임. Intel CPU 인퍼런스를 하는 환경이라면 OPenVINO TensorRT Nvidia GPU를 사용하는 연산을 보조하기 위한 기술, 딥러닝 모델 추론 속도를 향상시키는 모델 최적화 엔진 Nvidia GPU에 모델을 최적화 시켜 인퍼런스 타임을 pytorch 대비 5~10배 향상 ..
2023.06.24 -
청년도약계좌가 복잡하고 금리 계산이 어려워서, 가입을 많이 고민하시는 것 같습니다! 저 같은 경우에는 소득기준이 언제인지가 알기 어려워서 소득기준을 중심으로 정리 해보겠습니다. 가구소득의 경우 중위소득의 180% 이하여야 합니다. 중위소득은 소득이 적은 순부터 많은 순으로 100명을 나열하였을 때 50번째에 있는 소득에 해당합니다. 그리고 소득은 "세전"입니다. 가입기준은 총급여 7,500만원 이하 and 가구소득은 중위소득 180%이하이기 때문에 1인가구인 경우 중위소득 180%이하를 잘 살펴보실 필요가 있습니다. 소득기준년도는? "직전 과세기간의 소득이 확정되지 않은 기간에 소득을 확인한 경우 전전년도 소득으로 인정" 한다고 합니다. 과세기간의 소득이 확정되는 기간은 통상 7월경이라고 합니다. 따라서..
청년도약계좌 소득기준은? 세전세후?청년도약계좌가 복잡하고 금리 계산이 어려워서, 가입을 많이 고민하시는 것 같습니다! 저 같은 경우에는 소득기준이 언제인지가 알기 어려워서 소득기준을 중심으로 정리 해보겠습니다. 가구소득의 경우 중위소득의 180% 이하여야 합니다. 중위소득은 소득이 적은 순부터 많은 순으로 100명을 나열하였을 때 50번째에 있는 소득에 해당합니다. 그리고 소득은 "세전"입니다. 가입기준은 총급여 7,500만원 이하 and 가구소득은 중위소득 180%이하이기 때문에 1인가구인 경우 중위소득 180%이하를 잘 살펴보실 필요가 있습니다. 소득기준년도는? "직전 과세기간의 소득이 확정되지 않은 기간에 소득을 확인한 경우 전전년도 소득으로 인정" 한다고 합니다. 과세기간의 소득이 확정되는 기간은 통상 7월경이라고 합니다. 따라서..
2023.06.20 -
DON’T DECAY THE LEARNING RATE, INCREASE THE BATCH SIZE Learning rate를 줄이지 말고, Batch size를 늘려라. 보통 학습 중 learning rate를 감소시키는 것이 일반적이다. learning rate를 고정한 대신에 학습 중에 점점 batch size를 늘려 learning rate를 늘린 것과 같은 learning curve를 얻었다. SGD, SGD with momentum, Nesterov momentum, Adam optimizer에서 성공적이었던 실험이다. batch size를 늘리면 파라미터 업데이트가 적어 학습이 빠르다. 배치사이즈를 늘리는 만큼 learning rate를 높여 학습속도를 더 높일 수 있다. 마지막으로, 모멘텀 ..
[논문 읽기] Don't Decay the Learning Rate, Increase the Batch Size / LR을 줄이지 말고, BATCH SIZE를 늘려라DON’T DECAY THE LEARNING RATE, INCREASE THE BATCH SIZE Learning rate를 줄이지 말고, Batch size를 늘려라. 보통 학습 중 learning rate를 감소시키는 것이 일반적이다. learning rate를 고정한 대신에 학습 중에 점점 batch size를 늘려 learning rate를 늘린 것과 같은 learning curve를 얻었다. SGD, SGD with momentum, Nesterov momentum, Adam optimizer에서 성공적이었던 실험이다. batch size를 늘리면 파라미터 업데이트가 적어 학습이 빠르다. 배치사이즈를 늘리는 만큼 learning rate를 높여 학습속도를 더 높일 수 있다. 마지막으로, 모멘텀 ..
2023.06.18 -
작년 여름이후 선풍기를 씻겠다고 조립을 풀어서 다시 재조립 했지만 재조립 후에 소음이 너무 심해서 폐기 처분했다. 선풍기 조립 재조립이 어려운 일은 아닌데 왜 그렇게 됐는지 모르겠다. 이후 올해 여름부터 같이 지낼 선풍기를 찾았다. 일단 내가 원하는 선풍기 조건들을 나열해보면1. 깔끔하게 생겨 먹었으면2. 소음이 크지 않았으면3. 컴팩트 했으면 !! 여름 지나고나서 보관이 용이해야한다!!4. 무선 이 정도 였던 것 같다. 특히나 나는 남들이 잘 안쓰는 것을 쓰는 것을 좋아해서 (이상함) 진짜 열심히 찾은 결과 하나를 픽 했는데! 루메나 FAN PRIME 2 또는 FAN PRIME 3이었고, 리뷰를 굉장히 열심히 찾아봤다. FAN PRIME 2를 선택한 이유는FAN PRIME 3은 뭔가 전기차 같은 고주..
루메나 FAN PRIME 2 무선 선풍기 리뷰작년 여름이후 선풍기를 씻겠다고 조립을 풀어서 다시 재조립 했지만 재조립 후에 소음이 너무 심해서 폐기 처분했다. 선풍기 조립 재조립이 어려운 일은 아닌데 왜 그렇게 됐는지 모르겠다. 이후 올해 여름부터 같이 지낼 선풍기를 찾았다. 일단 내가 원하는 선풍기 조건들을 나열해보면1. 깔끔하게 생겨 먹었으면2. 소음이 크지 않았으면3. 컴팩트 했으면 !! 여름 지나고나서 보관이 용이해야한다!!4. 무선 이 정도 였던 것 같다. 특히나 나는 남들이 잘 안쓰는 것을 쓰는 것을 좋아해서 (이상함) 진짜 열심히 찾은 결과 하나를 픽 했는데! 루메나 FAN PRIME 2 또는 FAN PRIME 3이었고, 리뷰를 굉장히 열심히 찾아봤다. FAN PRIME 2를 선택한 이유는FAN PRIME 3은 뭔가 전기차 같은 고주..
2023.06.18 -
np.partion으로 topk를 뽑고 싶을 때 np.partition은 내가 정한 경계를 기준으로 리스팅을 해준다. 예를 들어서, A = array([1, 2, 3, 4, 5, 6, 7]) A에서 높은 3가지 숫자를 뽑고 싶을 때는 ind = np.partition(A, -3) 이런식으로 작성하면 ind는 ind = array([1, 2, 3, 4, 5, 6, 7]) ind = array([1, 2, 3, 4, 6, 5, 7]) ind = array([3, 2, 4, 1, 6, 5, 7]) 같이 될 수 있다. 이런식으로 숫자를 오름차순이나 내림차순으로 정하지 않으며, 내가 정한 기준으로 기준을 넘는 것과 못 넘는 것들만 정렬해준다고 생각하면 된다. 위의 ind 변수의 3가지를 보면 np.partitio..
np.partition으로 topk 추출하기np.partion으로 topk를 뽑고 싶을 때 np.partition은 내가 정한 경계를 기준으로 리스팅을 해준다. 예를 들어서, A = array([1, 2, 3, 4, 5, 6, 7]) A에서 높은 3가지 숫자를 뽑고 싶을 때는 ind = np.partition(A, -3) 이런식으로 작성하면 ind는 ind = array([1, 2, 3, 4, 5, 6, 7]) ind = array([1, 2, 3, 4, 6, 5, 7]) ind = array([3, 2, 4, 1, 6, 5, 7]) 같이 될 수 있다. 이런식으로 숫자를 오름차순이나 내림차순으로 정하지 않으며, 내가 정한 기준으로 기준을 넘는 것과 못 넘는 것들만 정렬해준다고 생각하면 된다. 위의 ind 변수의 3가지를 보면 np.partitio..
2023.06.06 -
Seesaw Loss for Long-Tailed Instance Segmentation Seesaw loss는 head class와 tail class에 대해 두가지 팩터를 이용하여 gradient를 재조정한다. Cross entropy는 head class를 많이 학습할 수 밖에 없기 때문에 tail class의 예측은 거의 다 틀릴 것이고, 틀리는 만큼 tail class에 많은 페널티가 가게 된다. 이 현상은 tail class의 페널티를 줄이는 방법으로 해결할 수 있다. Seesaw loss에서는 Sij 라는 튜닝가능한 파라미터로 head class 와 tail class의 페널티를 조절하며, Sij는 mitigation, compensation factor 두 개로 구성된다. Mitigatio..
[논문 읽기] Seesaw LossSeesaw Loss for Long-Tailed Instance Segmentation Seesaw loss는 head class와 tail class에 대해 두가지 팩터를 이용하여 gradient를 재조정한다. Cross entropy는 head class를 많이 학습할 수 밖에 없기 때문에 tail class의 예측은 거의 다 틀릴 것이고, 틀리는 만큼 tail class에 많은 페널티가 가게 된다. 이 현상은 tail class의 페널티를 줄이는 방법으로 해결할 수 있다. Seesaw loss에서는 Sij 라는 튜닝가능한 파라미터로 head class 와 tail class의 페널티를 조절하며, Sij는 mitigation, compensation factor 두 개로 구성된다. Mitigatio..
2023.06.06 -
https://arxiv.org/abs/2201.03545 A ConvNet for the 2020s The "Roaring 20s" of visual recognition began with the introduction of Vision Transformers (ViTs), which quickly superseded ConvNets as the state-of-the-art image classification model. A vanilla ViT, on the other hand, faces difficulties when applied to ge arxiv.org CNN은 Sliding window를 활용하여 local, global 정보를 둘 다 가지고 가는 전략의 네트워크임. 이는 Induc..
[논문 읽기] A ConvNeXt for the 2020s - 2020년대를 위한 convolutional neural networkhttps://arxiv.org/abs/2201.03545 A ConvNet for the 2020s The "Roaring 20s" of visual recognition began with the introduction of Vision Transformers (ViTs), which quickly superseded ConvNets as the state-of-the-art image classification model. A vanilla ViT, on the other hand, faces difficulties when applied to ge arxiv.org CNN은 Sliding window를 활용하여 local, global 정보를 둘 다 가지고 가는 전략의 네트워크임. 이는 Induc..
2023.05.25