반응형 Deep learning6 [딥러닝 모델 성능 개선 방법] How to improve deep learning network 딥러닝 모델을 개발하다보면 열받는 상황이 많다. 논문에 나온 방법들 태반이 잘 안되고, 이게 맞는 방법인가 싶을 때가 많다. 그래서 내 내실을 다지려면 내가 직접 해보고 효과가 있었던 방법들을 정리해놓는 것이 중요하다고 생각이 들었다. 그래서 이 글에 내가 개발하면서 효과가 있었던 내용들은 적으려고 한다. 물론 회사와 관련된 거는 자세하게 적을 수 없다. 딥러닝 모델은 기본적으로 data가 가장 중요함. 각 요소 별 중요성 Data : 50% DB : 필요한 데이터 뽑아 놓은 것. 모델 : 1% 피드백 데이터 : 모델 디자이너 입장에서는 피드백 데이터가 가장 중요한 것 같음. 피드백 데이터, metric 분석 방법 모델이 가벼운데 성능이 낮은 경우 큰 모델 model 변경 hyperparameter 튜닝.. 2023. 6. 27. FDA paper review (CVPR 2020) 오랜만에 옮기면서 보니깐 이때 당시에 정말 모르는 게 많았던 것 같다. 물론 맞다. 딥러닝 자체를 대학원 가서 처음 배우다시피 해서 잘 몰랐다. 딥러닝을 전공으로 한 것도 후회를 많이 했었다. 지금도 후회하고 있다. 딴 거 할걸.. 아직까지도 딥러닝 논문들은 적용해보면 안 되는 것들이 태반이고 맨날 비슷한 논문만 계속 나온다. 학회에 낼 수 있는 연구를 하기보다는 이 방법 저 방법 적용해 보는 내 상황에서는 모든 논문들이 구라 같다. 그렇지만 잘하는 사람들은 항상 잘 찾아내서 성능향상을 만들어 낸다. 아직은 내 내공이 많이 부족하다고 느낀다. 그렇지만 열정을 다 잃어버려서 큰일이다. FDA : Fourier Domain Adaptation for semantic segmentation (CVPR 2020.. 2023. 6. 24. Unsupervised PixelDA paper review (CVPR 2017) Unsupervised Pixel-Level Domain Adaptation with GAN (CVPR 2017) Summary Problem label달린 데이터를 만들기 어려우니깐 비교적 labeling이 쉬운 synthetic 데이터에 DA를 적용해서 다른 neural network를 사용하는 task의 성능을 높여보자. Inspiration domain 차이에 가장 영향을 많이 주는 것은 low-level information( noise, resolution, illumination, color )이라고 가정을 세웠다. 이런 low-level information을 다루기 위해서 pixel level에서 조작을 하면 좋을 것 같다. 특히 synthetic image → real image는 hi.. 2023. 6. 24. Pix2Pix paper review (CVRP2017) Summary Problem application마다 똑같은 구조를 사용하는데 여러 가지 loss를 사용하는 게 맘에 안 든다. loss를 디자인하기 위해서는 전문적인 지식도 필요하다. loss도 한번 배워보자. Inspiration adversarial network가 잘되니깐 이리저리 적용해본거 같음. 어차피 어떤 application이던 image to image니깐 필요한 정보만 준다면 같은 구조로도 잘 되지 않을까? Solution conditional GAN을 사용한다. Generator는 UNet base로 만들고, discriminator는 patchGAN으로 만든다. GAN loss는 vanila GAN loss + L1 norm을 사용한다. UNet은 skipconnection을 사용해.. 2023. 6. 24. SinGAN paper review (ICCV 2019) Summary Problem generative model을 만드는데 여러 개의 training image가 필요하니깐 필요한 데이터를 줄여보자. Inspiration generative model은 input ≒ output 이니깐 input 이미지 한장만으로도 자연스럽고 비슷한 이미지를 만들 수 있지 않을까 Solution dedicated multi-scale adversarial traing scheme을 사용해서 multiple scale에 걸쳐서 image의 patch statics를 배운다. 그래서 original patch의 distribution을 보존하는 output image를 만든다. Corase-to-fine fashion을 따른다. Main contribution 이전 singl.. 2023. 6. 24. CycleGAN paper review (ICCV 2017) 예전에 석사 초창기에 읽었던 논문 리뷰한 내용들을 여기에 다시 적어본다. 리뷰도 개판이고 핵심들을 진짜 잘 못 정리했던 것 같지만 썩히기에는 아까워서 티스토리에 다시 올려본다. 예전에는 노션에 정리를 했었는데 다시 백업해와서 차곡차곡 티스토리에 옮겨적어야겠다. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017) Summary Problem image translation을 하는데 보통 paired dataset이 필요한데 이런 데이터를 구하기가 힘든 경우가 많다. photo → artistic picture를 예로 들 수 있다. 그리고 그냥 pair가 아닌 데이터 사이에도 domain을 변화시.. 2023. 6. 23. 이전 1 다음 반응형
