딥러닝은 가챠중독이다
Computer Vision쪽 딥러닝 대회에 발을 들였습니다.
데이콘에서 제공한 baseline코드를 바탕으로 두고
Kaggle 포럼, 챗지피티, 데이콘 등을 보며 최신기술을 파악하여
앞으로 사용할 템플릿을 조금씩 짜고 있습니다.
Tabular data 머신러닝이랑 어느정도 비슷하지 않을까 하는 가벼운 마음에서 발을 들였는데
완전히 다르더라구요....
제가 느낀 큰 차이점은 다음과 같습니다:
| Tabular data 머신러닝 대회 | CV 딥러닝 대회 | |
| 데이터 전처리 방법이 다양한가? | O | △ |
| Feature Engineering을 하는가? | O | X |
| 모델 아키텍쳐가 다양한가? | △ | O |
| 일반적인 수준의 EDA가 유용한가? | O | X |
| 순위에 영향을 미치는 것 | Feature Engineering, Tuning | 모델구조, Tuning |
최신 머신러닝 대회들을 보면
모델은 대부분 LGBM, XGBoost, RandomForest 선에서 정리되는 추세였고,
순위는 누가 데이터전처리랑 Feature Engineering를 기깔나게 했는지,
그리고 누구의 tuning이 제일 private에 맞는 지에 따라 갈렸던 것 같습니다.
딥러닝은 그와달리 Feature Engineering은 거의 불가능하기도 하고 (모델이 feature map을 뽑아주니까...)
픽셀값 하나가 아닌 주변 픽셀을 포함한 이미지 전체의 맥락을 고려해야합니다.
때문에 EDA를 통해 이상치를 발견한다 한들 고치기가 조금 무섭더라구요.
가장 큰 문제점은 모델선택의 자유도가 매우 높다는 것입니다.
SOTA모델 하나를 불러와도,
- 어떤 아키텍쳐의 모델을 불러올지
- 그 모델을 그대로 쓸 것인지, 사이에 새로운 층을 끼워넣을 것인지
- 가중치는 prune할 것인지
등등 여러가지 문제가 있더라구요.
솔직히 대형 transformer 모델로 돌리면 엥간한 대회는 25%는 석권하는 것 같습니다만,
이 경우 너무 소잡는 칼로 닭잡는 격 아닌가... 싶습니다.
딥러닝 대회에서는 단순 정확도 뿐만 아니라 사용한 model의 complexity까지 평가기준에 넣어야할 것 같다는 생각이 드네요.
아직까진 상위권 몇명을 제외하곤 pretrain 모델을 썼는지 확인할 방법도 없구요.
initial point에 따라 성능이 갈려서 일정부분 이상 운이 따라주어야 성능이 나온다는 점도 다소 곤란합니다.
문제는..................
사실 제가 레전드 가챠중독입니다
실험 돌려놓고 성능 언제나오나 기대하고 있는 제 모습이
현질 60만원어치 질러놓고 주캐 UR 스킨 나올 때 까지 끊임없이 가챠깡하던
n년전의 제 모습과 겹쳐보여서 살짝 현타가 왔습니다...............................
천직이라면 천직인 것 같긴 한데
이러다가 너무 도파민 중독 되는거 아닌가 걱정되네요......
아무튼 템플릿 완성하고 유의미한 결과 나오기 시작하면 입문과정이랑 수상코드 연재 시작하겠습니다!
금방 가져올테니 기다려주세요
