Python3 [딥러닝] Transformer란? Attention Is All You Need 출처 : https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice : https://youtu.be/AA621UofTUA?feature=shared Transformer에 대해 공부하려고 찾은 영상이다1시간 30분 정도로 엄청 길지 않고, 설명을 잘 해주셔서 저걸 듣고 이해한 토대로 정리해보려고 한다.사실 처음 들으면 약간 이게 뭔소린가 싶은데, 정리하다보면 이해되지 않을까 싶어서...무튼 일단 시작! Seq2Seq (Sequence to Sequence): Transformer가 나오기 전까지 state-of-the-art로 사용되었다(GPT4, 트랜스포머 계열 모델의 기본구조): 크게 context vector, encoder,.. 2024. 8. 22. [머신러닝] LightGBM Classifier - Optuna 파라미터 최적화하기 참고 : https://lightgbm.readthedocs.io/en/latest/ LightGBM ( 라이트 그래디언트 부스팅 머신)그래디언트 부스팅이란 깊지 않은 결정 트리를 사용하여 이전 트리의 오차를 보완하는 방식lightGBM은 대규모 데이터와 고차원 데이터셋을 효율적으로 처리할 수 있도록 설계된 머신러닝 알고리즘> 효율적인 트리구성을 위해 히스토그램 기반을 사용> 리프 중심 트리 분할 방식을 사용> 분류에서는 로지스틱 손실함수, 회귀에서는 평균 제곱 오차 함수를 사용함> 높은 정확도, 성능과 메모리의 높은 효율성, 빠른 학습 및 예측 속도가 특징 LightGBM은 회귀, 분류 랭킹, 다중 클래스 분류등 다양한 문제를 해결할 수 있는 목표 함수를 제공한다오늘은 그 중에서 분류 모델인 Light.. 2024. 8. 9. [머신러닝] 머신러닝(Machine Learning)이란? 참고 : 파이썬 머신러닝 판다스 데이터 분석 머신러닝이란?- 기계 스스로 데이터를 학습하여 서로 다른 변수 간의 관계를 찾아나가는 과정- 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야- 해결하려는 문제에 따라 예측, 분류, 군집 알고리즘 등으로 분류됨 ex) 1. 예측(회귀) : 주가, 환율 등 경제지표 예측하는 문제 2. 분류 : 은행에서 고객을 분류하여 대출을 승인하거나 거절하는 문제 3. 군집 : 비슷한 소비패턴을 가진 고객 유형을 군집으로 묶어내는 문제 머신러닝 유형머신러닝은 크게 지도 학습과 비지도 학습으로 분류한다구분지도 학습(supervised learning)비지도 학습(unsupervised learning)특징- 정답.. 2024. 8. 7. 이전 1 다음
