KNN KNN belongs to a typical 'Lazy Learner'. That is, instead of learning the discriminant function from the training data, we proceed with the learning by storing the training dataset in memory. Thanks to this, there is no cost in the learning process. Instead, the computational cost in the prediction phase is high. Memory-based classifiers have the advantage of being able to adapt immediately ..

Random forest can be thought of as an ensemble of decision trees. Because individual decision trees have a high variance problem, the goal of Random Forest is to average multiple decision trees to improve generalization performance and reduce the risk of overfitting. Learning Process for Random Forests 1. Draw n random bootstrap samples by allowing redundancy in the training set. 2. Learn the de..

선형 SVM과 회귀분석과 같은 알고리즘은 비선형으로 구별되는 클래스를 구분 짓지 못한다. 이때 매핑함수\(\phi\)를 활용한 커널 방식을 사용한다면 비선형 문제를 해결할 수 있다. 매핑 함수를 활용해 원본 특성의 비선형 조합을 선형적으로 구분되는 고차원 공간에 투영시키고 이 공간에서의 초평면을 구분한 뒤 다시 원본 특성 공간으로 돌리면 비선형 결정 경계를 구분 지을 수 있게 된다. Ex) \(\phi(x_1,x_2) = (z_1,z_2,z_3) = (x_1,x_2,x_1^2+x_2^2)\) '2차원 -> 3차원 -> 2차원'의 투영 과정을 통해 결정 경계를 정의할 수 있다. 다만 매핑 함수의 문제점은 새로운 특성을 만드는 계산 비용이 매우 비싸다는 점이다. 특히 고차원 데이터일 경우에는 계산 비용이 더..

This post is code from notbook, which won bronze medal in kaggle. If you are interested, please refer to the laptop. www.kaggle.com/choihanbin/predict-titanic-survival-by-adaptive-linear-neuron In the previous posting, we looked at perceptron. This time we're going to talk about Adalin, a slightly modified version of this. 2020/12/31 - [English/Machine learning algorithm] - [1] Try implementing ..

본 포스팅은 kaggle에서 bronze 메달을 받은 notebook의 코드를 따왔습니다. 관심 있으신 분은 해당 노트북을 참고해보셔도 좋을 것 같습니다. www.kaggle.com/choihanbin/predict-titanic-survival-by-adaptive-linear-neuron 이전 포스팅에서는 퍼셉트론에 대해 알아봤습니다. 이번 시간에는 이를 약간 변형한 버전인 아달린에 대해 알아보겠습니다. 2020/12/22 - [머신러닝 교과서 with 파이썬, 사이킷런, 텐서플로] - 퍼셉트론(Perceptron) 구현해보기 아달린이란? 아달린은 Adaptive linear neuron의 약자입니다. 적응형 선형 뉴런은 퍼셉트론의 향상 버전이라고 생각할 수 있습니다. 퍼셉트론과의 가장 큰 사이는 가..

1. Mathematical definitions of artificial neurons Prior to implementing Perceptron, the mathematical definition of Perceptron must precede. The Perceptron we want to implement is simply a binary classification task with two classes. Defines the determination function by linear combination of the input value x and corresponding weight vector w. Linear combinations have organized concepts in diffe..