软间隔和正则化我们在最开始讨论支持向量机的时候，我们就假定数据在样本空间是线性可分的，也就是我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，我们又推出使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射$\Phi(x)$将原始数据映射到高维空间之后，使得数据集在特征空间中线性可分，但是也很难断定这个貌似线性可分的结果是不是由于过拟合

SVM回顾上文支持向量机SVM ，简单总结了对于线性可分数据的SVM的算法原理，现在我们对于非线性可分以及有噪声存在的时候我们需要对基本SVM算法的改进进行下总结其中包括: 核函数在SVN算法中的使用 引入松弛变量和惩罚函数的软间隔分类器 我们再回顾一下我们上次推导最终的对偶优化问题，我们后面的改进和优化都是在对偶问题形式上展开的。 SVM标准形式$min_{w,b}\frac{1}{2

支持向量机SVM的概念及起源什么是支持向量机SVM支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 分类标准的起源：Logistic回归我们先看看什么是线性分类器给定一些数据点，它们分别属于两个不同的类，现在要找到

优化与机器学习机器学习的主要任务之一就是通过训练，学习获得一组最优的参数，我们经常以成本函数来作为参数估计的函数。所以机器学习的任务也就是最小成本函数。优化也是机器学习算法的非常重要的组成部分，基本上每一个机器学习算法都有一个优化算法梯度下降方法用负梯度作搜索方向，即令$\bigtriangleup x=-\bigtriangledown f(x)$, 是一种自然的选择。相应的方法就称梯度方法或者

决策树决策树（decision tree）是一种分类与回归方法，本文主要讨论用于分类的决策树，决策树的结构呈树形结构，在分类问题中，其代表基于特征对数据进行分类的过程，通常可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型可读性好并且分类速度快。训练的时候，利用训练数据根据损失函数最小化的原则建立决策树模型。 预测时对于新的数据，利用决策树进行

逻辑回归逻辑回归的概念Logistic Regression 在《机器学习》-周志华一书中又叫对数几率回归。逻辑回归和多重线性回归实际上有很多的相同之处，除了它们的因变量（函数）不同外，其他的基本差不多，所以逻辑回归和线性回归又统属于广义线性模型（generalizedlinear model）。 广义线性模型的形式其实都差不多，不同的就是因变量（函数）的不同。 如果是连续的，就是多重线性回归

首先导入所需要的库文件import matplotlib.pyplot as plt # 导入可视化库 import numpy as np # 导入数据处理库 from sklearn import datasets # 导入sklearn自带的数据集 把我们的参数值求解公式$\theta=(X^TX)^{-1}X^TY$转换为代码def fit(self

线性回归中的最小二乘法和L1、L2推导上一节线性回归-算法推导 , 我们已经大致的知道了，线性回归的算法推导过程，但是往往我们在使用线性回归算法的过程中模型会出现过拟合的现象， 我们现从例子来看看什么是过拟合。 还是以房价预测为例，来看几张张图片： 1.欠拟合（Underfitting） 上图中，我们用$h_\theta(x)=\theta_0+\theta_1x $来拟合训练集中的数据，但是我们

线性回归–$y=wx+b$回归，统计学术语，表示变量之间的某种数量依存关系，并由此引出回归方程，回归系数。 线性回归（Linear Regression）数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为$y = wx+e$，e为误差服从均值为0的正态分布，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。 注意，统计学中的回归并如线