吴恩达老师利用作图解释如何使误差最小  VS  此处利用纯数学推导 利用最小二乘法解释如何使误差最小

1 似然函数（概率）求解：（拟合函数）参数跟数据结合后接近于真实函数的概率。

2 加log可以使乘法转换成加法

3 拿到数据先用逻辑回归分类看看效果，再用其他算法。

4 引入Sigmoid函数的意义：1、sigmoid 函数连续，单调递增，sigmiod 函数关于（0，0.5） 中心对称，计算sigmoid函数的导数非常的快速，可以将线性回归输出映射到【0，1】之间实现分类  2、 在sigmoid函数中的输出可以表示为时间发生的概率（y服从伯努利分布）

 

线性回归

线性回归是要拟合一个函数，使得输入给出的样本值后能得到相应的输出值。 拟合过程就是调参过程，让假设函数接近真实函数。调参过程使用梯度下降法来调整参数使得损失函数值最小。 梯度下降分为批量梯度下降（对所有的数据进行整体计算，。这一方法在每一个步长内检查所有整个训练集中的所有样本）和随机梯度下降（我们对整个训练集进行了循环遍历，每次遇到一个训练样本，根据每个单一训练样本的误差梯度来对参数进行更新。这个算法叫做随机梯度下降法（stochastic gradient descent），或者叫增量梯度下降法（incremental gradient descent）。）   拟合的效果如何（即假设函数接近真实函数的程度）用似然函数量化评估。

过拟合

在训练集表现很好，但是在测试集表现不好

逻辑回归

逻辑回归是一个经典的二分类算法。给出样本的特征和标签（即x值和y值），找出一个曲线（平面或者超平面），尽可能多的把两类标签区分开，找出超平面的过程就是调参过程，逻辑回归的解不能直接求出，需要利用梯度下降法求取最小值。 拟合效果依然用似然函数量化评估。