实验目的
了解回归分析算法的基本原理，并掌握Python语言中实现回归算法的函数方法
实验原理
回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。
线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归可以根据给定的预测变量来预测目标变量的值。线性回归使用最佳的拟合直线（也就是回归线）在因变量(Y)和一个或多个自变量(X)之间建立一种关系。一元线性回归方程可以表示为下式：
实验步骤
线性回归是最简单同时也是最常用的一个统计模型。线性回归具有结果易于理解，计算量小等优点。如果一个简单的线性回归就能取得非常不错的预测效果，那么就没有必要采用复杂精深的模型了。
通过公式编写矩阵运算程序；
- 通过使用机器学习库sklearn;
- 通过使用statmodels库。
使用scikit-learn进行线性回归
加载扩展包
import pandas as pd
import numpy as np
import pylab as pl
import matplotlib.pyplot as plt
载入数据并可视化分析
这里，为了简单起见，使用sklearn中自带的数据集鸢尾花数据iris进行分析，探索『花瓣宽』和『花瓣长』之间的线性关系。
from sklearn.datasets import load_iris
# load data
iris = load_iris()
# Define a DataFrame
df = pd.DataFrame(iris.data, columns = iris.feature_names)
# take a look
df.head()
#len(df)
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)
0 5.1 3.5 1.4 0.2
1 4.9 3.0 1.4 0.2
2 4.7 3.2 1.3 0.2
3 4.6 3.1 1.5 0.2
4 5.0 3.6 1.4 0.2
# correlation
df.corr()
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)
sepal length (cm) 1.000000 -0.109369 0.871754 0.817954
sepal width (cm) -0.109369 1.000000 -0.420516 -0.356544
petal length (cm) 0.871754 -0.420516 1.000000 0.962757
petal width (cm) 0.817954 -0.356544 0.962757 1.000000
# rename the column name
df.columns = ['sepal_length','sepal_width','petal_length','petal_width']
df.columns
Index([u'sepal_length', u'sepal_width', u'petal_length', u'petal_width'], dtype='object')
plt.matshow(df.corr())
plt.show()
由上面分析可知，花瓣长sepal length和花瓣宽septal width有着非常显著的相关性。