一、线性回归

线性回归是一种基础且广泛应用的统计学和机器学习方法，主要用于预测数值型的目标变量。简单的线性回归模型形式如下：

y = aX + b + ε

其中，y是我们要预测的目标变量，X是自变量，a和b是线性回归模型的参数，而ε表示误差项。在这个模型中，我们假设目标变量y与自变量X之间的关系是线性的。

线性回归模型的参数a和b通常通过最小化残差平方和（即所有观察值的预测值与实际值之差的平方和）来估计。

二、损失函数

在机器学习中，损失函数是一种衡量模型预测错误的方法。对于线性回归来说，最常用的损失函数是均方误差（Mean Squared Error，MSE），其公式为：

MSE = 1/n ∑(yi - ?i)^2

其中，yi是观察值，?i是预测值，n是观察值的数量。MSE损失函数的值越小，说明模型的预测效果越好。

三、多元线性回归

多元线性回归是线性回归的扩展，它可以处理两个或更多的自变量。多元线性回归模型的形式如下：

y = a1X1 + a2X2 + ... + anXn + b + ε

其中，X1, X2, ..., Xn是自变量，a1, a2, ..., an和b是模型的参数，ε表示误差项。和简单的线性回归一样，模型的参数通常通过最小化残差平方和来估计。

四、相关系数与决定系数

相关系数是衡量两个变量线性相关程度的统计指标，取值范围为-1到1。相关系数的绝对值越接近1，表示两个变量的线性关系越强。

决定系数，也叫做R方，是回归分析中的一个重要指标，用于衡量模型对数据的解释程度。决定系数的值介于0和1之间，值越接近1，说明模型对数据的解释度越高，预测效果越好。

五、源码案例

下面是一个使用Python的scikit-learn库进行线性回归的例子：

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn import datasets
from sklearn.metrics import mean_squared_error

# 加载波士顿房价数据集
boston = datasets.load_boston()
X = boston.data
y = boston.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建线性回归模型
lr = LinearRegression()
# 训练模型
lr.fit(X_train, y_train)
# 预测测试集
y_pred = lr.predict(X_test)
# 计算MSE
mse = mean_squared_error(y_test, y_pred)
print(f"MSE: {mse}")

在这个例子中，我们使用了波士顿房价数据集，这是一个多元线性回归的例子，因为我们使用了所有的自变量来预测房价。最后，我们计算了模型的MSE来评估模型的预测效果。

总结，线性回归是一种基础且有效的预测方法，它可以处理一个或多个自变量。在实际使用中，我们需要关注模型的MSE和决定系数等指标，以了解模型的预测效果。此外，我们还需要注意过拟合问题，可能需要使用正则化等技术来解决。