李宏毅机器学习课程笔记-2.5线性回归Python实战

本文为作者学习李宏毅机器学习课程时参照样例完成homework1的记录。

  • 任务描述(Task Description)

    现在有某地空气质量的观测数据,请使用线性回归拟合数据,预测PM2.5。

  • 数据集描述(Dataset Description)

    • train.csv

      该文件中是2014年每月前20天每小时的观察数据,每小时的数据是18个维度的(其中之一是PM2.5)。

    • test.csv

      该文件中包含240组数据,每组数据是连续9个小时的所有观测数据(同样是18个维度)。

      请预测每组数据对应的第10个小时的PM2.5数值。

  • 结果格式

    要求上交结果的格式为CSV文件。

    第一行必须是 id,value

    从第二行开始每行分别为id值及预测的PM2.5数值,两者用逗号间隔

  • 总结

    • 数据处理

      • 将数据处理、转换成什么形式,要根据数据集格式、任务来确定。
      • 要熟练掌握pandas、numpy等数据处理工具,特别是要知道它们能实现什么功能。
  • 参考链接

    https://colab.research.google.com/drive/131sSqmrmWXfjFZ3jWSELl8cm0Ox5ah3C

  • Python代码

    import pandas as pd
    import numpy as np
    import csv
    ## 读取数据
    data = pd.read_csv('./train.csv', encoding = 'big5') # 读取训练集
    # print(data.describe())
    ## 数据预处理
    data = data.iloc[:, 3:] # 不需要使用前三列的表头,所以删除
    data[data == 'NR'] = 0 # 将非数值NR改为0
    raw_data = data.to_numpy() # pandas转numpy数组,形状是4320(=18*20*12)*24
    # print(raw_data.shape)
    ## 修改数据格式
    # 数据格式为12(month)*18(features)*480(=24*20hours),即12个月、每个月有480小时的数据(18维)
    month_data = {} # 字典
    for month in range(12):
    sample = np.empty([18, 480])
    for day in range(20):
    sample[ : , 24 * day : 24 * (day + 1)] = raw_data[(month * 20 + day) * 18 : (month * 20 + day + 1) * 18, : ]
    month_data[month] = sample
    ## 修改数据格式
    # 数据格式为每个月有连续的480个小时,每10个小时形成1个object,每个月就有471个object,12个月就有471*12个oeject,每个object包括x(18*9的featrues)和y(1个PM2.5数值)。
    x = np.empty([471*12, 18*9], dtype=float) # 471*12行,一行是一个object的x
    y = np.empty([471*12, 1], dtype=float) # 471*12行,一行是一个object的y
    for month in range(12):
    for day in range(20):
    for hour in range(24):
    if day == 19 and hour > 14: # 最后一个10小时从第20天14小时开始,防止越界
    continue
    x[month * 471 + day * 24 + hour, :] = month_data[month][:,day * 24 + hour : day * 24 + hour + 9].reshape(1, -1) # reshape时的(1, -1)指:1行、列数自动计算
    y[month * 471 + day * 24 + hour, 0] = month_data[month][9, day * 24 + hour + 9] # 取对应的第10个小时的PM2.5的值
    # print(x, y)
    ## 标准化
    #关于标准化,可以看这篇文章https://www.cnblogs.com/chouxianyu/p/13872444.html
    mean_x = np.mean(x, axis=0) # 平均值,axis=0指沿着列计算平均值,即计算每列的平均值
    std_x = np.std(x, axis=0) # 标准差,axis=0指沿着列计算平均值,即计算每列的标准差
    # print(mean_x.shape, std_x.shape)
    for i in range(len(x)):
    for j in range(len(x[0])):
    if std_x[j] != 0:
    x[i][j] = (x[i][j] - mean_x[j]) / std_x[j]
    ## 训练
    dim = 18 * 9 + 1 # 这个+1是为了保存偏置
    w = np.zeros([dim, 1])
    x = np.concatenate((np.ones([471 * 12, 1]), x), axis=1).astype(float) # axis=1表示将两个数组按行拼接,向x中添加1是为了让其与weight中的偏置相乘
    learning_rate = 100 # 学习率
    iter_time = 1000 # 迭代次数
    adagrad = np.zeros([dim, 1])
    eps = 1e-10  # eps是避免Adagrad分母为0而加的
    for t in range(iter_time):
    loss = np.sqrt(np.sum(np.power(np.dot(x, w) - y, 2)) / 471 / 12) # RMSE
    if (t % 100 == 0):
    print(t, loss)
    gradient = 2 * np.dot(x.transpose(), np.dot(x, w) - y) # dim*1
    adagrad += gradient ** 2
    w -= learning_rate * gradient / np.sqrt(adagrad + eps)
    np.save('weight.npy', w)
    print('Training Done')
    ## 测试
    # 读取数据
    test_data = pd.read_csv('./test.csv',header=None, encoding='big5')
    test_data = test_data.iloc[ : , 2:] # 去除表头(前两列)
    test_data[test_data == 'NR'] = 0
    test_data = test_data.to_numpy()
    test_x = np.empty([240, 18 * 9]) # 240个object,一行是一个object的x
    # 修改数据格式
    for i in range(240):
    test_x[i, :] = test_data[i * 18 : (i + 1) * 18, : ].reshape(1, -1) # 格式和训练集一样
    # 标准化
    for i in range(len(test_x)):
    for j in range(len(test_x[0])):
    if std_x[j] != 0:
    test_x[i, j] = (test_x[i, j] - mean_x[j]) / std_x[j]
    test_x = np.concatenate((np.ones([240, 1]), test_x), axis=1).astype(float) # axis=1表示将两个数组按行拼接,向x中添加1是为了让其与weight中的偏置相乘
    ## 预测
    w = np.load('weight.npy')
    ans_y = np.dot(test_x, w)
    # print('ans_y.shape', ans_y.shape)
    with open('answer.csv', mode='w', newline='') as answer_file:
    csv_writer = csv.writer(answer_file)
    csv_writer.writerow(['id', 'value'])
    for i in range(240):
    row = ['id_' + str(i), ans_y[i][0]]
    csv_writer.writerow(row)
    # print(row)

Github(github.com): @chouxianyu

Github Pages(github.io): @臭咸鱼

知乎(zhihu.com): @臭咸鱼

博客园(cnblogs.com):@臭咸鱼

B站(bilibili.com): @绝版臭咸鱼

微信公众号: @臭咸鱼的快乐生活

转载请注明出处,欢迎讨论和交流!

博客园精华区
我还没有学会写个人说明!
上一篇

​解密 Python 中的对象模型

下一篇

任天堂在圣诞前夕推出《超级马力欧3D全明星》新广告

你也可能喜欢

评论已经被关闭。

插入图片