Linear Regression

Regresi linear adalah metode dasar dalam machine learning dan statistika untuk memodelkan hubungan antara variabel input (X) dan variabel target (Y), lalu menggunakan hubungan tersebut untuk melakukan prediksi.

Pendahuluan

Dalam banyak kasus nyata, kita ingin mengetahui apakah suatu variabel memengaruhi variabel lain, misalnya:

Berapa nilai ujian yang dapat diprediksi dari jumlah jam belajar?
Seberapa besar pengaruh pengeluaran iklan terhadap penjualan?
Bagaimana tren harga properti dari waktu ke waktu?

Regresi membantu kita menjawab pertanyaan tersebut secara kuantitatif. Dengan data historis, kita dapat membangun model untuk memperkirakan nilai target di masa mendatang.

Konsep Dasar

Pada regresi linear sederhana, hubungan antara dua variabel diasumsikan berbentuk garis lurus.

Variabel independen (X): variabel input atau prediktor.
Variabel dependen (Y): variabel output atau target yang diprediksi.
Intercept: titik potong garis pada sumbu Y.
Slope: kemiringan garis, menunjukkan perubahan Y untuk setiap kenaikan 1 satuan X.
Error / residual: selisih antara nilai aktual dan nilai prediksi.

Contoh sederhana:

X = jumlah jam belajar
Y = nilai ujian

Semakin besar nilai X, sering kali Y juga meningkat. Hubungan seperti ini disebut hubungan linear positif.

Persamaan Matematis

Model regresi linear sederhana dapat dituliskan sebagai berikut:

Y = \beta_0 + \beta_1 X + \varepsilon

atau dalam bentuk prediksi:

\hat{y} = a + bx

Keterangan:

$\hat{y}$ = nilai prediksi
$a$ = intercept
$b$ = slope atau kemiringan garis
$x$ = nilai input

Tujuan model adalah mencari garis terbaik yang paling sesuai dengan data. Umumnya hal ini dilakukan dengan metode kuadrat terkecil (least squares), yaitu meminimalkan jumlah kuadrat selisih antara nilai aktual dan nilai prediksi.

Asumsi Dasar Regresi Linear

Klik untuk melihat asumsi model

Agar hasil regresi linear lebih baik untuk dianalisis, biasanya diasumsikan bahwa:

Hubungan antara X dan Y bersifat linear.
Residual memiliki rata-rata mendekati nol.
Varians residual konstan pada semua nilai X (homoskedastisitas).
Residual saling independen atau tidak berkorelasi.
Pada regresi berganda, antar variabel bebas tidak mengalami multikolinearitas yang kuat.

Tiga Rumus Penting untuk Mencari Garis Regresi

Berikut tiga cara umum untuk menghitung slope dan intercept pada regresi linear sederhana.

Menggunakan jumlah total

b = \frac{n\sum xy - (\sum x)(\sum y)}{n\sum x^2 - (\sum x)^2}

a = \frac{\sum y - b\sum x}{n}

Keterangan variabel:

$a$ = intercept atau titik potong garis pada sumbu Y
$b$ = slope atau kemiringan garis regresi
$n$ = jumlah data
$\sum x$ = jumlah seluruh nilai $x$
$\sum y$ = jumlah seluruh nilai $y$
$\sum xy$ = jumlah hasil perkalian setiap pasangan $x$ dan $y$
$\sum x^2$ = jumlah kuadrat seluruh nilai $x$

Cocok digunakan saat melakukan perhitungan manual langsung dari data mentah.

Menggunakan statistik varians dan kovarians

b = \frac{S_{xy}}{S_x^2}

a = \bar{y} - b\bar{x}

dengan:

S_{xy} = \frac{\sum xy}{n} - \bar{x}\bar{y}

S_x^2 = \frac{\sum x^2}{n} - \bar{x}^2

Keterangan variabel:

$a$ = intercept atau titik potong garis pada sumbu Y
$b$ = slope atau kemiringan garis regresi
$S_{xy}$ = kovarians antara $x$ dan $y$
$S_x^2$ = varians dari $x$
$\bar{x}$ = rata-rata nilai $x$
$\bar{y}$ = rata-rata nilai $y$
$n$ = jumlah data
$\sum xy$ = jumlah hasil perkalian setiap pasangan $x$ dan $y$
$\sum x^2$ = jumlah kuadrat seluruh nilai $x$

Pendekatan ini lebih ringkas untuk analisis berbasis statistik.

Menggunakan deviasi dari rata-rata

b = \frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x})^2}

a = \bar{y} - b\bar{x}

Keterangan variabel:

$a$ = intercept atau titik potong garis pada sumbu Y
$b$ = slope atau kemiringan garis regresi
$x$ = nilai variabel input
$y$ = nilai variabel target
$\bar{x}$ = rata-rata nilai $x$
$\bar{y}$ = rata-rata nilai $y$
$\sum (x-\bar{x})(y-\bar{y})$ = jumlah hasil kali deviasi $x$ dan $y$ terhadap rata-ratanya
$\sum (x-\bar{x})^2$ = jumlah kuadrat deviasi $x$ terhadap rata-ratanya

Pendekatan ini membantu memahami konsep hubungan antara deviasi data terhadap rata-ratanya.

Contoh Data

Misalkan tersedia data jam belajar dan nilai ujian dari 5 siswa.

Siswa	X (Jam Belajar)	Y (Nilai Ujian)
A	2	65
B	4	70
C	6	75
D	8	85
E	10	95

Jumlah data:

n = 5

Langkah Awal Perhitungan

Dari data di atas diperoleh:

$\sum x = 30$
$\sum y = 390$
$\sum xy = 2490$
$\sum x^2 = 220$
$\bar{x} = 6$
$\bar{y} = 78$

Selain itu:

S_{xy} = \frac{2490}{5} - (6)(78) = 498 - 468 = 30

S_x^2 = \frac{220}{5} - 6^2 = 44 - 36 = 8

\sum (x-\bar{x})^2 = 40, \qquad \sum (x-\bar{x})(y-\bar{y}) = 150

Contoh Perhitungan Garis Regresi

Metode 1: Jumlah total

Hitung slope:

b = \frac{5(2490) - (30)(390)}{5(220) - 30^2}

b = \frac{12450 - 11700}{1100 - 900} = \frac{750}{200} = 3.75

Hitung intercept:

a = \frac{390 - 3.75(30)}{5}

a = \frac{390 - 112.5}{5} = \frac{277.5}{5} = 55.5

Sehingga persamaan regresinya:

\hat{y} = 55.5 + 3.75x

Metode 2: Varians dan kovarians

Hitung slope:

b = \frac{S_{xy}}{S_x^2} = \frac{30}{8} = 3.75

Hitung intercept:

a = \bar{y} - b\bar{x} = 78 - 3.75(6) = 78 - 22.5 = 55.5

Hasilnya tetap:

\hat{y} = 55.5 + 3.75x

Metode 3: Deviasi dari rata-rata

Hitung slope:

b = \frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x})^2} = \frac{150}{40} = 3.75

Hitung intercept:

a = \bar{y} - b\bar{x} = 78 - 3.75(6) = 55.5

Persamaan akhirnya juga sama:

\hat{y} = 55.5 + 3.75x

Interpretasi Hasil

Persamaan:

\hat{y} = 55.5 + 3.75x

Interpretasinya:

Intercept 55.5 berarti saat jam belajar $x = 0$ , nilai prediksi ujian adalah 55.5.
Slope 3.75 berarti setiap tambahan 1 jam belajar akan meningkatkan nilai ujian yang diprediksi sekitar 3.75 poin.

Model regresi tidak selalu menunjukkan hubungan sebab-akibat mutlak. Model ini menunjukkan pola hubungan berdasarkan data yang tersedia.

Prediksi Menggunakan Model

Misalnya seorang siswa belajar selama 7 jam, maka nilai prediksinya adalah:

\hat{y} = 55.5 + 3.75(7)

\hat{y} = 55.5 + 26.25 = 81.75

Jadi, nilai ujian yang diprediksi adalah 81.75.

Visualisasi Regresi

Jika data digambarkan dalam scatter plot, maka garis regresi akan membentuk garis lurus yang mendekati titik-titik data.

Titik biru mewakili data aktual.
Garis lurus mewakili hasil prediksi model regresi.
Semakin dekat titik ke garis, semakin kecil error prediksi.

Implementasi Python

Berikut contoh implementasi regresi linear sederhana menggunakan Python.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Data
X = np.array([2, 4, 6, 8, 10]).reshape(-1, 1)
y = np.array([65, 70, 75, 85, 95])

# Model
model = LinearRegression()
model.fit(X, y)

# Parameter model
intercept = model.intercept_
slope = model.coef_[0]

print("Intercept:", intercept)
print("Slope:", slope)

# Prediksi
x_line = np.linspace(2, 10, 100).reshape(-1, 1)
y_line = model.predict(x_line)

# Plot
plt.scatter(X, y, label="Data Asli")
plt.plot(x_line, y_line, label="Garis Regresi")
plt.xlabel("Jam Belajar (X)")
plt.ylabel("Nilai Ujian (Y)")
plt.title("Plot Regresi Linear")
plt.legend()
plt.show()

Kelebihan dan Keterbatasan

Aspek	Kelebihan	Keterbatasan
Simpel	Mudah dipahami dan dihitung	Tidak cocok untuk pola data yang kompleks
Cepat	Komputasi ringan	Kurang fleksibel untuk prediksi yang lebih canggih
Interpretatif	Koefisien mudah ditafsirkan	Sensitif terhadap outlier
Dasar yang kuat	Sangat baik untuk pengantar machine learning	Bergantung pada asumsi statistik tertentu

Pengembangan Lanjutan

Setelah memahami regresi linear sederhana, materi dapat dikembangkan ke topik berikut:

Regresi linear berganda
Regresi polinomial
Regresi logistik
Ridge regression
Lasso regression
Elastic net
Robust regression
Stepwise regression
Quantile regression
Generalized Linear Model (GLM)
Support Vector Regression (SVR)
Tree-based regression

Ringkasan

Regresi linear adalah fondasi penting dalam machine learning karena memperkenalkan cara memodelkan hubungan data, melakukan prediksi, memahami interpretasi koefisien, dan mengevaluasi pola hubungan antar variabel.

Poin utama yang perlu diingat:

Regresi linear memodelkan hubungan linear antara X dan Y.
Bentuk umum model adalah $\hat{y} = a + bx$ .
Slope menunjukkan perubahan Y terhadap X.
Intercept menunjukkan nilai Y ketika X = 0.
Tiga pendekatan perhitungan akan menghasilkan garis regresi yang sama jika datanya sama.

Latihan Kelas

Gunakan data berikut untuk menyusun model regresi linear.

No	Tahun (X)	Harga Tanah per m² (Y)
1	2005	150000
2	2006	160000
3	2007	165000
4	2008	170000
5	2009	180000
6	2010	195000
7	2011	210000
8	2012	220000
9	2013	235000
10	2014	250000

Tugas yang dikerjakan:

Buat tabel data di Excel atau spreadsheet.
Hitung $\sum X$ , $\sum Y$ , $\sum XY$ , dan $\sum X^2$ .
Hitung rata-rata $\bar{X}$ dan $\bar{Y}$ .
Hitung slope dan intercept dengan rumus yang telah dipelajari.
Susun persamaan regresi linear $\hat{y} = a + bx$ .
Gunakan model tersebut untuk memprediksi harga tanah pada tahun 2016 dan 2020.
Buat grafik scatter plot dan garis regresi.

Penutup

Regresi linear adalah pintu masuk yang sangat baik untuk mempelajari supervised learning. Setelah memahami konsep ini, Anda akan lebih mudah mempelajari model regresi yang lebih kompleks maupun algoritma machine learning lainnya.

Introduction Decision Tree