Tutorial Scraping Data Shopee Bypass Login Node JS Puppeteer: Panduan Lengkap & Aman

oleh

Pernahkah Anda merasa frustrasi saat mencoba mengumpulkan data ribuan produk dari Shopee secara manual untuk riset pasar atau analisis kompetitor? Di era digital yang serba cepat ini, data adalah emas baru. Namun, tantangan teknis seperti sistem keamanan bot yang ketat seringkali menjadi penghalang. Dalam artikel ini, kita akan membahas secara mendalam tentang tutorial scraping data shopee bypass login node js puppeteer, sebuah solusi teknis untuk mengambil data secara otomatis, efisien, dan profesional.

Bagi para pengembang web dan analis data, memahami cara menavigasi struktur kompleks e-commerce seperti Shopee adalah keterampilan yang sangat berharga. Shopee menggunakan berbagai teknik anti-scraping, mulai dari rate limiting hingga login walls. Dengan menggunakan Node.js dan library Puppeteer, kita bisa mensimulasikan perilaku manusia di dalam browser untuk melewati rintangan tersebut tanpa harus terjebak dalam proses login yang rumit setiap saat.

Apa itu Web Scraping dan Mengapa Shopee?

Web scraping adalah proses ekstraksi data secara otomatis dari sebuah situs web. Alih-alih menyalin data satu per satu secara manual, kita menggunakan skrip kode untuk melakukan tugas tersebut dalam skala besar. Shopee, sebagai salah satu marketplace terbesar di Asia Tenggara, menyimpan jutaan data produk yang sangat dinamis.

Data yang bisa diambil meliputi nama produk, harga, jumlah terjual, rating, hingga lokasi penjual. Informasi ini sangat krusial bagi pebisnis untuk menentukan strategi harga, memantau tren produk yang sedang populer, atau sekadar melakukan audit internal terhadap performa toko sendiri. Namun, karena nilai datanya yang tinggi, Shopee menerapkan proteksi yang cukup kuat.

Persiapan Lingkungan Pengembangan Node.js

Sebelum memulai tutorial scraping data shopee bypass login node js puppeteer ini, pastikan Anda sudah menginstal Node.js di komputer Anda. Node.js adalah lingkungan runtime JavaScript yang memungkinkan kita menjalankan kode JS di luar browser, sangat cocok untuk tugas-tugas otomasi seperti ini.

Langkah pertama adalah membuat direktori proyek baru dan melakukan inisialisasi npm:

mkdir shopee-scraper && cd shopee-scraper
npm init -y

Pastikan Anda menggunakan versi Node.js LTS (Long Term Support) untuk stabilitas maksimum. Anda bisa mengecek versi Node.js dengan perintah node -v di terminal Anda.

Instalasi Puppeteer dan Plugin Stealth

Puppeteer adalah library Node.js yang menyediakan API tingkat tinggi untuk mengontrol Chrome atau Chromium melalui Protokol DevTools. Secara default, Puppeteer berjalan dalam mode headless (tanpa UI), yang sangat efisien untuk scraping.

Namun, Puppeteer standar seringkali mudah terdeteksi oleh sistem anti-bot Shopee. Oleh karena itu, kita perlu menginstal puppeteer-extra dan puppeteer-extra-plugin-stealth untuk menyamarkan jejak otomasi kita.

Jalankan perintah berikut di terminal:

npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth

Plugin stealth ini akan mengubah konfigurasi browser seperti navigator.webdriver, resolusi layar, dan dukungan plugin untuk membuat bot kita terlihat seperti pengguna manusia sungguhan yang sedang menggunakan browser Chrome biasa.

Memahami Tantangan Scraping di Shopee

Shopee tidak ingin datanya diambil secara massal oleh bot karena dapat membebani server mereka dan memberikan keuntungan kompetitif bagi pihak lain. Beberapa tantangan utama yang akan Anda hadapi meliputi:

  • Login Wall: Kadang-kadang Shopee meminta pengguna login sebelum menampilkan detail harga atau hasil pencarian tertentu.
  • Dynamic Content: Shopee menggunakan framework JavaScript modern (seperti React atau Vue), sehingga data tidak langsung ada di HTML awal, melainkan dimuat secara asinkron.
  • CAPTCHA: Jika aktivitas Anda dianggap mencurigakan, Shopee akan menampilkan tantangan visual untuk memastikan Anda bukan bot.
  • IP Blocking: Terlalu banyak permintaan dari satu alamat IP dalam waktu singkat akan menyebabkan pemblokiran sementara.

Strategi Bypass Login: Menggunakan Cookies

Salah satu inti dari tutorial scraping data shopee bypass login node js puppeteer adalah bagaimana cara melewati halaman login. Teknik yang paling efektif dan aman bukanlah dengan mencoba menjebol sistem keamanan mereka, melainkan dengan menggunakan Session Cookies.

Caranya adalah dengan login secara manual sekali di browser biasa, lalu mengambil cookies sesi tersebut dan memasukkannya ke dalam skrip Puppeteer. Dengan cara ini, Shopee akan menganggap bot Anda adalah pengguna yang sudah terautentikasi secara sah.

Anda bisa menggunakan ekstensi browser seperti “EditThisCookie” untuk mengekspor cookies dalam format JSON. Cookies ini nantinya akan diimpor ke dalam instance Puppeteer menggunakan fungsi page.setCookie().

Langkah-langkah Teknis Scraping Data Shopee

Mari kita masuk ke bagian teknis. Berikut adalah struktur dasar kode untuk melakukan scraping data produk Shopee:

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();

  // Set User Agent agar terlihat seperti browser asli
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36');

  // Navigasi ke halaman produk Shopee
  await page.goto('https://shopee.co.id/search?keyword=laptop', { waitUntil: 'networkidle2' });

  // Logika untuk scroll ke bawah agar semua konten dimuat (Lazy Loading)
  await autoScroll(page);

  // Ekstraksi data
  const products = await page.evaluate(() => {
    const items = Array.from(document.querySelectorAll('.shopee-search-item-result__item'));
    return items.map(item => ({
      title: item.querySelector('._10Wbs-')?.innerText,
      price: item.querySelector('.ZEp65N')?.innerText,
      sold: item.querySelector('._1uk_fX')?.innerText
    }));
  });

  console.log(products);
  await browser.close();
})();

async function autoScroll(page){
    await page.evaluate(async () => {
        await new Promise((resolve) => {
            let totalHeight = 0;
            let distance = 100;
            let timer = setInterval(() => {
                let scrollHeight = document.body.scrollHeight;
                window.scrollBy(0, distance);
                totalHeight += distance;
                if(totalHeight >= scrollHeight){
                    clearInterval(timer);
                    resolve();
                }
            }, 100);
        });
    });
}

Dalam kode di atas, kita menggunakan fungsi autoScroll karena Shopee menggunakan teknik lazy loading, di mana data produk hanya akan muncul saat pengguna melakukan scroll ke bawah. Tanpa fungsi ini, Anda hanya akan mendapatkan sedikit data atau bahkan data kosong.

Optimasi dengan Puppeteer Stealth

Meskipun kita sudah menggunakan plugin stealth, ada beberapa optimasi tambahan agar tutorial scraping data shopee bypass login node js puppeteer ini bekerja lebih maksimal:

  1. Random Delay: Jangan biarkan bot Anda bergerak terlalu cepat. Gunakan fungsi sleep acak di antara setiap aksi (klik, scroll, navigasi).
  2. Viewport Realistis: Atur ukuran layar yang umum digunakan manusia, misalnya 1366×768 atau 1920×1080.
  3. Proxy: Jika Anda melakukan scraping dalam volume besar, gunakan layanan proxy perumahan (residential proxy) agar IP Anda sering berganti.

Menyimpan Data ke Format JSON atau CSV

Setelah data berhasil diambil, langkah selanjutnya adalah menyimpannya ke dalam format yang mudah diolah. Node.js memiliki modul bawaan fs (File System) yang sangat membantu dalam hal ini.

Untuk menyimpan ke JSON, Anda bisa menggunakan fs.writeFileSync('data.json', JSON.stringify(products, null, 2)). Jika Anda lebih suka format CSV untuk dibuka di Excel, Anda bisa menggunakan library tambahan seperti json2csv.

Memiliki data dalam format terstruktur memungkinkan Anda melakukan analisis lebih lanjut, seperti membandingkan harga antar toko atau melihat fluktuasi harga produk tertentu dari waktu ke waktu.

Etika dan Aspek Hukum Web Scraping

Penting untuk diingat bahwa web scraping berada di area abu-abu secara hukum jika tidak dilakukan dengan bijak. Selalu periksa file robots.txt dari situs web yang bersangkutan (misal: shopee.co.id/robots.txt).

  • Jangan Membebani Server: Berikan jeda waktu yang cukup antar permintaan agar tidak menyebabkan Denial of Service (DoS) secara tidak sengaja.
  • Data Pribadi: Hindari mengambil data sensitif atau data pribadi pengguna. Fokuslah pada data publik seperti informasi produk.
  • Penggunaan Komersial: Jika Anda menggunakan data ini untuk tujuan komersial, pastikan tidak melanggar Syarat dan Ketentuan (ToS) Shopee.

Kesimpulan dan Langkah Selanjutnya

Menguasai tutorial scraping data shopee bypass login node js puppeteer memberikan Anda keunggulan kompetitif yang signifikan dalam dunia analisis data e-commerce. Dengan kombinasi Node.js, Puppeteer Stealth, dan strategi penggunaan cookies, Anda dapat menembus batasan teknis yang ada dengan cara yang elegan dan efisien.

Sebagai langkah selanjutnya, Anda bisa mencoba untuk mengintegrasikan skrip ini dengan database seperti MongoDB atau PostgreSQL untuk penyimpanan data jangka panjang, atau membuat dashboard visualisasi data menggunakan framework seperti Next.js atau Streamlit.

Ingatlah bahwa struktur web Shopee bisa berubah sewaktu-waktu. Oleh karena itu, Anda harus terus memantau dan memperbarui selektor CSS dalam skrip Anda agar tetap berfungsi dengan baik. Selamat mencoba dan teruslah bereksperimen!

Tinggalkan komentar