Tutorial Scraping Data Twitter (X) dengan Python Twint: Panduan Lengkap & Terbaru

oleh

Pernahkah Anda membayangkan betapa berharganya data yang ada di platform X (sebelumnya Twitter)? Mulai dari tren pasar, opini publik tentang sebuah brand, hingga analisis sentimen politik, semuanya tersedia di sana. Namun, tantangan terbesarnya adalah bagaimana mengambil data tersebut secara efisien tanpa harus berurusan dengan batasan API yang ketat dan mahal. Di sinilah tutorial scraping data twitter x dengan python twint menjadi sangat relevan bagi para praktisi data dan pengembang di Indonesia.

Dalam artikel ini, kita akan membedah secara mendalam bagaimana menggunakan Twint, sebuah alat open-source yang sangat kuat untuk mengambil data dari X tanpa memerlukan API Key resmi. Kita akan membahas dari tahap instalasi hingga teknik penyimpanan data ke format CSV atau JSON yang siap diolah.

Apa itu Twint dan Mengapa Menggunakannya?

Twint adalah singkatan dari Twitter Intelligence Tool. Berbeda dengan library Python lainnya seperti Tweepy yang membutuhkan akses API resmi dari Twitter Developer Portal, Twint bekerja dengan memanfaatkan teknik web scraping yang canggih. Ini berarti Anda tidak perlu menunggu persetujuan akun developer atau membayar biaya langganan API yang kini semakin mahal sejak Twitter berganti menjadi X.

Beberapa keunggulan utama menggunakan Twint meliputi:

  • Tanpa API Key: Anda bisa langsung mulai mengambil data tanpa proses registrasi yang rumit.
  • Hampir Tanpa Batas: Twint dapat mengambil hampir semua tweet (tergantung pada limitasi teknis web X).
  • Kecepatan: Proses pengambilan data relatif cepat karena tidak terikat pada rate limit API standar.
  • Fitur Lengkap: Bisa memfilter berdasarkan keyword, username, rentang waktu, hingga lokasi geofencing.

Persiapan Sistem dan Lingkungan Python

Sebelum masuk ke level teknis tutorial scraping data twitter x dengan python twint, pastikan perangkat Anda sudah memenuhi syarat minimum. Twint membutuhkan lingkungan Python yang stabil. Kami sangat menyarankan menggunakan Python versi 3.6 hingga 3.9, karena beberapa dependensi Twint mungkin mengalami konflik pada versi Python 3.11+ yang sangat baru.

Pastikan Anda sudah menginstal Git di komputer Anda, karena kita akan menginstal Twint langsung dari repositori GitHub untuk mendapatkan update terbaru yang memperbaiki bug versi lama.

Cara Instalasi Twint (Versi Terbaru)

Banyak pengguna mengalami kegagalan saat menginstal Twint menggunakan perintah pip install twint biasa. Hal ini dikarenakan versi di PyPi seringkali sudah usang. Ikuti langkah-langkah di bawah ini untuk instalasi yang benar:

  1. Buka terminal atau Command Prompt (CMD) Anda.
  2. Jalankan perintah berikut untuk menginstal Twint langsung dari GitHub: 
    pip install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint
  3. Instal juga library nest_asyncio untuk menghindari error saat menjalankan Twint di lingkungan Jupyter Notebook atau Google Colab: 
    pip install nest_asyncio

Dasar-Dasar Penggunaan Twint via CLI

Salah satu kehebatan Twint adalah kemampuannya dijalankan langsung melalui terminal tanpa menulis satu baris kode Python pun. Berikut adalah beberapa perintah dasar yang sering digunakan:

Scraping berdasarkan Username:
twint -u user_target

Scraping berdasarkan Kata Kunci (Keyword):
twint -s "teknologi ai"

Scraping dengan Rentang Waktu:
twint -s "bitcoin" --since 2023-01-01 --until 2023-12-31

Tutorial Scraping Data Twitter X dengan Python Twint (Scripting)

Untuk kebutuhan riset yang lebih profesional, Anda tentu ingin menggunakan script Python agar prosesnya bisa diotomatisasi. Berikut adalah struktur dasar kode untuk melakukan scraping:

import twint
import nest_asyncio

# Mengatasi masalah runtime di Jupyter/Colab
nest_asyncio.apply()

# Konfigurasi Twint
c = twint.Config()

# Tentukan parameter pencarian
c.Search = "kecerdasan buatan"
c.Limit = 100 # Batasi jumlah tweet
c.Lang = "id" # Filter bahasa Indonesia

# Jalankan pencarian
twint.run.Search(c)

Dalam tutorial scraping data twitter x dengan python twint ini, penting untuk memahami objek twint.Config(). Di sinilah Anda mengatur semua filter, mulai dari lokasi (c.Geo), hanya tweet yang memiliki gambar (c.Images), hingga filter tweet populer (c.Min_likes).

Menyimpan Hasil Scraping ke CSV dan JSON

Data yang hanya tampil di layar terminal tentu tidak berguna untuk analisis. Anda perlu menyimpannya ke dalam format file. Twint mempermudah proses ini dengan parameter bawaan.

Berikut adalah cara menyimpan data ke file CSV:

c.Store_csv = True
c.Output = "hasil_scraping.csv"

Jika Anda lebih suka format JSON untuk integrasi dengan database NoSQL atau aplikasi web:

c.Store_json = True
c.Output = "data_tweet.json"

Penting: Pastikan Anda memiliki izin akses tulis di folder tempat Anda menjalankan script agar file bisa tersimpan dengan sempurna.

Tips Menghindari Blokir dan Mengatasi Error

X (Twitter) memiliki sistem keamanan yang ketat untuk mendeteksi aktivitas bot. Jika Anda melakukan scraping terlalu cepat atau dalam jumlah yang terlalu besar secara terus-menerus, IP address Anda berisiko diblokir sementara.

Berikut adalah tips profesional agar scraping Anda tetap aman:

  • Gunakan Delay: Meskipun Twint tidak memiliki parameter delay bawaan yang sempurna dalam mode CLI, Anda bisa membagi tugas scraping dalam beberapa batch di script Python menggunakan time.sleep().
  • Gunakan Proxy: Twint mendukung penggunaan proxy melalui parameter c.Proxy_host dan c.Proxy_port.
  • Gunakan VPN: Mengganti lokasi IP secara berkala dapat membantu menghindari deteksi sistem keamanan X.
  • Update Library: X sering merubah struktur HTML mereka. Pastikan Anda selalu mengupdate Twint secara berkala dari repositori resminya.

Alternatif Twint di Tahun 2024

Perlu dicatat bahwa sejak transisi dari Twitter ke X, banyak library scraping tradisional mengalami kendala teknis. Jika Anda mengikuti tutorial scraping data twitter x dengan python twint dan menemukan hasil yang kosong (0 tweets found), itu tandanya Twint sedang mengalami masalah dengan perubahan terbaru di server X.

Sebagai solusi, Anda bisa mencoba beberapa alternatif berikut:

  1. NTScreaper: Library yang lebih baru dan seringkali lebih tangguh menghadapi perubahan layout X saat ini.
  2. Snscrape: Meskipun saat ini juga mengalami kendala serupa, snscrape masih sering digunakan oleh komunitas data science.
  3. Official X API (Free Tier): Jika kebutuhan Anda hanya sedikit (misalnya 1.500 tweet per bulan), menggunakan API resmi adalah cara paling aman dan legal.

Kesimpulan dan Langkah Selanjutnya

Menguasai tutorial scraping data twitter x dengan python twint memberikan keunggulan kompetitif bagi siapa saja yang bekerja di bidang teknologi dan analisis data. Dengan kemampuan mengambil data tanpa hambatan API, Anda bisa melakukan riset pasar yang mendalam, memantau tren secara real-time, dan membangun model machine learning yang lebih akurat.

Namun, selalu ingat untuk menjaga etika dalam melakukan scraping. Jangan mengambil data pribadi yang sensitif dan patuhi ketentuan penggunaan platform sejauh mungkin. Sebagai langkah selanjutnya, cobalah untuk mengintegrasikan hasil scraping Anda dengan library analisis data seperti Pandas untuk melakukan pembersihan data dan Matplotlib untuk visualisasi.

Apakah Anda siap untuk mulai menambang data dari X? Mulailah dengan script sederhana di atas dan kembangkan sesuai kebutuhan riset Anda!

Tinggalkan komentar