Bikin CTF yang bener dong, jangan malu-maluin

Daripada sekedar menyindir (sindiran sudah dilakukan puluhan orang dari beberapa tahun lalu), sekalian lah saya posting terbuka bagi penyelenggara lomba Capture The Flag (CTF) yang super ngawur, terutama CTF Cyber Jawara. Beberapa CTF Indonesia sudah baik (seperti botani.cf Gemastik, atau idsecconf), tapi Cyberjawara ini sudah parah, jadi bahan tertawaan setiap tahun tetap saja tidak membaik (tahun ini saja sudah ada beberapa, misalnya ini, ini dan ini). Padahal ini adalah kegiatan ID SIRTII (Indonesia Security Incident Response Team on Internet Infrastructure)

ctf

Daripada menyindir secara halus dan sudah tidak berhasil, sekalian lah saya tulis di blog secara blak-blakan, supaya bisa dibaca oleh semua orang. Semoga cara ini lebih berhasil.

Sebenarnya sudah ada banyak petunjuk bagaimana menyelenggarakan CTF yang baik, misalnya dari PPP, salah satu team CTF terbaik di dunia. Tapi bagian yang diminta untuk avoid malah jadi bagian utama di Cyber Jawara.

Try to avoid these as much as possible:

Menurut saya CTF yang buruk akan merusak semua pihak:

  1. Para pemain CTF yang susah payah belajar dengan ikutan CTF Internasional tiap minggu tidak bisa dikenali di Indonesia karena tidak bisa menang main tebak-tebakan
  2. Para peserta tidak belajar hal yang baru dari CTF
  3. Pembuat soal mempermalukan diri dengan soal kacangan, dan terlihat tidak pernah ikutan CTF internasional, kredibilitasnya diragukan
  4. Kita jadi bahan tertawaan negara lain (pemenang ini akan masuk jadi team yang mewakili Cyber Sea Games).

Ketika di Amerika sudah melakukan riset dan kompetisi automated tool untuk CTF, kita masih main tebak-tebakan, soal exploitasi jarang diberikan, paling jauh reverse engineering dengan XOR.

Soal kriptografi juga kebanyakan hanya main tebak-tebakan. Tidak pernah ada soal yang memberikan source code (jadi semua soal adalah ciphertext only). Ciphertextnya pun sangat pendek. Mengutip dari dokumen saran dari PPP:

Give enough ciphertext for meaningful statistics (twenty ASCII characters can be almost anything). sering sekali soalnya cuma beberapa simbol atau beberapa angka, dan ternyata ini substitution cipher.

Use a guessable algorithm. With a classic cipher and a short amount of ciphertext, it may be very difficult to narrow it down. The challenge should be in breaking the crypto system, not figuring out what the crypto system is. Sistem kriptografinya yang selalu jadi tebakan, bukan breaking cryptonya.

Saran saya, kalo memang yang seperti ini ingin dipertahankan, nama kompetisinya diganti saja: lomba paranormal cyber atau lomba dukun cyber.

Update 27 Agustus 2016: Menanggapi berbagai komentar di sini atau di social media yang menyatakan bahwa CTF CyberJawara ini bagus untuk pemula karena mereka jadi belajar sesuatu: Sebenarnya menurut saya justru ini salah satu bahayanya CyberJawara. Para pemula MENGIRA mereka BELAJAR sesuatu. Padahal yang dipelajari tidak terpakai, dan pemula akan MENGIRA bahwa beginilah dunia CTF sesungguhnya secara internasional. Parahnya lagi CyberJawara ini levelnya nasional, bukan level sekolah masak kualitasnya kalah jauh dibandingkan HSCTF, sebuah CTF dari anak highschool untuk highschool?

Kalau mau ikutan CTF yang lebih berkelas dan selalu terbuka silakan ikuti Botani CTF. Soalnya bervariasi dari mudah sampai sulit. Saya juga menyumbang beberapa soal untuk CTF Idsecconf yang sedang aktif saat ini.

Kalau penasaran saya sudah ikut CTF apa saja (dan writeup saya), silakan baca di blog team Rentjong dan team Play4fun, sedangkan yang saya ikuti individu ada di github saya. Jika ingin ikutan CTF (yang beneran), saya juga sudah menulis perlu belajar apa.

Update 30 Agustus 2016: Pihak CyberJawara menjawab panjang lebar (kayak ngecap) di facebook

Karena nggak masuk akal, saya kejar terus, hasilnya ternyata mereka sepertinya bahkan nggak tau bahwa CJ itu tujuan akhirnya ke DEFCON, sedangkan mereka tidak punya roadmap ke DEFCON.

112 thoughts on “Bikin CTF yang bener dong, jangan malu-maluin”

  1. Idih ngeless mulu , ini kan tentang pembuktian bukan stegano, trus menurut imuy ini soal outofthebox, kalo pas kompetisi pake grc bisa semingggu dah kompetisinya, udah lah ga ush jelekin apapun kompetisi ctf, kita sharing ilmu saling support bukan tuk saling jatuhkan, kalo hebat ya rangkul yg blm hebat, kan enak smuanya.

    1. Lah ngeles apa sih? Bingung saya. Awalnya comment anda itu bilang apa sih? Ada soal sekelas internasional? Terus saya buktikan kalo itu cuma sekelas ctf biasa, selevel stego/forensik aja, sekedar ekstrak dengan tools tertentu. Udah.

      Mbak ini kerja di kominfo yang sering ketemuan dengan id sirtii ya? Mohon disampaikan supaya mereka belajar dari CTF lain ya.

  2. waduh ini gimana saya mau belajar soal ctf, nanya aja dibilang klonengan, ya sudah lah anda emang hebat, account saya emang klonengan krn saya bukan siapa siapa dan malu kalo mau menonjolkan diri

    1. Kalo mau belajar jangan malu. Tuliskan apa yang Anda tahu. Sharing ilmu adalah cara terbaik untuk belajar.

      Bingung saya dengan para komentator di sini, bilang saya sombong, sedangkan saya mau bagi ilmu. Terus diminta nulis writeup ga ada yang mau nulis. Padahal rajin banget komentar panjang di sini.

  3. Tuh kan skrg kepo, ini bahas technique koo bawa isue yg lain, bikin isue itu mudah, tinggal kait kaitkan sana sini, trus tujuannya apa, kalo bahas keilmuan ya bahas teknik lah, fokus sama point.
    Trus signal ???? Signal kan sifatnya broadcasting,soal itu kan soundwave, itu ga da signal krn tdk ada yg dibroadcasting, kalo dibroadcasting kan harus pake hardware yg minimal bisa rx, yang imuy dapat bentuknya soundwave, dan beda jauh dg karakteristik sstv, dari suara aja udh beda, coba aja bandingin karakteristik sstv dengan modem, dalam bentuk wave aja udh beda,trus kalo bahas teknik dikaitkan dg isue ya smua bisa aja , sesuai image si pembuat isue, kan imuy dah bilang pointnya soal satelite dan lokasi, eeeehhh kamu kemana mana.

    1. Lah situ tadinya kan ngaku bukan panitia. Jadi penasaran apa peserta biasa atau ada hubungan dengan id sirtii karena agak ngotot.

      Soal teknis sudah saya bahas. Waktu saya biang saya pikir sstv hanya karena nama challenge nya (contoh soal jelek) dan bukan ketika sudah saya dapet filenya.

      Terus ini sama aja semua yang komen di sini. Mau diskusi teknis di komentar. Jago banget nulis komentar panjang lebar, disuruh nulis writeupnya ga mau. Ditunggu writeupnya 😂😂😂

    2. Anyway technically flagnya belum ketemu. Yang ketemu cuma foto dan path GPS. Silakan ditanyakan ke orang id sirtii ya kalo ketemu.

  4. Memang imuy bukan panitia, hanya berusaha memecahkan wavenya, dan bukan foto, menurut imuy sih itu data log, kalo mau nanya ya tanya aja sendiri ke panitia, imuy ngotot krn kamu bilang paling paling stegano,kalo imuy dah coba, simak lagi deh komenku, imuy sih pertahanin apa yg saya anggap benar, kamu aja bawa ke mana mana, trus analisa imuy kan setelah didecode ketemu bentuk tracknya, sorry ya bukan pathnya. Lagian menurut imuy itu bukan jpeg tapi tracking. Itu imuy pertahanin ga ada indikasi lain, seharusnya kamu yg tanya flagnya bener ga. Gimana mau cari flag dalam bentuk log. Intinya log track itu jawabannya. Setidaknya bisa dipecahkan dan bukan stegano, kalo log ini bisa aja disisipkan dalam pcap tapi dalam soal ini kan engga, masa argumen kayak gini dikaitkan dg panitia.

    1. Hehe, saya udah berhenti balesin Semua unek2 udah saya sampaikan di posting baru.

      Ini mau saya tutup, tapi akan saya biarkan yang sudah ada, sekedar nanti bisa direfer: gini nih hasilnya kalo debat sama orang yang gak bisa memberitahukan kualifikasi dirinya apa. Mirip debat sama pengemis atau gelandangan pinggir jalan.

      Jadi lain kali kalo ada yang nantangin saya, saya bisa tunjuk: lihat dulu kredibilitas Anda, kalo nggak nanti bakal ngejunk kayak thread ini.

  5. KOMEN UNTUK POSTING INI DITUTUP. SILAKAN BACA POSTING BERIKUTNYA (dan comment di sana). TERIMA KASIH.

    Sebagai catatan bagi diri saya (karena saya akan lupa di masa depan). Juga bagi yang rajin membaca semua comment di sini:

    Perhatikan kekonyolan di atas: imuy menantang saya dengan soal SATELIT dan LOKASI. Tidak ada petunjuk MODEM sama sekali di situ.

    Setelah menyebut-nyebut gnuradio dsb. Saya sempat berpikiran positif: mungkin ada orang CyberJawara baru belajar SDR (software defined radio) dan membuat berbagai pertanyaan seputar itu. Ada banyak signal yang bisa dengan mudah dibuat dengan berbagai tool di sini: http://www.sigidwiki.com/wiki/Signal_Identification_Guide Hal yang kepikiran di kepala saya adalah: ah paling2 ini transmisi SATELIT (seperti judul soalnya), dan mungkin berikutnya adalah transmisi GPS (karena nama soalnya lokasi). Ternyata setelah saya liat, ini signal MODEM. Saya baru ngeh bahwa soal yang sama inilah yang dimaksud oleh poster di posting Jim Geovedi.

    http://imgur.com/bV3YKDg

    Siapa orang yang mengira SATELIT berhubungan dengan MODEM? Saya pikir ini SOAL YANG BERBEDA (di posting jim, dia TIDAK menyebut soal satelit, di posting saya dia TIDAK menyebut soal modem). Setelah saya decode, ternyata ITU SOAL YANG SAMA (soal modem di comment jim adalah soal satelit). Terus saya jadi bisa menghubungkan bahwa ternyata Imuy ini adalah orang yang sama dengan yang berkomentar di Jim Geovedi. Nah setelah saya sebutkan fakta itu, saya malah DITUDUH curang karena menggunakan hint modem dari dia *tepokjidat*.

    Perhatikan bahwa tiba-tiba “jim” (bukan Jim Geovedi, jim orang yang gak jelas) ini tiba2 muncul mendukung imuy. Jim ini bahkan tidak bisa mendapatkan soal di awal, tapi tiba-tiba bisa decode file wavnya dan ketika saya tanya, katanya: “setau saya liat di komen atas, @imuy sdh ngasih tau clue nya, eh ternyata bener”. Nah padahal di BLOG INI, tidak pernah ada komentar imuy soal modem. Di sini Imuy bahkan ingin “menyesatkan” dengan menyebut-nyebut GNURadio “Kategorinya wireless signal hacking coy, tools nya buanyyakkkk , contohnya di kali linux juga ada, ato kalo develop nya bisa pake GNU radio, itu aja saya baca sedikit. Dan saya coba praktekan ternyata bisa tuch dapet Flag nya”. Seolah-olah dia memakai gnuradio dari kalimat yang nyambung itu (yang katanya ternyata nggak dipake setelah saya tanya file GRC-nya).

    Singkatnya: karakter “jim” ini LUPA karakter “imuy” berkomentar di mana aja.

    Plus akhirnya SAMPAI SEKARANG tidak ada yang tahu APA FLAGnya. Saya sudah kejar panitianya, sudah saya bilang bahwa ini adalah capture the FLAG jadi yang ditangkep adalah FLAG, tapi saya katanya jangan berfokus pada FLAG. CTF macam apa ini? dan Imuy bersikeras ini bukan jenis soal tebak buah manggis.

    Dan tentunya dua-duanya MINGKEM ketika disuruh bikin writeup. Bilangnya gak ada waktu, padahal nyerocos di posting ini sudah ratusan kalimat, lebih dari cukup untuk membuat writeup.

    Untuk soal LOKASI, ternyata itu adalah file LOG GPS (NMEA), bukan signal GPS raw. Sangat mengecewakan. Kalau mau bikin kategori signal hacking, ya bukan signal kayak gitu lah, kita harus belajar dan menebak modulasinya, atau memakai tools advanced, bukan sebuah command minimodem aja.

    Anyway, ternyata Imuy adalah orang kominfo. ID-SIRTII (penyelenggara Cyberjawara) ada di bawah kominfo. Jika dicek FB-nya, ternyata Imuy kenal dengan pihak penyelenggara (rapat bareng dsb). So, silakan dinilai sendiri lomba yang mengijinkan peserta dari pihak yang terlalu dekat dengan panitia. Bahkan menyebutkan FAKTA bahwa dia kerja di kominfo malah saya dibilang KEPO.

Komentar ditutup.