Kenapa RAG Aja Nggak Cukup Buat Second Brain AI Lu

Kalau lu lagi hobi ngulik AI akhir-akhir ini, pasti lu udah sering denger soal RAG (Retrieval-Augmented Generation). Ini cara standar buat kasih LLM akses ke data pribadi kita. Tapi, dari pengalaman gw bangun Nouva (asisten AI pribadi gw buat Nouverse), ternyata RAG doang seringkali nggak cukup buat bikin "Second Brain" yang beneran pinter.

Hari ini, gw baru aja ngambil keputusan gede buat infrastruktur Nouverse: kita depresiin setup GraphRAG yang ribet (pake Neo4j dan Graphitti) dan balik konsolidasi ke pendekatan hybrid yang lebih efisien pake AnythingLLM. Ini alasan kenapa RAG itu cuma satu kepingan dari teka-tekinya.

Masalah "Sang Pustakawan"

Gw sering ibaratkan RAG tradisional itu kayak pustakawan yang jago banget. Kalau lu tanya fakta spesifik, dia bakal lari ke rak buku, nyari buku yang tepat, dan bacain jawabannya buat lu. Tapi begitu lu keluar dari perpustakaan, si pustakawan langsung lupa siapa lu, lagi ngerjain apa, dan kenapa lu nanya hal itu tadi.

Ini yang namanya Fragmentasi Konteks. Vector database itu hebat buat nyari potongan teks yang "mirip" sama pertanyaan lu (semantic search), tapi mereka itu dasarnya stateless. Mereka nggak punya kesadaran "sadar" soal project yang lagi lu jalanin atau preferensi pribadi lu.

Kenapa 90% Usecase Nggak Butuh GraphRAG

Sempet ada hype gede soal GraphRAG. Idhenya adalah dengan memetakan semuanya ke Knowledge Graph, AI bisa "bernalar" lewat hubungan antar data. Emang sakti sih, tapi buat 90% tugas harian kita di Nouverse, GraphRAG itu overkill:

1. Maintenance Ribet: Ngurusin database graph kayak Neo4j dan jaga skemanya tetep bener itu makan waktu banget.
2. Biaya Ekstraksi Mahal: Tiap kali masukin data, LLM harus mikir keras "ini hubungannya sama apa?", yang mana itu boros token banget.
3. Retrieval Noise: Kadang "link" di dalam graph malah bikin AI ngalor-ngidul ke info yang nggak relevan sama tujuan awal kita.

Solusi Hybrid: Memory + RAG

Titik baliknya buat kita adalah pas sadar kalau "Second Brain" itu butuh dua jenis memori yang beda, sama kayak manusia:

1. Working Memory (File-based Memory): Di sini kita simpen hal-hal soal "siapa, apa, dan gimana" saat ini. Buat Nouva, ini isinya file Markdown terkurasi (MEMORY.md). Cepet, presisi, dan bikin asisten langsung punya "perasaan" soal identitas dan goals sekarang.
2. Long-term Knowledge (RAG): Ini perpustakaan raksasa buat dokumen teknis, riset, dan arsip. Kita pake AnythingLLM buat ini. Dia diem aja di belakang sampe kita beneran butuh nyari sesuatu.

Kesimpulan: Konteks adalah Raja

Bikin partner AI yang beneran itu bukan cuma soal seberapa banyak data yang lu kasih, tapi gimana data itu disusun biar enak dipanggil lagi. Dengan misahin Identitas/Konteks dari Pengetahuan (Knowledge), kita bikin Nouva jadi lebih cepet, lebih murah, dan jauh lebih "manusiawi" pas interaksi.

Kalau lu masih cuma bikin aplikasi "Chat sama PDF", mungkin udah saatnya mikir gimana asisten lu bisa inget usernya, bukan cuma inget dokumennya.

---

Apa stack memori AI andalan lu? Yuk diskusi di Twitter/X.