ساخت و درک یک پایگاه داده برداری از ابتدا در 10 مرحله آسان

</p> <p>pip ترانسفورماتورهای جمله numpy را نصب می کند

</p> <p>زمان واردات <br /> از مسیر واردات pathlib <br /> <br /> وارد کردن numpy به عنوان np <br /> <br /> از DOCS corpus import، META <br /> از vector_db import VectorDB <br /> <br /> WIDTH = 64 <br /> <br /> def header(title): <br /> print(f”\n{title}\n{‘─’ * len(title)}”) <br /> <br /> نمایش def (نتایج): <br /> اگر نتیجه نداد: <br /> print(” (بدون منطبق)”) <br /> برای رسیدن به نتایج: <br /> text = hit.text if len(hit.text)

</p> <p>header(“2. Building the index”) <br /> <br /> t0 = time.perf_counter() <br /> db = VectorDB() <br /> load_seconds = time.perf_counter() – t0 <br /> <br /> t0 = time.perf_counter() <br /> db.add(DOCS، META) <br /> encode_seconds = time.perf_counter() – t0 <br /> <br /> print(f” {db!r}”) <br /> print(f” loading model: {load_seconds:5.2f}s”) <br /> print(f” encoding: {encode_seconds:5.2f}s for {len(db)} document “ <br /> f”({encode_seconds / len(db) * 1000:.0f} ms هر کدام)”) <br /> print(f” اندازه شاخص: {db.vectors.nbytes / 1024:5.1f} KiB “ <br /> f”{db.vectors.shape} از {db.vectors.dtype}”)

</p> <p>2. ساختن شاخص <br /> –<br /> VectorDB(25 document, dim=384, model=”sentence-transformers/all-MiniLM-L6-v2″) <br /> بار مدل: 1.64s <br /> رمزگذاری: 0.14 ثانیه برای 25 سند (هر کدام 6 میلی ثانیه) <br /> اندازه شاخص: 37.5 کیلوبایت (25، 384) توسط float32

</p> <p>header(“3. First Search”) <br /> <br /> query = “چه چیزی سلول را با انرژی تامین می کند؟” <br /> print(f’ query: “{query}”\n’) <br /> show(db.search(پرسش، k=3))

</p> <p>3. جستجوی اول <br /> ──────────────────── <br /> پرس و جو: “چه چیزی سلول را با انرژی تامین می کند؟” <br /> <br /> +0.589 [bio ] میتوکندری نیروگاه سلول است. <br /> +0.440 [bio ] در طی تنفس هوازی، میتوکندری ها ATP را توسط… <br /> +0.329 [comics ] فیبرهای ماهیچه ای غنی از میتوکندری ثور آن را از نظر بیولوژیکی بیشتر…

</p> <p>header(“4. جستجو بدون اشتراک گذاری یک کلمه”) <br /> <br /> برای پرس و جو در (“چرا طعم نان من ترش است”، “ابر قهرمانان”): <br /> print(f’ query: “{query}”\n’) <br /> show(db.search(پرسش، k=3))

</p> <p>4. جستجو بدون اشتراک گذاری یک کلمه <br /> ──────────────────── ────────────────────── <br /> query: “چرا طعم نان من ترش است” <br /> <br /> +0.630 [food ] طعم معطر نان خمیر ترش از اسید استیک و لاکتیک می آید… <br /> +0.497 [food ] تخمیر خمیر ترش بر اساس مخمر وحشی و باک اسید لاکتیک است… <br /> +0.386 [food ] واکنش میلارد بین اسیدهای آمینه و قندهای کاهنده… <br /> <br /> query: “ابر قهرمانان” <br /> <br /> +0.369 [comics ] آلتر ایگوی تونی استارک، مرد آهنی، دارای یک اسکلت بیرونی نیرومند است… <br /> +0.357 [comics ] پیتر پارکر قدرت فوق العاده، خزیدن روی دیوار و پیشگویی به دست آورد… <br /> +0.353 [comics ] بروس بنر به طور ناخواسته تبدیل به هالک می شود که تبلیغ او…

</p> <p>header(“5. خواندن نتایج”) <br /> <br /> query = “بهترین روش برای تعویض لاستیک” <br /> print(f’ query: “{query}”\n’) <br /> show(db.search(پرسش، k=3))

</p> <p>5. خواندن نتایج <br /> –<br /> query: “بهترین راه برای تعویض لاستیک” <br /> <br /> +0.111 [ml ] ترانسفورماتورها جایگزین شبکه های تکراری برای اکثر کارهای متوالی شده اند. <br /> +0.096 [comics ] مانند سلول های پیتر پارکر که به لطف او به طور مداوم بازسازی می شود… <br /> +0.068 [ml ] مکانیسم توجه به خود در Transformers به هر توکن اجازه می دهد…

</p> <p>header(“6. محدود کردن نتایج با ابرداده”) <br /> <br /> query = “چه چیزی سلول را با انرژی تامین می کند؟” <br /> print(f’ query: “{query}” (بدون فیلتر)\n’) <br /> show(db.search(query, k=4)) <br /> <br /> print(f’ query: “{query}” where={{“topic”: “bio”}}\n’) <br /> show(db.search(query, k=4, where={“topic”: “bio”}))

</p> <p>6. محدود کردن نتایج با ابرداده <br /> ──────────────────── ────────────────── <br /> query: “چه چیزی سلول را با انرژی تامین می کند؟” (بدون فیلتر) <br /> <br /> +0.589 [bio ] میتوکندری نیروگاه سلول است. <br /> +0.440 [bio ] در طی تنفس هوازی، میتوکندری ها ATP را توسط… <br /> +0.329 [comics ] فیبرهای ماهیچه ای غنی از میتوکندری ثور او را از نظر بیولوژیکی بیشتر… <br /> +0.308 [bio ] میتوکندری ها حاوی DNA خود هستند، باقیمانده ای از باستانی خود … <br /> <br /> query: “چه چیزی سلول را با انرژی تامین می کند؟”where={“topic”: “bio”} <br /> <br /> +0.589 [bio ] میتوکندری نیروگاه سلول است. <br /> +0.440 [bio ] در طی تنفس هوازی، میتوکندری ها ATP را توسط… <br /> +0.308 [bio ] میتوکندری ها حاوی DNA خود هستند، باقیمانده ای از باستانی خود … <br /> +0.191 [bio ] اختلال عملکرد میتوکندری با نورودژنراتیو مرتبط است.

</p> <p>header(“7. فیلتر باریکتر از k”) <br /> <br /> print(‘ query: “bread” where={“topic”: “music”}, k=5\n’) <br /> results = db.search(“نان”, k=5 where={“موضوع”: “موسیقی”}) <br /> نمایش (نتایج) <br /> print(f” 5 درخواست کرد، {len(نتایج)}\n”) <br /> <br /> print(‘ query: “bread” where={“topic”: “astrology”}\n’) <br /> show(db.search(“hlab”, k=5, where={“topic”: “طالع بینی”}))

</p> <p>7. فیلتر باریکتر از k <br /> –<br /> query: “bread” where={“موضوع”: “موسیقی”}، k=5 <br /> +0.082 [music ] در موسیقی کلاسیک، فوگ یک ترکیب مخالف در… <br /> درخواست 5، دریافت 1 <br /> <br /> query: “bread” where={“topic”: “طالع بینی”} <br /> (بدون مطابقت)

</p> <p>header(“8. Guardrails”) <br /> <br /> برای برچسب، متون، ابرداده ج [ <br /> (“a single string instead of a list”, “one document”, None), <br /> (“metadata that does not line up”, [“a”, “b”, “c”]، [{“topic”: “x”}])، <br /> ]: <br /> امتحان کنید: <br /> db.add(متون، ابرداده) <br /> به جز (TypeError، ValueError) به عنوان خطا: <br /> print(f” {label}:\n {type(err).__name__}: {err}\n”)

</p> <p>8. نرده محافظ <br /> ──────────────── <br /> تک رشته به جای لیست: <br /> TypeError: add() لیستی از رشته ها را می گیرد، نه یک رشته را <br /> <br /> ابرداده غیر قابل انباشته: <br /> ValueError: 3 متن اما 1 رکورد ابرداده وجود دارد. آنها باید یک به یک ردیف شوند

</p> <p>header(“9. Save and Load”) <br /> <br /> db.save(“شاخص”) <br /> برای مسیر در sorted(Path(“index”).iterdir()): <br /> print(f” {path} {path.stat().st_size / 1024:6.1f} KiB”) <br /> <br /> بازگشایی = VectorDB() <br /> reopened.load(“index”) <br /> print(f”\n بازگشایی شد: {reopened!r}”) <br /> print(f” بردارهای یکسان: {np.array_equal(db.vectors, reopened.vectors)}”) <br /> print(f” همان بازدید برتر: { reopened.search(‘superheroes’, k=1)[0]متن[:44]}…”)

</p> <p>9. ذخیره و بارگذاری <br /> –<br /> index/store.json 3.0 KiB <br /> index/vectors.npy 37.6 KiB <br /> <br /> بازگشایی شد: VectorDB(25 document, dim=384, model=”sentence-transformers/all-MiniLM-L6-v2″) <br /> بردارهای یکسان: True <br /> همان موفقیت برتر: شخصیت جایگزین تونی استارک، مرد آهنی، قدرت دارد…

</p> <p>header(“10. How does this scale”) <br /> <br /> آثار = 50 <br /> t0 = time.perf_counter() <br /> برای _ در محدوده (کار می کند): <br /> db.search(“ایمنی حافظه بدون زباله جمع کن”، k=5) <br /> print(f” {(time.perf_counter() – t0) / اجرا می شود * 1000:.1f} میلی ثانیه در هر درخواست “ <br /> f”over {len(db)} اسناد\n”) <br /> <br /> rng = np.random.default_rng(0) <br /> big = rng.random((100_000، db.dim)، dtype=np.float32) <br /> big /= np.linalg.norm(big, axis=1, keepdims=True) <br /> query_vector = بزرگ[0] <br /> <br /> <br /> def milliseconds (کار، تکرار = 20): <br /> job() <br /> t0 = time.perf_counter() <br /> برای _ در محدوده (تکرار می شود): <br /> job() <br /> بازگشت (time.perf_counter() – t0) / تکرار * 1000 <br /> <br /> <br /> print(f” {‘documents’:>12} {‘memory’:>9} {‘scan’:>9} {‘rank’:>9}”) <br /> برای n اینچ (1_000، 10_000، 100_000): <br /> ردیف = بزرگ[:n] <br /> نتایج = ردیف‌ها @ query_vector scan_ms = میلی‌ثانیه (لامبدا: ردیف‌ها @ query_vector) <br /> rank_ms = میلی ثانیه (لامبدا: np.argsort (نتایج)[::-1][:5]) <br /> print(f” {n:>12,} {rows.nbytes / 1024**2:>7.1f} MB “ <br /> f”{scan_ms:>6.2f} ms {rank_ms:>6.2f} ms”)

</p> <p>10. این مقیاس چگونه <br /> ───────────────────── <br /> 14.9 میلی‌ثانیه در هر درخواست بیش از 25 سند <br /> <br /> رتبه اسکن حافظه سند <br /> 1000 1.5 مگابایت 0.01 ms 0.04 ms <br /> 10000 14.6 مگابایت 0.36 ms 0.55 ms <br /> 100,000 146.5 MB 3.73 ms 8.90 ms