تصور کنید برقی معادل سرورهای مرکز داده عظیم را در دستگاهی به اندازه یک پاور بانک در جیب خود حمل می کنید. اکنون چنین دستگاهی با نام Tiiny AI Pocket Lab به واقعیت تبدیل شده است. استارتآپ آمریکایی Tiiny AI از دستگاهی رونمایی کرد که توسط گینس بهعنوان «کوچکترین ابررایانه هوش مصنوعی شخصی جهان» بهطور رسمی ثبت شده است. این گجت می تواند مدل های اصلی زبان را به صورت کاملا آفلاین و بدون نیاز به اینترنت یا کارت گرافیک های گران قیمت اجرا کند.
به گفته TechPowerUp، این دستگاه کوچک که شبیه هارد اکسترنال است، قدرتی فراتر از تصور را ارائه می دهد. Tiiny AI Pocket Lab می تواند به طور بومی مدل های زبان را با 120 میلیارد پارامتر (در سطح GPT-4) اجرا کند. این دستگاه که برای رفع 80 درصد نیازهای واقعی کاربران طراحی شده است، مدل های متن باز محبوبی مانند Lama، Dipsic، Mistral و Qwen را با یک کلیک نصب و اجرا می کند.
مشخصات فنی این ابر رایانه به شرح زیر است:
- پردازنده: ARMv9.2 با 12 هسته پردازشی.
- رم: 80 گیگابایت حافظه LPDDR5X.
- فضای ذخیره سازی: 1 ترابایت حافظه SSD.
- قدرت پردازش عصبی: تقریباً 190 تریلیون عملیات در ثانیه (TOPS).
کوچکترین ابررایانه هوش مصنوعی جهان
نکته عجیب در مورد این دستگاه حذف کارت گرافیک گسسته (Discrete GPU) و مصرف انرژی بسیار کم (65 وات) است. مهندسان هوش مصنوعی Tiiny با استفاده از دو فناوری نرم افزاری پیشرفته، نیاز به سخت افزار گران قیمت را از بین بردند:
- موتور TurboSparse: این فناوری با فعال کردن نورونهای ضروری در شبکه عصبی مدل (نه کل مدل) کارایی هوش مصنوعی را افزایش میدهد.
- موتور PowerInfer: این موتور منبع باز به صورت پویا بار پردازش را بین واحد پردازش مرکزی (CPU) و واحد پردازش عصبی (NPU) تقسیم میکند تا سرعتهای قابل مقایسه با سرورهای GPU را ارائه دهد.
هدف اصلی این پروژه بازگرداندن هوش مصنوعی از مراکز داده به دست افراد است. Samar Bhoj، مدیرعامل این استارتآپ میگوید: هوش مصنوعی ابری دارای چالشهایی مانند وابستگی، آسیبپذیری و قابلیت نگهداری است. ما می خواهیم هوش مصنوعی را خصوصی و شخصی کنیم.
هنگامی که از این دستگاه استفاده می کنید، تمام داده ها و اسناد شما با رمزگذاری بانکی در خود دستگاه ذخیره می شود و هرگز به اینترنت ارسال نمی شود. علاوه بر این، از آنجایی که نیازی به ارسال درخواست به سرور نیست، تاخیر شبکه حذف می شود. علاوه بر این، مصرف انرژی بسیار کمتر از مراکز داده بزرگ است که به محافظت از محیط زیست کمک می کند.