Vertex AI

قمت ببناء وكيل ذكاء اصطناعي يقوم باتمتة تتبّع تكاليف واستخدام نماذج التعلم الآلي (LLM) عبر OpenAI وAnthropic وGoogle وغيرها

بيانات المخرجات

لكل استدعاء LLM

تفاصيل التكلفة (وقت الاستجابة، وقت الإكمال، الإجمالي بالدولار )

مقاييس الرموز (وقت الاستجابة، وقت الإكمال، الإجمالي)

الأداء (وقت التنفيذ، سبب الإنهاء)

معاينة المحتوى (أول 100 حرف من الإدخال/الإخراج)

معلمات النموذج (القيمة المؤقتة، الحد الأقصى للرموز، المهلة)

سياق التنفيذ (سير العمل، العقدة، الحالة)

تتبع التدفق (سلسلة العقد السابقة)

إحصائيات موجزة

إجمالي عمليات التنفيذ والتكاليف

التوزيع حسب نوع النموذج

التوزيع حسب العقدة

متوسط ​​التكلفة لكل استدعاء

إجمالي وقت التنفيذ

من خلال المخرجات السابقة يمكن فعل الاتي :

تخزينها في قاعدة بيانات للتتبع التاريخي

إرسالها إلى Teams كتنبيه تكلفة

إنشاء لوحات معلومات باستخدام البيانات الموجزة

تحديد عتبات الميزانية وتفعيل التنبيهات

تصديرها إلى جداول بيانات Google لإعداد التقارير

التقنيات المستخدمة:

Python,

FastAPI,

Flask,

n8n,

LangChain,

LangSmith,

LiteLLM,

OpenAI API,

Anthropic API,

Google Gemini API,

tiktoken,

Helicone,

Portkey,

PromptLayer,

MongoDB,

InfluxDB,

Power BI,

Plotly,

React,

Next.js,

Tailwind CSS,

Streamlit,

Microsoft Teams API, Slack API, Webhooks, Google Sheets API,