LLM बाधाओं का खुलासा: ऑब्ज़र्वेबिलिटी, OTEL और लागत नियंत्रण

Workstationव्यापार संक्षिप्त: LLM और एजेंट बाधाओं को अवलोकनीयता के साथ उजागर करें — OpenTelemetry, Prometheus/Grafana/Thanos, और LLM प्लेटफ़ॉर्म जैसे कि Langfuse — ताकि आप लागत में कटौती कर सकें, SLOs को कस सकते हैं, और सबूतों के साथ एजेंट भेज सकते हैं। डीप डाइव:लंबा तकनीकी लेख (OTEL, FinOps, एजेंट बजट)। संबंधित:टर्बोचार्जिंग LLMs·Enterprise AI Lab.

टेलीमेट्री के बिना अड़चनें क्यों छिपती हैं

LLM एजेंट चेन प्रॉम्प्ट, टूल, RAG रिट्रीवल और फिर से कोशिश करते हैं। लेटेंसी और हॉप्स पर कंपाउंड खर्च करें। बिना स्पैन और मैट्रिक्स के आप यह नहीं बता सकते कि अड़चन मॉडल है या नहीं, वेक्टर स्टोर, फ़्लैकी टूल या अनबाउंड सेल्फ - डिबग लूप। इसके बाद व्यावसायिक हितधारक GPUs या API कोटा खरीदते हैं, जबकि उत्पाद की गुणवत्ता स्थिर रहती है।

Workstation का रुख: किसी भी अन्य उत्पादन सेवा की तरह एजेंट पाइपलाइनों का इलाज करें —पहले, फिर सेवारत को अनुकूलित करें (PagedAttention/vLLMदेखें), फिर अनुशासन के साथ प्रचार करें (Ring Promoter)।

वह ऑब्ज़र्वेबिलिटी स्टैक जो अपने लिए भुगतान करता है

• OpenTelemetry (OTEL)— ट्रेस, मेट्रिक्स और (जहाँ उपयोगी हो) लॉग के लिए एक इंस्ट्रूमेंटेशन लेयर। कलेक्टर को एक्सपोर्ट करें; फ़ैन आउट से बैकएंड तक।
• Prometheus + Grafana (+ Thanos)- सुनहरे सिग्नल: अनुरोध दर, त्रुटि दर, विलंबता, टोकन थ्रूपुट, अनुमानित $/अनुरोध, GPU उपयोग। Thanos (या समतुल्य) FinOps समीक्षाओं के लिए दीर्घकालिक मीट्रिक रखता है।
• LLM ऑब्जर्वेबिलिटी प्लेटफॉर्म(जैसेLangfuse,LMNR) — सत्र/ट्रेस UI, शीघ्र संस्करण, मानव और स्वचालित स्कोर, प्रतिगमन के लिए डेटासेट।

इस दृष्टिकोण के पेशेवर और विपक्ष

लागत: आप क्या खर्च करते हैं बनाम आप

इंस्ट्रूमेंटेशन कॉस्ट (सामान्य मिड - साइज़ एजेंट प्लैटफ़ॉर्म):

• 1 -2 इंजीनियर - सप्ताह OTEL स्पैन कन्वेंशन + एक्सपोर्टर वायरिंग को अपनाने के लिए।
• कलेक्टर + मेट्रिक्स रिटेंशन: सैंपलिंग ट्यून होने के बाद अक्सर मासिक LLM API/GPU खर्च का <5 -10%।
• वैकल्पिक सास LLM अवलोकन: प्रति घटना/ट्रेस की कीमत — इसे मॉडल खर्च के % के रूप में बजट करें, न कि बाद की सोच के रूप में।

बचत लीवर (उपयोग मीट्रिक जो सुई को स्थानांतरित करते हैं):

• टोकन प्रति सफल कार्य— प्रति रॉ कॉल टोकन नहीं। कैप टूल लूप और सेल्फ - डिबग राउंड।
• प्रति सफल कार्य की लागत— वर्गीकृत/मार्ग के लिए मार्ग सस्ते मॉडल; कठिन चरणों के लिए फ्रंटियर मॉडल आरक्षित करें।
• कैश हिट रेट- जहां सुरक्षित हो वहां प्रॉम्प्ट/प्रीफिक्स कैशिंग; शुद्धता को मापें, न केवल विलंबता को।
• रेट और डेड - लेटर रेट को फिर से आज़माएँ— फ़्लैकी टूल "मॉडल क्वालिटी" के मुद्दों के रूप में मास्करेड करते हैं।
• p95 TTFT और एंड - टू - एंड लेटेंसी— खर्च में कटौती करते समय UX की रक्षा करें।

स्कोरिंग: मैनुअल बनाम ऑटोमैटिक

माइग्रेशन प्लेबुक (छोटा शुरू करें)

1. इंस्ट्रूमेंटONEप्रोडक्शन एजेंट पथ OTEL + टोकन/लागत विशेषताओं के साथ एंड - टू - एंड।
2. दर / त्रुटियों/विलंबता/$/सफलता के लिए Grafana बोर्ड शिप करें।
उस पथ पर शीघ्र संस्करणों और स्कोर के लिए
3. Langfuse (या समतुल्य) जोड़ें।
4. हार्ड कैप लागू करें: अधिकतम टोकन, अधिकतम टूल कॉल, प्रति सत्र अधिकतम पुनः प्रयास।
5. पहले पथ पर मापी गई लागत या विलंबता जीत दिखाने के बाद ही अगले एजेंट तक विस्तार करें।

वॉच: AI सिस्टम के लिए प्रेक्षणीयता क्यों मायने रखती है

ऑब्ज़र्वेबिलिटी कल्चर पर कॉन्टेक्स्ट टॉक — Workstation प्रोडक्ट डेमो नहीं।OpenTelemetry डॉक्सऔरWorkstation तकनीकी लेखके साथ पेयर करें ।

अगला पढ़ें

1. लंबा लेख— OTEL स्पैन स्कीमा, कलेक्टर, लागत सूत्र, एजेंट कैप, Langfuse/LMNR नोट्स।
2. टर्बोचार्जिंग LLMs— उन्हें देखने के बाद सेवारत - साइड बाधाएं।
3. स्थानीय एजेंट·Enterprise AI Lab·संपर्क Workstation

Workstationद्वारा प्रकाशित । संदर्भ:langfuse/langfuse·lmnr - AI/lmnr·OpenTelemetry.