Мазмұнға өту
Vasic Digital

// деңгей: helix-primary · тапсырыс 3

HelixAgent Беталицензия: MIT

GoGinPostgreSQLRedisLLMsVerifierPrometheusGrafanaOpenTelemetryModel Context ProtocolNeo4jClickHouseKafka

Көзі

HelixAgent — ensemble debate flow Provider ensemble · scored by LLMsVerifier Debate protocol Prompt one question Claude Gemini Mistral Grok (xAI) Debate Orchestrator mesh / star / chain Synthesized Answer the answer they agree on Proposal Critique Review Synthesis
// архитектура

Бір модельді таңдама — олар пікірталас жүргізіп, келіскен жауапты жіберсін.

HelixAgent — Go негізіндегі ансамбльдік LLM қызметі. Ол көптеген провайдерлерді біріктіріп, бір дәл жауап береді. Көп кезеңді AI пікірталастарын жүргізеді, провайдерлерді LLMsVerifier арқылы динамикалық бағалайды, сенімділік көрсеткішіне негізделген маршруттау стратегияларын қолданады және өндірістік мүмкіндіктерді: кэшті, мониторингті, қауіпсіздік шектеулерін және OpenAI үлгісіндегі API-ларды іске асырады.

HelixAgent — өндіріске дайын, AI технологиясымен жұмыс істейтін ансамбльдік LLM қызметі (MIT лицензиясы). Ол бір модельдің жауабын болжам ретінде қабылдайды, шешім ретінде емес. Бір провайдердің қате, ықпалға ұшырауы немесе уақытша қолжетімсіз болуы мүмкін жағдайда, ол бірнеше тілдік модельдердің жауаптарын біріктіріп, ең дәл және сенімді нәтижеге жетуді көздейді. Егер сұрақ қиын болса, модельдерді құрылымды, көп кезеңді пікірталасқа салады. Провайдерлердің тізімі кең: README құжатында internal/llm/providers/ деректер қорына кіретін көптеген LLM провайдерлері, соның ішінде Claude, DeepSeek, Gemini, Mistral, Qwen және xAI/Grok көрсетілген.

Мәні жағынан, провайдерлерді таңдау тұрақты артықшылық тізімі емес — ол нақты уақытта анықталады. Кіріктірілген LLMsVerifier-тен алынған тікелей тексеру нәтижелері маршруттауды және ең жақсы нәтиже көрсеткен провайдерге сәтті ауысуды қамтамасыз етеді, ал біреуі нашарлаған жағдайда жіктелген қате хабарламалары жіберіледі. AI пікірталас оркестраторы келіспеушілікті сигналға айналдырады: ол әртүрлі топологияларды (тор, жұлдызша, тізбек) қолдайды және тәртіпті кезеңдер протоколын — Ұсыныс → Сын → Қорытынды → Синтез — қамтиды, сонымен қатар пікірталастар арасындағы үйрену арқылы жүйенің уақыт өте келе модельдерді үйлестірудегі шеберлігін арттырады. Маршруттау стратегияларына сенімділік көрсеткішіне негізделген таңдау, көпшілік дауыс консенсусы және семантикалық мақсатты анықтау жатады, бәрі нақты уақыттағы ағынды жауаптармен жүзеге асырылады, яғни жауаптар ансамбль толық аяқталуын күтпей-ақ токен бойынша келеді.

Қызмет өндірістік ортада жұмыс істеуге арналған, тек демонстрация үшін емес: PostgreSQL және Redis жоғары қолжетімділік деректер деңгейін қамтамасыз етеді, Prometheus/Grafana/OpenTelemetry көрсеткіштерді, мониторинг тақташаларын және іздеуді қамтиды, ал JWT аутентификациясы, жылдамдықты шектеу, қауіпсіздік шектеулерінің қозғалтқышы және PII анықтау ансамбльді нақты қолдануға қажетті бақылаулармен қоршаған. Ол шамамен жиырма бөлек модульдерден тұрады (Оқиға шинасы, Бақылау, Аутентификация, Сақтау, Векторлық дерекқор, Эмбеддингтер, RAG, Жад, MCP және т.б.), әрқайсысы жеке мәселелерді шешеді және LLM оптимизациялау жүйесін (семантикалық кэш, құрылымды шығыс, жақсартылған ағынды беру) қамтиды, сонымен қатар SGLang, LlamaIndex, LangChain, Guidance және LMQL сияқты интеграцияларды қолдайды. Жауап беру және ансамбльдік соңғы нүктелер OpenAI үлгісімен үйлесімді болғандықтан, бар клиент HelixAgent-ке бағытталып, ансамбльдік ойлауды қайта кодтаусыз ала алады.

Мазмұны

HelixAgent — Go негізіндегі, AI технологиясымен жұмыс істейтін ансамбльдік LLM қызметі. Ол көптеген тілдік модельдердің жауаптарын — көп кезеңді AI пікірталас жүйесін және динамикалық тексеруге негізделген провайдерлерді таңдауды — біріктіріп, ең дәл және сенімді нәтижені қалыптастырады.

Әрбір жеке LLM қателесуі, әділетсіз болуы немесе қолжетімсіз болуы мүмкін. HelixAgent бірнеше модельдерді бірден сұрауға, олардың жауаптарын өлшенген сенімділігі бойынша салмақтауға және сәтсіздік жағдайында ақылды түрде шегінуге мүмкіндік беретін жүйе ретінде құрастырылды. Бұл бір ғана тәуелділіктің морт сынғыштығын төзімді, өзін-өзі бағалайтын ансамбльге айналдырады.

Бұл көпмодельдік консенсус идеясын іске асырады – «бірнеше модельдерге сұрау және олардың жауаптарын үйлестіру» әдісін қолданбалы скрипттерден өндірістік қызметке көшіреді. Бір ғана провайдерді кодтау және үміттену орнына, командалар тірі верификациялық бағаларға негізделген маршруттауды, бір реттік сұраққа жеткіліксіз жағдайларда құрылымдық пікірталастық хаттамасын, сондай-ақ өндірістік дәрежедегі төзімділікті (жоғары қолжетімділік деректер қабаты, толық бақылау және қорғау шектері) алады – бәрі OpenAI-ке сәйкес API арқылы. Негізгі жетістік – бұзылусыз қабылдау: бір ғана морт тәуелділік төзімді, өзін-өзі бағалайтын ансамбльге айналады, ал бар клиенттер кодын өзгертпей, тек соңғы нүктесін ауыстыру арқылы оған көшеді.

  • Модельдер арасындағы келіспеушілікті ресурс ретінде пайдаланатын құрылымдық көпраундтық AI пікірталастық: таңдаулы тор/жұлдызша/тізбек топологиялары, тәртіпті «Ұсыныс→Сын→Қайта қарау→Синтез» хаттамасы және уақыт өте келе жинақталатын пікірталастар аралық оқыту.
  • Статикалық артықшылық тізімінің орнына тірі LLMsVerifier бағаларына негізделген динамикалық провайдер таңдауы – ансамбль қазіргі уақытта шынымен жақсы жұмыс істеп жатқанға бағыттайды және біреуі нашарлаған кезде ақылды түрде шегінеді.
  • Тәуелсіз тұратын Go LLM-ге арналған оптималдау жүйесі (семантикалық кэш, құрылымдық шығыс, жақсартылған ағындық жеткізу), қажет болғанда сыртқы оптимизаторларды (SGLang, LlamaIndex, LangChain, Guidance, LMQL) қосымша ретінде пайдалануға мүмкіндік береді, бірақ оларды міндетті етуді қажет етпейді.
  • Шамамен жиырма бөлек модульден тұратын модульдік архитектура, ол мәселелерді бөліп-жарып қарауға және үлкен деректер мүмкіндіктерін, мысалы, таратылған жады мен білімдік графтардың ағындық жеткізуін ашуға мүмкіндік береді.

  • Көптеген біркелкі емес провайдерлер арасынан таңдау. Провайдерлер сапасы бойынша әр түрлі және уақыт өте келе өзгеріп отырады, сондықтан кез келген тұрақты рейтинг ертең қате болып шығады. Біз оны үздіксіз өлшенетін таңдау арқылы шештік: LLMsVerifier бағалары сенімділік салмағы мен көпшілік дауыс беру маршруттауына әсер етеді, ал нашарлаған провайдерді айналып өтуге мүмкіндік беретін ақылды шегіну жүйесі бар.
  • Шынымен қиын сұрақтарға сенімді жауап алу. Бір модель бір рет сұралғанда өз қатесін түзету механизмі жоқ. Пікірталастық оркестраторы осындай механизмді қамтамасыз етеді – көптопологиялы, кезеңді пікірталастық (Ұсыныс → Сын → Қайта қарау → Синтез), ол модельдерді соңғы жауап синтезделгенге дейін бір-бірін сынауға және жетілдіруге мәжбүр етеді.
  • Ансамбльді блокнотта емес, өндірісте іске қосу. Көптеген провайдерлерге тарату сәтсіздік бетін көбейтеді. Біз оны PostgreSQL+Redis жоғары қолжетімділік деректер қабатымен, Prometheus/Grafana/OpenTelemetry бақылау жүйесімен (провайдер немесе маршрут дұрыс жұмыс істемеген жағдайда), сондай-ақ JWT аутентификациясы, жылдамдықты шектеу, қорғау шектерінің қозғалтқышы және PII анықтау қауіпсіздік периметрі арқылы шегеміз.

Мазмұны

  • Go — бір сұранысты бір мезгілде бірнеше провайдерге жіберу дәл осы мақсат үшін goroutine-дарды қолдануға мүмкіндік беретіндіктен таңдалды, ал бір біріктірілген бинарлық файл ~20 модульдік қызметті жеткізуді жеңілдетеді; ол бүкіл қызметтің негізі болып табылады және әрбір ішкі модульді қолдайды.
  • Gin (Web API) — жылдам, төмен шығынды HTTP беті үшін таңдалды; ол OpenAI-ке сәйкес келетін /v1 аяқтау, чат, ағынды және ансамбль эндпоинттарын қызметке алады, бұл бар клиенттерге ансамбльді өзгеріссіз қабылдауға мүмкіндік береді.
  • PostgreSQL — сессиялар, аналитика және пікірталастар жазбалары үшін берік сақтау орны ретінде таңдалды, сондықтан консенсус шешімдері мен пікірталастар тарихы тексерілуге болады; ол жоғары қолжетімділік деректер қабатының тірегі болып табылады.
  • Redis — төмен кешігу уақыты мен тапсырмалар кезегін қамтамасыз ету үшін таңдалды; ол жауап кеші және семантикалық кеш қабаты үшін қуат көзі болып табылады, бұл қайталанған немесе ұқсас сұраныстарды қайталамалы болжауды өткізуге мүмкіндік береді.
  • LLMsVerifier (біріктірілген) — провайдер сенімділігін болжау емес, өлшенетін шамаға айналдыру үшін таңдалды; оның бағалары провайдерлерді маршруттау үшін сұрыптайды және біреуі нашарлаған кезде резервтік қосылуды қамтамасыз етеді.
  • Prometheus + Grafana + OpenTelemetry — көптеген провайдерлерді қамтитын ансамбль бақыланатын болып қалуы үшін таңдалды; олар helixagent_* метрикаларын, дашбордтарды және бір мезгілдегі көптеген сұраныстарды бақылауды қамтамасыз етеді.
  • Model Context Protocol (MCP) адаптерлері — ашық хаттама арқылы кеңейтілгіштік үшін таңдалды; README көптеген сыртқы құралдар мен контексттерді қосу үшін MCP адаптерлерін тізімдейді.
  • Neo4j / ClickHouse / Kafka (BigData) — бір түйіннен асып түсу үшін таңдалды: Neo4j және ClickHouse таратылған жады мен білім-граф мүмкіндіктерін қолдайды, ал Kafka осы граф пен оқиға деректерін үлкен көлемде ағынды түрде жібереді.
  • Оптималдау интеграциялары (SGLang, LlamaIndex, LangChain, Guidance, LMQL) — префикс кеші, іздестіру, тапсырмаларды бөлу және шектеулі генерацияны қосымша қызмет ретінде қосу үшін таңдалды, бұл ауыр оптималдауды міндетті емес, бірақ қолжетімді етеді.

  • Жағдайы: бета. Қызмет өндірістік дайындықта деп сипатталады, бірақ README-дағы өнімділік пен қамту көрсеткіштері (мысалы, "1000+ сұраныс/секунд", "<500 мс кештелген", провайдерлер мен тексеру скрипттерінің саны) жобаның өзіндік мәлімдемелері болып табылады, тәуелсіз тексерілмеген және бұл жерде әдейі сапалық түрде ұсынылған.
  • README-ның өзінде провайдерлер саны өзгеріп тұрады; бетте "көптеген провайдерлер" деген сапалық тұжырым қолданылады.

Басымдық деңгейі: Helix-негізгі.