Impulsionado pelo aumento de aplicações que utilizam grandes modelos de linguagem (LLMs), o espaço de gateways de IA de código aberto está crescendo rapidamente. A partir disso, engenheiros da Bloomberg e da Tetrate se uniram para desenvolver um conjunto inovador de recursos principais de gateways de inteligência artificial, liderado pela comunidade, para a integração delas em empresas. Esse esforço expandirá as capacidades do projeto Envoy Gateway da CNCF, uma das implementações da API Gateway do Kubernetes.
Como padrão emergente para o gerenciamento de tráfego de entrada no Kubernetes, o Envoy Gateway é projetado para operações em grande escala e é extensível, tornando-o uma escolha sólida para suportar esse novo conjunto de recursos, além de impulsionar futuras inovações no espaço de gateways de API de IA. Além disso, o Envoy Gateway é um projeto de código aberto liderado pela comunidade, sem recursos licenciados comercialmente, em que as decisões sobre o desenvolvimento de novos recursos são feitas pelos membros.
Isso o diferencia de outras ofertas de gateways de IA de código aberto encabeçadas por fornecedores e de soluções totalmente proprietárias e comerciais, que podem adicionar complexidade e dificultar a inovação para algumas empresas. É por isso que a comunidade Envoy está desenvolvendo uma opção sem dependência de fornecedores ou funcionalidades que exigem licenças empresariais adicionais.
Segundo Varun Talwar, fundador da Tetrate, historicamente, quando surgem problemas compartilhados na indústria de software, a comunidade de código aberto se une para resolvê-los, acelerando a inovação. “Nossa colaboração com a Bloomberg e a CNCF visa projetar e entregar um gateway de IA totalmente aberto, liderado pela comunidade, usando a principal tecnologia para substituir modelos antigos de entrada no Kubernetes. É uma solução que o mercado está pedindo, e estamos empolgados em fazer parte dessa equipe de mantenedores e colaboradores.”
Gateways de IA permitem que organizações integrem as funcionalidades em fluxos de trabalho e aplicativos. Eles roteiam solicitações para vários provedores de serviços de IA e modelos por meio de uma camada de proxy reverso (geralmente chamada de gateway). Esses gateways simplificam a integração de IA, ao oferecer uma API unificada com a qual os desenvolvedores podem interagir, além de funcionalidades adicionais, como controle de taxas, cache e possibilidade de observação.
A ideia inicial deste projeto surgiu quando Dan Sun, líder de engenharia da equipe de Serviços de Computação Nativa em Nuvem – IA da Bloomberg e cofundador/mantenedor do projeto KServe, trouxe à comunidade Envoy sua visão sobre o espaço problemático e uma possível solução. A Tetrate, grande contribuidora do projeto, manifestou interesse em ajudar Sun e Bloomberg a concretizarem sua visão para a API do Gateway de IA.
“A Bloomberg tem mais de 15 anos de experiência entregando valor aos clientes ao incorporar inteligência artificial (IA) – em particular, aprendizado de máquina e processamento de linguagem natural – em aplicações empresariais”, afirmou Steven Bower, líder de engenharia do grupo de Serviços de Computação Nativa em Nuvem da Bloomberg. “Quando procuramos a comunidade para colaborar no desenvolvimento de funcionalidades de gateway que acelerem a integração de IA em nossos produtos, identificamos imediatamente a equipe de engenharia da Tetrate. Eles são líderes no desenvolvimento do Envoy Gateway e trazem uma vasta experiência em lidar com tráfego escalável nativo da nuvem. Além disso, como uma empresa que prioriza o código aberto, a Bloomberg acredita no poder e na natureza colaborativa da comunidade para desenvolver soluções em escala, o que torna este projeto uma alternativa valiosa a outros esforços em andamento.”
O Envoy Gateway e o KServe podem ser usados em conjunto para rotear o tráfego tanto para modelos LLM hospedados internamente quanto para os oferecidos por fornecedores. Neste caso, o gateway de IA atua como uma camada superior, roteando o tráfego de modelos LLM de código aberto para endpoints autohospedados com o KServe, enquanto o tráfego de modelos hospedados por fornecedores é direcionado para serviços como AWS Bedrock ou outros similares baseados na nuvem.
As primeiras funcionalidades do Envoy AI Gateway incluirão:
- gestão de tráfego de aplicações para provedores de LLM, com estratégias de roteamento de alta disponibilidade;
• monitoramento e controle do uso de LLMs nos níveis de aplicação, organização e empresa, para ajudar no gerenciamento de custos; e
• uma interface unificada para solicitações de LLMs, através da qual o gateway gerenciará a conectividade com vários provedores de LLMs.
As extensões e aprimoramentos de código aberto do Envoy Gateway fornecerão controle de uso para aplicações integradas a múltiplos provedores e modelos de LLM, mecanismos robustos de autorização e opções inteligentes de fallback, garantindo operação contínua, mesmo quando fornecedores de nuvem estiverem indisponíveis ou forem caros demais.
Essa iniciativa de código aberto parte da Cloud Native Computing Foundation (CNCF). Trata-se de uma resposta estratégica aos desafios que as empresas enfrentam ao adotar e integrar IA em escala. Ao estabelecer as bases para plataformas de IA escaláveis, os engenheiros da Tetrate e da Bloomberg estão atendendo às necessidades imediatas das empresas e preparando o terreno para o futuro das aplicações de IA em ambientes nativos da nuvem.
futuro das aplicações de IA em ambientes nativos da nuvem.
“O projeto Envoy continua a impressionar com sua flexibilidade para suportar novos casos de uso valiosos”, disse Chris Aniszczyk, CTO da CNCF. “A Bloomberg e a Tetrate fizeram exatamente o que nossa comunidade se propõe a fazer: reunir pessoas e organizações para resolver um problema comum. O fato de estarem fazendo isso com o Envoy Gateway só valida o poder e a extensibilidade do projeto.”
Saiba mais sobre o projeto Envoy AI Gateway
Participe do webinar “Adotando IA em Escala – A Plataforma de IA com Envoy AI Gateway“, uma discussão online com engenheiros da Bloomberg e da Tetrate, organizada pela CNCF, no dia 17 de outubro de 2024, às 13h EDT. Erica Hughberg, da Tetrate, se juntará a Dan Sun e Yuzhui Liu, da Bloomberg, e outros colaboradores da comunidade CNCF para discutir o projeto e como outros podem se envolver e contribuir.
A sessão abordará:
- Tendências da indústria, desde IA tradicional até IA generativa
• O que considerar ao habilitar o uso de IA em uma organização empresarial
• O papel da Plataforma de IA – o que ela resolve e o que não resolve
• Por que construir um gateway de IA usando Envoy e Envoy Gateway?
• Como começar a construir a Plataforma de IA da sua organização?
Inscreva-se no painel online aqui.
Além disso, os participantes da KubeCon + CloudNativeCon América do Norte 2024 (de 12 a 15 de novembro), em Salt Lake City, Utah, terão a oportunidade de aprender mais sobre o projeto e como se envolver. Uma demonstração do Envoy AI Gateway estará disponível no estande da Tetrate (Estande Q2).
Sobre a Tetrate
Fundada com base em código aberto, a Tetrate foi criada para resolver os desafios de rede e segurança de aplicativos gerados pela computação moderna, permitindo que as empresas inovem com velocidade e segurança em ambientes híbridos e multi-cloud. À medida que os aplicativos evoluem para coleções de microsserviços descentralizados, o monitoramento e gerenciamento das comunicações e segurança entre esses inúmeros serviços se torna desafiador. Por isso, algumas das maiores instituições financeiras, governos e outras empresas confiam na Tetrate para oferecer soluções modernas de rede e segurança de aplicativos. Saiba
mais em http://www.tetrate.io.
Sobre a CNCF
A computação nativa em nuvem capacita as organizações a criar e operar aplicativos escaláveis com uma pilha de software open source em nuvens públicas, privadas e híbridas. A Cloud Native Computing Foundation (CNCF) hospeda componentes críticos da infraestrutura tecnológica global, como Kubernetes, Prometheus e Envoy. A CNCF reúne os principais desenvolvedores, usuários finais e fornecedores do setor e organiza as maiores conferências de desenvolvedores open source do mundo. Com o apoio de mais de 800 membros, incluindo as maiores empresas de computação em nuvem e software, além de mais de 200 startups inovadoras, a CNCF faz parte da organização sem fins lucrativos Linux Foundation. Para mais informações, visite www.cncf.io.
A Linux Foundation possui marcas registradas e utiliza marcas comerciais. Para uma lista das marcas registradas da Linux Foundation, consulte nossa página de uso de marcas. Linux é uma marca registrada de Linus Torvalds.
##
