Atu hetan benefísiu husi hó AI, Cloudflare, fornese servisu nu’udar provedór núvem, sei lansa koleksaun produtu no aplikasaun foun atu ajuda kliente sira konstrui, implementa no executa modelu AI iha rede edge.
Produtu foun ida, Workers AI, permite kliente sira asesu ba GPU ne’ebé iha fisikamente iha loron-loron ne’ebé iha Cloudflare partener sira nian atu executa modelu AI ho pagamentu ho base “pay-as-you-go”. Produtu daruak ida, Vectorize, prové baze dadus ba vektor atu simu vektor embeddings — representasaun matemátika ba dadus ne’ebé modelu husi Workers AI hala’o. Produtu ketiga, AI Gateway, dezenvolve hodi hatudu dadus métrika atu kapasita kliente sira hodi gestiona di’ak kustu executa aplikasaun AI.
Tuir CEO Cloudflare Matthew Prince, dezenvolvimentu produtu AI foun sira ne’e motiva husi dezizu boot husi kliente Cloudflare sira ba solusaun simpli no fasil-atu-usa ba gestaun AI — ne’ebé fokus liu ba ekonómia.
“Produtu sira ne’ebé iha iha merkadu iha duni komplikadu boot — presiza hakerek hamutuk vendor foun barak no kustu boot liu,” Prince hateten ba TechCrunch iha entrevista email. “Iha mos liutan informasaun ne’ebé disponivel wainhira ita gasta osan ba AI; observabilidade boot atu gasta osan AI. Ami bele ajuda simplifika aspetus hotu ne’e ba developers sira.”
Ho nune’e, Workers AI tenta atu garante AI inference sempre akontese iha GPU ne’ebé liur ba kliente sira (iha aspetu geografiku) atu oferese eksperénsia utilizadór AI ho latensia ne’ebé ki’ik. Uza ONNX, plataforma intermediáriu ba aprezentasaun aprendizajem automatiku ne’ebé tuir Microsoft nia apoiu atu konverte entre estruturas AI diferenti, Workers AI permite modelo AI hala’o iha fatin ida-idak ne’ebé fasil liu iha aspetu ba largura banda, latensia, konetividade, prosesamentu no limitasaun lokalizasaun.
Uza Workers AI, kliente sira bele hili modelos husi katalogu atu simu hasoru, inklui modelos língua boot (LLMs) hanesan Llama 2 husi Meta, modelos rekonesementu diskursu automatiku, modelos klarifikasaun imajen no modelos análize sentimentu. Ho Workers AI, dadus sei fika iha rejiaun servidor ida ne’ebé originálmente iha. No dadus balun ne’ebé uza ba inference — hanesan informasaun ida-ne’ebé alimenta ba LLM ka modelo hala’o imajen — lalais ne’ebe la uza atu treina AI modelo sira iha momentu oin.
“Idealmente, inference sei akontese iha vizitante ba utilizadór atu oferese experénsia utilizadór ho latensia ki’ik. Tanba ne’e, dispositivu sira la’ós sempre iha kapasidade komputasaun ka poder batería ne’ebé presiza hodi executa modelu sira boot hanesan LLMs,” Prince hateten. “Entretantu, núvem sentralizadu tradisionál sira iha mos iha fatin boot demais ba utilizadór vizitante. Núvem sentralizadu sira ne’e mos iha fatin ida-idak, maibé maioria iha Estadus Unidus, ne’ebé komplika ba negósiu sira iha mundu tomak ne’ebé hakarak laiha ona (ka legalmente la bele) haruka dadus ba nasaun origem. Cloudflare fo solusaun di’ak liu ba problema rua ne’e.”
Workers AI iha ona partner fornese maiór: startup AI Hugging Face. Hugging Face sei otimiza modelu AI generativu hodi hala’o iha Workers AI, hateten Cloudflare, ho Cloudflare sei sai hanesan partener GPU servidorlesu ida ne’ebé hala’o desizaun ba modelu Hugging Face.
Databricks mos nu’udar partener. Databricks dehan katak sei halo AI inference ba Workers AI liu husi MLflow, plataforma abertu atu gestiona fluxu traballu aprendizajem automatiku, no merkadu software Databricks nian. Cloudflare sei asume papel hanesan kontribuidór ativu iha projetu MLflow, no Databricks sei lansa kapasidade MLflow ba developers sira ne’ebé hala’o iha plataforma Workers AI.
Vectorize hatudu ba segmentu kliente sira seluk: sira ne’ebé presiza simu vektor embeddings ba modelo AI iha baze dadus. Vektor embeddings, matrís báziku ba algoritmu aprendizajem automatiku ne’ebé uza husi aplikasaun hosi peskiza ba asistente AI, mak representasaun ba dadus treinamentu ne’ebé kompaktu liu tan enquanto preserva informasaun ne’ebé signifikante kona-ba dadus.
Baze dadus vektor sira la’ós foun. Startup sira hanesan Pinecone halo servisu ba sira, inklui AWS, Azure no Google Cloud. Maibé Prince afirma katak Vectorize benefisia husi rede global Cloudflare nian, permiti peskiza ba dadus atu akontese liu ba utilizadór — ne’ebé rezulta ba latensia no tempu inférencia ki’ik liu.
“Hanesan desenvolvedor, atu simu AI iha loron ida ne’e presiza asesu ba — no gestaun — infraestrutura ne’ebé la’ós disponivel ba ema barak,” Prince hateten. “Ami bele ajuda halo ida-ne’e sai eksperiénsia di’ak husi inisial … Ami bele aumenta teknolojia ida-ne’e iha rede ne’ebé mak iha ona, permiti ami aproveita infraestrutura ne’ebé mak ami iha ona no hatudu performansa di’ak liu, no kustu di’ak liu mos.”
Komponente daruak husi suíte AI, AI Gateway, fornese karaterístika observabilidade atu ajuda monitoriza tráfiku AI. Hanesan, AI Gateway hatudu kuantidade pedidu inferénsia modelo sira no durasaun pedidu sira ne’e, kuantidade utilizadór sira ne’ebé uza modelo no kustu hotu hodi executa aplikasaun AI.
Iha adisaun, AI Gateway nian oferese kapasidade atu koko kustu, inklui kaching no limitasaun rátu. Ho kaching, kliente sira bele kache resposta sira husi LLMs ba perguntas komum, minimiza (maibé presumivelmente la’ós kompleta) nesesidade ba LLM atu hala’o resposta foun. Limitasaun rátu fó kontrolu liu ba eskala aplikasaun sira ho mitigasaun ba atores malisius no tráfiku boot.
Prince hateten katak, ho AI Gateway, Cloudflare mak provedór boot ida ne’ebé labele pagamentu ba komputasaun ne’ebé sira uza. Ne’e la’ós kompletamente verídiku — ferramenta hosi terseiru hanesan GPTCache bele replika funsionalidade kaching AI Gateway nian iha provedór sira seluk, no provedór sira inklui Vercel fornese limitasaun rátu hanesan servisu — maibé liu husi ne’e, nia argumenta katak abordajen Cloudflare nian mak di’ak liu no fasil liu.
Ami tenki hare katak ne’e tuir rezultadu oin.
“Kliente sira tanba boot tebes pagamentu ba komputasaun ne’ebé la uza iha forma mákina virtuál no GPU ne’ebé la uza,” Prince hateten. “Ami hare oportunidade atu simplifika buat sira ne’ebé boot ho dificuldade ne’ebé asosia ho operasaun aprendizajem automatiku iha loron ida ne’e, no servi fluxu traballu aprendizajem automatiku ba developers nia nesesidade liu husi solusaun ida-ne’e hanesan.”
