AI Integrace | Petr Balvín

Ekosystém

Klikni na uzel pro detail

Qwen

Alibaba Cloud · Lokální inference

llama.cpp GGUF ROCm Rust

DeepSeek

DeepSeek AI · Cloud API

Huawei · AI Framework

Python CANN Apache 2.0

CANN

Huawei · Compute Architecture for Neural Networks · NPU Akcelerace

Ascend NPU AscendCL MindSpore backend

klikni pro detail

Qwen Lokální inference

Lokální inferenční engine pro jazykové modely Alibaba Cloud. Model běží v GGUF formátu s GPU akcelerací přes ROCm a poskytuje prvotřídní výkon pro zpracování přirozeného jazyka přímo na vlastním hardwaru — bez cloudové závislosti, s plnou kontrolou nad daty a minimální latencí.

Generování kódu Analýza a refaktoring Dokumentace a vysvětlení Běží lokálně

$ cat ~/models/qwen-inference.rs

// Local Qwen inference via llama.cpp GGUF use llama_cpp_2::prelude::*; fn main() -> Result<(), Box<dyn std::error::Error>> { let backend = LlamaBackend::init()?; let model = LlamaModel::load_from_file( &backend, "/models/qwen3.6-35b-Q4_K_M.gguf", LlamaModelParams::default(), )?; let mut ctx = model.new_context( &backend, LlamaContextParams::default() .with_n_ctx(4096), )?; let prompt = "Explain Rust memory safety."; let tokens = model.str_to_token(prompt, AddBos::Always)?; for _ in 0..512 { let token = ctx.next_token(&tokens, None)?; if token == model.token_eos() { break; } print!("{}", model.token_to_str(token)?); } Ok(()) }

llama.cpp GGUF ROCm Rust Apache 2.0

DeepSeek Cloud API

Cloudové API pro náročné úlohy integrované do backendových služeb v Go. REST API poskytuje vynikající výsledky pro analýzu kódu, ladění a generování dokumentace v reálném čase — ideální doplněk k lokální inferenci pro momenty, kdy je potřeba maximální výkon.

Code review a debugging Asistence v reálném čase Generování dokumentace

$ cat ~/go/deepseek-client.go

// Go API client for DeepSeek func QueryDeepSeek(ctx context.Context, prompt string) (string, error) { body, _ := json.Marshal(map[string]any{ "model": "deepseek-v4-pro", "messages": []map[string]string{{"role": "user", "content": prompt}}, "temperature": 0.7, "max_tokens": 2048, }) req, _ := http.NewRequestWithContext(ctx, "POST", "https://api.deepseek.com/chat/completions", bytes.NewBuffer(body)) req.Header.Set("Authorization", "Bearer "+os.Getenv("DEEPSEEK_API_KEY")) req.Header.Set("Content-Type", "application/json") resp, err := http.DefaultClient.Do(req) if err != nil { return "", err } defer resp.Body.Close() var result struct { Choices []struct { Message struct { Content string `json:"content"` } `json:"message"` } `json:"choices"` } json.NewDecoder(resp.Body).Decode(&result) return result.Choices[0].Message.Content, nil }

REST API Go Cloud

ROCm GPU Akcelerace

AMD ROCm (Radeon Open Compute) je open-source platforma pro GPU výpočty a akceleraci strojového učení. Na rozdíl od proprietárního CUDA ekosystému je ROCm plně otevřené (MIT licence) a umožňuje provozovat AI modely na AMD grafických kartách bez vendor lock-in. Přes HIP (Heterogeneous Interface for Portability) a integraci s PyTorch a llama.cpp poskytuje výkon srovnatelný s CUDA.

Plně open-source (MIT) Žádný vendor lock-in Nativní podpora llama.cpp Kompatibilita s PyTorch a TensorFlow HIP pro přenositelnost CUDA kódu

Praktické nasazení

AMD Radeon Pro W7900 se 48 GB VRAM a ROCm 6.1 jako akcelerační vrstva pro lokální inferenci modelů Qwen přes llama.cpp. Díky GGUF formátu a GPU offloadu běží i 35B modely s dostatečnou rychlostí pro interaktivní použití.

Platforma: AMD ROCm Runtime: HIP Podpora: llama.cpp, PyTorch Licence: MIT

MindSpore AI Framework

MindSpore je open-source deep learning framework od Huawei, navržený pro efektivní trénink i inferenci napříč různorodým hardwarem — od mobilních zařízení přes edge až po datová centra s akcelerátory Ascend. Poskytuje funkcionální programovací model inspirovaný matematickou notací, automatickou paralelizaci výpočtu a nativní podporu pro CANN.

Funkcionální model Automatická paralelizace Nativní Ascend / CANN ONNX a MindIR formáty Trénink i inference

Nasazení

MindSpore jako primární framework pro experimenty s trénováním modelů na Ascend hardwaru. CANN backend poskytuje přímý přístup k NPU jednotkám pro maximální propustnost. Vhodné pro počítačové vidění, NLP i vědecké výpočty.

Framework: MindSpore Jazyk: Python Backend: CANN Licence: Apache 2.0

CANN Hardwarová vrstva

CANN (Compute Architecture for Neural Networks) je výpočetní architektura od Huawei optimalizovaná pro akcelerátory Ascend. Poskytuje nízkoúrovňové rozhraní pro operátory, správu paměti a grafové kompilace — ekvivalent CUDA ekosystému v rámci Ascend platforem. Tvoří základ pro běh frameworků jako MindSpore a zajišťuje maximální propustnost na NPU jednotkách.

Nízkoúrovňové Ascend NPU API Správa paměti a grafová kompilace Optimalizace operátorů Integrace s MindSpore Kvantizace a mixed precision

Role v ekosystému

CANN je hardwarová páteř pro AI výpočty na Ascend NPU. Umožňuje efektivní využití výpočetních jednotek a zajišťuje, že AI modely běží s maximální propustností a minimální latencí na hardwaru Huawei. Otevřená alternativa ke CUDA v rámci vzestupného ekosystému.

Architektura: CANN Hardware: Ascend NPU Framework: MindSpore Operátory: AscendCL

Zpět nahoru