Qdrant - 基础查询 dotnet, python

向量数据库Qdrant多向量插入和查询 创建一个支持多个向量字段的集合(collection),其中每个字段都支持指定维度和相似度计算方式。字段名向量维度相似度方式test1例如 384Cosine 相似度test2例如 384Cosine 相似度test3例如 384Cosine 相似度。 阅读详情
AI摘要

本文介绍Qdrant向量数据库的基本概念、本地Docker部署、云服务购买选项及Python、.NET驱动示例应用。

一 背景:选取常用的向量数据库做些研究,参考

Vector stores | 🦜️🔗 Langchain

二 今天先来看看 Qdrant

1. 基本介绍(Qdrant - Vector Database)

Qdrant (read: quadrant) is a vector similarity search engine and vector database. It provides a production-ready service with a convenient API to store, search, and manage points—vectors with an additional payload Qdrant is tailored to extended filtering support. It makes it useful for all sorts of neural-network or semantic-based matching, faceted search, and other applications.

Qdrant is written in Rust 🦀, which makes it fast and reliable even under high load. See benchmarks.

With Qdrant, embeddings or neural network encoders can be turned into full-fledged applications for matching, searching, recommending, and much more!

Qdrant is also available as a fully managed Qdrant Cloud ⛅ including a free tier.

Quick Start • Client Libraries • Demo Projects • Integrations • Contact

2. 本地Docker部署 (Quickstart - Qdrant)

docker pull qdrant/qdrant

docker run -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    qdrant/qdrant


docker run -d -p 6333:6333 -p 6334:6334 -v D:/petspace/qdrant/qdrant_storage:/qdrant/storage:z qdrant/qdrant
    
REST API: localhost:6333
Web UI: localhost:6333/dashboard
GRPC API: localhost:6334

3. 购买云服(免费版可试用)

云服地址:Vector Search Database | Qdrant Cloud

官方提供的计算机器配置建议:Vector Search Database | Qdrant Cloud

4. demo:

1)本地docker启动 或 连接云服
2)使用python脚本,利用官方python驱动初始化数据库,并写入一批向量,具体见附件
from qdrant_client import QdrantClient
from qdrant_client.http.models import Distance, VectorParams
from qdrant_client.http.models import PointStruct


client = QdrantClient("localhost", port=6333)

#client = QdrantClient("https://xxxxxxxxx.us-east4-0.gcp.cloud.qdrant.io", port=6333, api_key="U-i_fkeykeykeykeykeykeykeykeykeykeykeykeykeykeykeykeyk")

# client.create_collection(
#     collection_name="test_face",
#     vectors_config=VectorParams(size=6, distance=Distance.DOT),
# )

faces = [
        PointStruct(id=275, payload={"kidId": 275, "kidName": "马XXX"}, vector=[0.067767, 0, 0.041501254, 0, 0, 0.022919167]),
........
        PointStruct(id=276, payload={"kidId": 276, "kidName": "马XXX"}, vector=[0.06975273, 0, 0.026070384, 0.020760203, 0.0014666885, 0.021621302])
    ]

# 循环调一下,一把全写timeout
for face in faces:
    operation_info = client.upsert(
        collection_name="test_face",
        wait=True,
        points=[face],
    )
    print(operation_info)


3)试用python驱动

# 一个简单的查询
# 查询相似度最高的前3个
search_result = client.search(
    collection_name="test_face", query_vector=[0.06972373, 0, 0.026070384, 0.0207623203, 0.001324885, 0.021621302], limit=3
)
print(search_result)
4)试用.net驱动
a 微软的驱动:Microsoft.SemanticKernel.Connectors.Memory.Qdrant

问题:微软的驱动截止目前实现貌似是不完整的,只能基于全库查找,标称的 tag 查找没有实现完整,按 pyload 查找未支持。

using Microsoft.SemanticKernel.Connectors.Memory.Qdrant;

.....

_clientNet = new QdrantVectorDbClient("http://localhost:6333", 6);

.....

public async Task<bool> TestQdrantAsyncByMS()
{
    await TestCreateCollectionAsyncByMS();

    var record = BuildTestVectorByMS();

    // TODO ?? 驱动并没有把 tags 写入
    // 创建向量
    await _clientNet.UpsertVectorsAsync(TEST_FACE_COLLECTION_NAME, new List<QdrantVectorRecord>{record});

    // 查询最近的向量
    var resultList = await SearchNearestAsyncByMS(record.Embedding);

    var nearest = resultList.FirstOrDefault(x => x.Item2 > 0.9999);

    // TODO 驱动没有提供对payload的过滤
    // 查询最近的向量带tag过滤
    var resultListTags = await SearchNearestAsyncByMS(record.Embedding, record.Tags);


    await _clientNet.DeleteVectorsByIdAsync(TEST_FACE_COLLECTION_NAME, new List<string>() { record.PointId });

    return true;
}

private async Task TestCreateCollectionAsyncByMS()
{
    // 集合是否存在
    var isExist = await _clientNet.DoesCollectionExistAsync(TEST_FACE_COLLECTION_NAME);

    if (!isExist)
    {
        await _clientNet.CreateCollectionAsync(TEST_FACE_COLLECTION_NAME);
    }
}
private QdrantVectorRecord BuildTestVectorByMS()
{
    var vectorArray = new float[] { 0.002545681f, 0f, 0.08641141f, 0.01007495f, 0.0194224f, 0.0037844249f };

    var vectorMemory = new ReadOnlyMemory<float>(vectorArray);

    var payload = new Dictionary<string, object>
    {
        { "insId", 112},
        { "kidId", 275 },
        { "kidName", "刘XXX" }
    };

    var record = new QdrantVectorRecord(
        Guid.NewGuid().ToString(), 
        vectorMemory, 
        payload, 
        new List<string> { "insId-112", "kidId-275" });

    return record;
}

private async Task<List<Tuple<QdrantVectorRecord, double>>> SearchNearestAsyncByMS(ReadOnlyMemory<float> target, IEnumerable<string> requiredTags = null)
{
    // 查询向量
    var result = _clientNet.FindNearestInCollectionAsync(TEST_FACE_COLLECTION_NAME, target, 0.7, 10, false, requiredTags);

    var list = new List<Tuple<QdrantVectorRecord, double>>();

    await foreach (var row in result)
    {
        list.Add(row.ToTuple());
    }

    return list;
}
b) Qdrant 官方给的dotnet驱动:

​Interfaces - Qdrant

需要注意的是:Qdrant同时提供 REST API 和 gRPC API, 工作在不同端口,默认6333,6334

​GitHub - qdrant/qdrant-dotnet: Qdrant .Net SDK

官方的这个dotnet驱动内部使用 gRPC API, 调试时注意打开6334端口

注:目前看,官方的驱动基本功能都实现了,特别是基于payload的过滤在实际业务中特别有用

public async Task<bool> TestQdrantByQd()
{
    try
    {
        await TestCreateCollectionAsyncByQd();

        var point = BuildPointByQd();

        // 创建向量
        var upsertRes = await _qdrantClient.UpsertAsync(TEST_FACE_COLLECTION_NAME, new List<PointStruct> { point });

        // 查询最近的向量
        var floatArray = new float[] { 0.048494156f, 0.073583744f, 0f, 0.13068849f, 0.003689188f, 0.093264f };
        var floatArrayMemory = new ReadOnlyMemory<float>(floatArray);
        var resultList = await SearchNearestAsyncByQd(floatArrayMemory);

        var nearest = resultList.FirstOrDefault(x => x.Score > 0.9999);

        // 查询最近的向量带pyload filter
        Filter filter = new();
        filter.Must.Add(Conditions.Match("insId", 121));
        var resultListTags = await SearchNearestAsyncByQd(floatArrayMemory, filter);

        // TODO 删除得验证下
        if (point.Id.HasNum)
        {
            var res = await _qdrantClient.DeleteAsync(TEST_FACE_COLLECTION_NAME, point.Id.Num);
        }
        else
        {
            var res = await _qdrantClient.DeleteAsync(TEST_FACE_COLLECTION_NAME, new Guid(point.Id.Uuid));
        }

        return true;
    }
    catch (Exception err)
    {
        return false;
    }
}

private async Task TestCreateCollectionAsyncByQd()
{
    // 集合是否存在
    var list = await _qdrantClient.ListCollectionsAsync();

    if (list.FirstOrDefault(x => x.Equals(TEST_FACE_COLLECTION_NAME)) == null)
    {
        await _qdrantClient.CreateCollectionAsync(TEST_FACE_COLLECTION_NAME, new VectorParams() { Size = 6});
    }
}
private static PointStruct BuildPointByQd()
{
    var point = new PointStruct
    {
        Id = new PointId(Guid.NewGuid()),
        Vectors = new float[] { 0.048494156f, 0.073583744f, 0f, 0.13068849f, 0.003689188f, 0.093264f },
        Payload =
        {
            { "insId", 121},
            { "kidId", 275 },
            { "kidName", "刘XXX" }
        },
    };

    return point;
}

private async Task<IEnumerable<ScoredPoint>> 
    SearchNearestAsyncByQd(ReadOnlyMemory<float> floatArrayMemory, Filter filter = null)
{
    // 查询向量
    var result = await _qdrantClient.SearchAsync(
        TEST_FACE_COLLECTION_NAME,
        floatArrayMemory,
        filter: filter,
        scoreThreshold: 0.5f,
        limit: 10);

    var list = result.ToList();

    return list;
}
c) 使用 HttpClient 直接访问 REST API

以下是Cursor给的一组代码供参考:

using System;
using System.Net.Http;
using System.Threading.Tasks;

public class QdrantClient
{
    private readonly HttpClient httpClient;
    private readonly string baseUrl;

    public QdrantClient(string baseUrl)
    {
        this.baseUrl = baseUrl;
        this.httpClient = new HttpClient();
    }

    public async Task CreateCollection(string collectionName)
    {
        var url = $"{baseUrl}/collections/{collectionName}";
        var response = await httpClient.PutAsync(url, null);
        response.EnsureSuccessStatusCode();
    }

    public async Task InsertObject(string collectionName, string objectId, float[] vector)
    {
        var url = $"{baseUrl}/collections/{collectionName}/objects/{objectId}";
        var content = new StringContent(string.Join(",", vector), System.Text.Encoding.UTF8, "application/json");
        var response = await httpClient.PutAsync(url, content);
        response.EnsureSuccessStatusCode();
    }

    public async Task<HttpResponseMessage> Search(string collectionName, float[] queryVector, int topK = 10)
    {
        var url = $"{baseUrl}/collections/{collectionName}/search";
        var content = new StringContent(string.Join(",", queryVector), System.Text.Encoding.UTF8, "application/json");
        var response = await httpClient.PostAsync($"{url}?top={topK}", content);
        response.EnsureSuccessStatusCode();
        return response;
    }
}

public class Program
{
    public static async Task Main(string[] args)
    {
        var qdrantBaseUrl = "http://localhost:6333"; // Replace with your Qdrant API base URL

        var qdrantClient = new QdrantClient(qdrantBaseUrl);

        // Create a collection
        await qdrantClient.CreateCollection("my_collection");

        // Insert an object with a vector
        var objectId = "my_object";
        var vector = new float[] { 1.0f, 2.0f, 3.0f };
        await qdrantClient.InsertObject("my_collection", objectId, vector);

        // Search for similar objects
        var queryVector = new float[] { 1.0f, 1.0f, 1.0f };
        var response = await qdrantClient.Search("my_collection", queryVector);
        var searchResult = await response.Content.ReadAsStringAsync();
        Console.WriteLine(searchResult);
    }
}

探索Qdrant:强大的向量相似性搜索引擎 Qdrant是一个向量相似性搜索引擎,设计用于高效存储、搜索和管理带有附加负载的向量点。它提供了丰富的API,便于生产环境使用,并优化了过滤功能,能够支持复杂的数据检索需求。Qdrant是一个功能强大的工具,适合需要高效向量相似性搜索的应用。通过本文的介绍,你已经了解了如何安装、设置和使用Qdrant进行向量搜索。 阅读详情

相关推荐

AI Agent面试实战沙盘:RAG、Workflow、MCP生产级决策解析

AI Agent不是LLM加Tool的简单拼接,而是融合感知、决策、执行与协同的工程系统。其核心能力依赖RAG构建动态知识网络、Workflow实现可运维状态编排、MCP提供跨Agent通用协议。技术价值在于将模糊意图转化为可监控、可回滚、可权衡的落地决策——例如RAG分块需兼顾时间语义与向量召回精度,Workflow必须嵌入黄金三指标实现秒级故障定位,MCP则要求消息体只传引用标识以规避IO阻塞。典型应用场景覆盖微信智能客服、订单查询链路、多系统协同审批等生产环境。本文聚焦真实项目中的技术取舍、约束条件与

weixin_33976072的博客 434

Python开发者指南:如何利用Qdrant向量数据库实现高效相似性搜索

本文详细介绍了Python开发者如何利用Qdrant向量数据库实现高效的相似性搜索。通过Docker快速部署Qdrant服务端,结合Python客户端库,开发者可以轻松构建图片相似性搜索系统,实现毫秒级查询。文章还分享了性能调优、生产环境部署及与LangChain等工具的集成方案,帮助开发者充分发挥Qdrant在向量搜索领域的优势。

weixin_33724046的博客 395

.NET 8本地RAG实战:零依赖向量数据库与ONNX嵌入部署

向量数据库和嵌入模型是构建RAG系统的核心基础设施,其原理在于将非结构化文本映射为高维空间中的稠密向量,并通过相似度计算实现语义检索。技术价值体现在数据可控、低延迟、合规可审计,尤其适用于金融、政务、医疗等对数据驻留有强要求的场景。典型应用包括政策文档问答、企业知识库检索、离线智能客服等。本文聚焦.NET生态落地难点,以LiteDB为本地向量存储载体,结合all-MiniLM-L6-v2的ONNX量化模型,在Windows Server环境下实现端到端RAG闭环,全程不依赖云API,突出本地向量数据库与嵌入

ozzzzzz的专栏 545

Qdrant向量数据库

是专为支持而设计的向量和向量,这使得它适用于各种基于的等应用。Qdrant 使用编写,即使在高负载下也能快速、可靠地工作。

cxs812760493的博客 5779

基于.NET的OpenClaw智能体框架:从架构设计到生产部署实战

智能体(Agent)作为AI应用开发的核心架构模式,通过将大语言模型(LLM)与可执行技能(Skill)相结合,实现了从自然语言指令到自动化任务执行的转化。其技术原理基于规划器(Planner)对目标进行动态分解与决策,调用预定义的技能单元完成具体操作。这一架构的价值在于将AI的认知能力与现有业务系统无缝集成,广泛应用于自动化客服、智能工作流、数据分析等场景。OpenClaw框架正是针对.NET技术栈的智能体开发需求而生,它基于微软官方的AgentFramework进行增强,提供了开箱即用的模型接入、技能管

weixin_30697239的博客 384

.NET本地RAG实战:零云依赖的私有化向量检索方案

向量检索是构建企业级RAG系统的核心能力,其本质是将非结构化文本映射到高维语义空间,并通过相似度计算实现精准召回。技术原理上依赖嵌入模型生成稠密向量、向量数据库支撑近似最近邻搜索(ANN),其价值在于绕过关键词匹配局限,实现语义级知识发现。典型应用场景包括离线知识库、边缘智能终端、高合规要求的金融与医疗系统。本文聚焦.NET生态下不依赖云API的端到端落地路径,深度整合LM Studio量化模型、ONNX Runtime推理加速与SQLite R-Tree向量索引,解决数据驻留、低延迟响应和MSI单包部署等

ozzzzzz的专栏 549

向量数据库qdrant安装与入门

Qdrant是一个开源的向量相似度搜索引擎和向量数据库,专为高效存储和检索高维向量数据而设计。它基于Rust语言开发,提供了高性能的向量搜索能力,常用于推荐系统、图像检索、自然语言处理等AI应用场景。Qdrant不仅支持REST API和gRPC接口,还提供了多种语言的客户端SDK,包括Python、Go、Java、Rust等,方便开发者快速集成到现有系统中。主要特点:采用先进的近似最近邻(ANN)算法,支持毫秒级的向量检索优化了索引结构和查询处理流程,单节点可处理每秒数千次查询。

Made In SQL 3586

Semantic Kernel 入门:用 C# 十分钟搭建第一个企业级 AI 智能体

摘要:本文通过构建“智能工单分派助手”案例,展示Semantic Kernel(SK)在企业级AI应用中的核心价值。SK将LLM能力以强类型、可测试、可观测的方式融入现有架构,与“调API+拼Prompt”的脚本式开发形成鲜明对比。文章详细演示了从业务服务定义、Plugin封装、依赖注入到结构化输出的全流程,强调企业级Agent应遵循的强类型接口设计、LLM可观测性等原则,并提供基于.NET 9和SK 1.x的可运行代码示例,突出生产环境集成的最佳实践。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 207

.NET本地RAG实战:从PDF解析到向量检索全链路

RAG(检索增强生成)是将大语言模型与私有知识库结合的关键技术,其核心在于文本分块、嵌入向量化、向量数据库检索与结果重排。在企业级场景中,低延迟、数据可控、系统可审计成为硬性要求,而.NET生态凭借成熟的企业应用基础、Windows内网兼容性及强类型可观测性,正成为本地化RAG落地的理想选择。本文聚焦.NET原生实现路径,深入解析PDF结构化提取、ONNX Runtime本地推理、Qdrant轻量向量索引等关键技术环节,覆盖Embedding生成原理、混合过滤机制与真实硬件性能调优,为开发者提供一条不依赖云

java天气 452

华为项目TR5评审后发现了重大缺陷的应急处理经验

华为TR5评审后发现重大缺陷时,启动分级应急机制:1)缺陷分级:按严重性(致命/严重/一般)评估影响;2)应急响应:跨部门会议制定方案,冻结生产并调配资源;3)根因修复:通过RCA定位问题,设计变更后回归测试;4)变更管理:评审修复影响,调整发布策略;5)持续改进:记录缺陷闭环,优化流程。案例显示,软件闪退问题通过热修复补丁和代码重构解决。关键工具包括Jira、FMEA等,确保缺陷在量产前拦截,降低风险。

从技术实践立足,从项目管理方法论延伸思考 1073

UE5高斯泼溅落地全链路:从PLY导入到实时渲染的工程实践

3D高斯泼溅(3D Gaussian Splatting)正从NeRF后处理技术演进为新一代隐式几何渲染范式,其核心在于以可微椭球体替代传统三角面片,通过协方差矩阵与球谐系数实现高质量体素化渲染。该技术突破点云精度瓶颈,但与UE5现有资产管线存在根本性不兼容——静态网格导入器无法解析scale/rot/sh系数等非标顶点语义,标准光栅化管线亦无法执行高斯核采样计算。XV3DGS-UEPlugin通过自定义资产类型、StructuredBuffer GPU数据流与专用材质节点,将高斯泼溅重构为可编辑、可LOD

weixin_33692177的博客 361

Semantic Kernel与Kernel Memory技术解析与应用

大型语言模型(LLM)集成是现代AI应用开发的核心需求,Semantic Kernel作为微软推出的开源SDK,通过抽象AI服务交互的复杂性,显著提升了开发效率。其核心组件Kernel Memory采用向量化存储技术,结合Elasticsearch等向量数据库,实现了高效的知识管理和检索。这种架构特别适用于需要长期记忆和知识溯源的应用场景,如客户服务机器人和智能知识库。通过RAG(检索增强生成)架构,开发者可以构建更智能的问答系统,结合混合搜索策略(关键词检索+向量搜索)提升查询准确率。在工程实践中,批量处

weixin_34088583的博客 404

Multisim 14.0元件库下载权威指南:官方与社区资源

详解Multisim元件库下载的官方途径与可靠社区资源,帮助用户快速获取Multisim 14.0所需元件模型,提升电路仿真效率。

weixin_32925455的博客 756

基于向量检索与Nemotron 3 Super构建.NET 8多轮对话记忆系统

在构建智能对话系统时,上下文管理是核心挑战之一。传统方法将完整对话历史直接输入模型,不仅会迅速耗尽有限的上下文窗口,还会因无关信息干扰而降低回答质量与效率。为解决这一问题,向量检索技术应运而生,它通过嵌入模型将文本转换为高维向量,并利用向量数据库实现语义相似度匹配,从而精准筛选出与当前问题最相关的历史片段。这种技术能显著提升多轮对话的连贯性与准确性,尤其适用于知识库问答、客服支持等需要长期记忆和状态保持的场景。本文以NVIDIA Nemotron 3 Super大语言模型和Qdrant向量数据库为例,结合.

weixin_34067102的博客 346

深入剖析一个卷积块(ConvBlock)

深入剖析一个卷积块(ConvBlock)

qq_45670407的博客 1927

Vivado ILA抓不到低频信号?试试Capture Control模式,保姆级配置教程(附PWM调试实例)

本文详细解析了Vivado ILA的Capture Control模式在低频信号捕获中的应用,特别针对PWM调试等场景提供保姆级配置教程。通过条件采样和时间拉伸技术,有效解决传统ILA采样在低频信号调试中的存储深度不足、关键信号丢失等问题,并附赠呼吸灯PWM的完整调试实例,帮助FPGA开发者提升调试效率。

weixin_42549451的博客 353

在 Karma 中集成 RequireJS:test-main.js 引导、/base 路径与 AMD 测试模块实战

本指南基于当前仓库中的 [docs/plus/01-requirejs.md](https://link.gitcode.com/i/eb5d899a2979f62f06e4c4aa78ae88fd) 编写,系统讲解如何让 Karma 与 RequireJS 协同工作:如何通过 `karma init` 生成带 RequireJS 适配的配置、为什么测试文件统一由 `test-main.js` 引

gitblog_00266的博客 1097

逆向实战:手把手教你分析Google DroidGuard虚拟机的加密与反调试(附Python脚本)

本文深入解析Google DroidGuard虚拟机的加密机制与反调试策略,提供从环境配置到逆向分析的完整实战指南。通过IDA Pro、Frida等工具链,详细剖析DroidGuard的信号拦截、内存校验等保护机制,并附Python脚本实现自动化分析,助力Android安全研究人员突破GMS核心组件的安全防护。

weixin_32428571的博客 314

基于MCP协议构建.NET智能体:从工具连接到企业级应用实战

智能体(AI Agent)作为连接大模型与实际业务系统的关键技术,其核心在于实现模型与工具的标准化交互。MCP(Model Context Protocol)协议正是为此设计的轻量级通信标准,它定义了工具(Tool)和资源(Resource)的统一接口,使任何业务逻辑都能安全暴露给大模型。对于.NET开发者而言,掌握MCP协议意味着无需依赖Python生态的重型框架,即可将现有的C#类库、数据库查询和API服务快速转化为AI可用的能力。这一技术路径尤其适合企业级应用场景,既能保障数据安全与架构兼容,又能通过

weixin_34122810的博客 365

CRPR的三种关键影响:从SI、OCV到Min Pulse Width的时序优化实践

本文深入探讨了CRPR(时钟重汇聚悲观度消除)在芯片时序优化中的三种关键影响:信号完整性(SI)、片上变异(OCV)和最小脉宽检查。通过实际案例分析和技术细节,展示了CRPR如何有效修正时序分析中的过度保守估计,提升设计精度。文章特别强调了SI-aware CRPR的调试技巧和OCV补偿的最佳实践,为芯片设计工程师提供了宝贵的时序优化指导。

weixin_30920853的博客 379

硬件工程师笔记——运算放大电路Multisim电路仿真实验汇总

本文系统介绍了运算放大电路的基础知识及其应用。主要内容包括:1)运算放大器的基本结构、理想特性及分析方法(虚短、虚断、叠加定理);2)比例运算电路(同向、反向、差分)的工作原理与仿真分析;3)求和运算、加减运算电路的实现方法;4)积分、微分、指数和对数运算电路的基本原理;5)过零电压比较器的功能特点。通过理论分析和仿真实验,详细阐述了各类运算放大电路的输入输出特性、相位关系和增益计算,为硬件工程师提供了实用的电路设计参考。

XU157303764的博客 2487

基于.NET 8与MCP协议构建智能体:实战Agent框架与工具集成

在AI应用开发中,智能体(Agent)架构正成为处理复杂任务的关键范式。其核心原理是通过大语言模型(LLM)作为决策中枢,结合规划器、工具调用和记忆模块,实现多步骤推理与动态任务执行。这一架构的技术价值在于突破了单一模型调用的局限,使AI系统能够安全、可控地接入外部能力,如数据查询、代码执行和API调用。模型上下文协议(MCP)在此扮演了重要角色,它标准化了工具与数据的接入方式,通过进程隔离保障了操作安全性,实现了工具提供者与消费者的解耦。在工程实践中,结合高性能的.NET 8平台和Semantic Ker

weixin_30378623的博客 307

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

.NET 8本地RAG实战:SQLite向量库+LM Studio离线部署

RAG(检索增强生成)是当前企业知识管理的核心技术路径,其本质是将非结构化文档转化为可检索、可推理的语义向量。实现RAG的关键在于向量存储的轻量化、嵌入计算的可控性,以及端到端数据不出域的安全闭环。相比依赖云服务的方案,本地RAG以嵌入模型+向量数据库为核心,兼顾低延迟、强合规与低成本。本文聚焦.NET生态下的工程落地,详解如何利用LM Studio提供稳定嵌入服务、SQLite结合FTS5构建混合检索向量库,并通过.NET 8的AOT编译与Span<T>优化保障资源受限环境下的高性能运行。适用于制造业文档

weixin_33767813的博客 599

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

从玩具到工具:OpenClaw Agent框架实战部署与生产级应用指南

AI智能体(Agent)作为当前人工智能领域的热点技术,其核心原理在于模拟人类智能的感知、规划、行动与学习循环,通过大语言模型(LLM)作为决策中枢,协调各类工具(Tools)完成复杂任务。这项技术的核心价值在于将AI从单纯的对话与内容生成,升级为能够自主操作软件、访问API、处理业务流程的自动化“数字员工”,极大地拓展了人工智能在自动化办公、智能客服、IT运维等场景的应用边界。本文以OpenClaw这一面向生产环境的C#原生智能体框架为例,深入探讨如何通过配置核心架构、连接大模型、开发自定义技能,并解决部

weixin_33910460的博客 402

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

微软Agent框架解析:从胶水代码到工业化AI智能体开发

在AI应用开发领域,大语言模型(LLM)的集成常面临工程化挑战,开发者需要处理API串联、状态管理等复杂问题,导致系统脆弱且难以维护。其核心原理在于缺乏标准化的框架来管理智能体的生命周期与协作关系,这限制了AI技术的规模化应用价值。为解决这一痛点,微软推出了Microsoft Agent Framework,该框架通过引入Agent、Skill、Planner与Kernel等核心抽象,将开发模式从“手工作坊”升级为“工业化流水线”。它尤其擅长处理智能体编排与扩展难题,例如在多步骤任务流程中自动规划技能调用序

weixin_30791095的博客 691

Qdrant向量数据库入门指南

Qdrant是一个开源的向量相似度搜索引擎,它提供了一个生产就绪的服务,通过便捷的API来存储、搜索和管理带有额外有效载荷的向量。

积跬步,至千里。 4020
上一篇: elasticsearch8.0+ 创建APIkey
下一篇: linux 命令历史扩展(Command History Expansion)
petunsecn
博客等级 码龄22年 273粉丝 51原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值