语言模型衡量指标之一困惑度
语言模型的**困惑度(Perplexity, PPL)**是衡量模型预测能力的一个重要指标。它反映了模型对目标分布的"困惑"程度,数值越低表示模型越好地捕捉了目标分布。以下是计算困惑度的详细说明和一个具体例子:
常用的几种设计模式
常用的设计模式可以分为三大类:创建型模式、结构型模式和行为型模式。每种模式都有适用的场景和优势。以下是每种设计模式的简要介绍和 Python 案例示例。
Ollama介绍与使用指南
Ollama 是一个强大的本地推理大模型平台,旨在简化模型的本地部署、管理和推理工作流。它允许用户在本地机器上拉取、管理、运行大模型,并提供多种访问方式,包括本地 CLI、HTTP 接口以及通过 OpenAI 客户端的集成。这篇文章将详细介绍 Ollama 的功能,如何使用 Ollama 拉取模型、运行模型,并通过多种方式访问推理服务。
kafka消费的重平衡策略
算法推理服务的日处理能力当前已经达到千万级别,我们的算法系统采用Kafka流式消费。系统经常面临的一个重要问题就是消息积压,这时候就需要增加推理算力。如何动态的增减推理实例数,以保障消息不丢失,同时也不需要修改服务代码。本文做了一个小实验,验证多个消费者同时消费同一个topic,消息是否会丢失,或者存在重复消费的情况。
安卓手机挺好用
说起手机,对我来说简单有一个阶段。我上高中才开始用手机,那会是二爷爷给我一个小灵通(主要用于本市通话的),非常迷你的直板机。高中那会我基本上都放在宿舍,有时需要给家里打电话的时候会拿出来用。看着大多同学每天拿着发短信,看文字版的NBA,当然用得最多的还是看小说。
学校周末要补课
晚上我下班回来没发现什么异常,老婆陪着孩子们玩得很开心。晚上睡觉前,老婆一直在刷短视频,我催她睡觉,明天还要早起上班呢。
“别动我,心情不好,以后周天要轮流上课了”
“本来时间就少,现在周天还要补课,真是无语了”
高层住宅,将一文不值
高层超高层住宅以后的问题很大,将在未来二三十年内成为城市中的贫民窟——电梯老化,设备老化,维护保养成本高,拆迁成本高,基本上没有开发商愿意拆,二战后欧洲为人口高峰而建的高层住宅,现在老化后全成了贫民窟,因为容积率高,重新开发没有利润可赚,政府和开发商也无计可施,无动于衷,现在买高层住宅的,二三十年后还完贷款后,会发现房子一文不值。