从 0 到 1 搭建 vLLM 网关:用 Kong Gateway 打造可观测、可控的推理服务
背景 在企业内部部署 vLLM 提供大模型推理服务时,如果直接把服务端口暴露在内网,往往会遇到下面这些“裸奔”问题: 无权限控制:API 地址一旦泄露,任何人都能调用,GPU 资源容易被滥用。 无流量限制:某个脚本写了个死循环,瞬间把显卡打满,其他同事的任务直接被拖垮。 无监控审计:不知道是谁用了多少 Token,很难做成本核算和容量规划。 协议兼容性差:希望完全兼容 ...
背景 在企业内部部署 vLLM 提供大模型推理服务时,如果直接把服务端口暴露在内网,往往会遇到下面这些“裸奔”问题: 无权限控制:API 地址一旦泄露,任何人都能调用,GPU 资源容易被滥用。 无流量限制:某个脚本写了个死循环,瞬间把显卡打满,其他同事的任务直接被拖垮。 无监控审计:不知道是谁用了多少 Token,很难做成本核算和容量规划。 协议兼容性差:希望完全兼容 ...
LeetCode中解决问题讨论技巧 🧠 一、暴力枚举(Brute Force) 特点:直接枚举所有可能性,逐个检查是否满足条件。 适用场景:数据量较小时,作为初步思考方向或对数值范围明确时可用。 典型题目:两数之和、全排列。 🔁 二、双指针(Two Pointers) 常见形式: 快慢指针(判断链表是否有环) 左...

Tree-Sitter 解析 C 语言的工作原理 1. Tree-Sitter 的核心设计 Tree-Sitter 的核心是一个确定性有限自动机 (DFA) 和解析表的组合。它通过以下流程实现高效的语法解析: 语法定义:每种语言的语法规则通过 JSON 或 JavaScript DSL 定义。 解析器生成:Tree-Sitter 根据语法规则自动生成高效的解析器。 增量解...
JavaScript的由来 JavaScript并非凭空而来,它本身出自浏览器,最开始是用来嵌入到浏览器网页上,执行几段代码的,例如,当时的网速很慢也贵,有些操作不适合在服务端完成,比如输入用户名密码时,如果用户忘了输入密码,直接点击发送,到服务器发现这一点就太晚了,需要有一个小程序在用户没有填一下密码的时候给出一个提示。1995年,Microsoft推出了Internet Explorer...
vscode-git插件代码研究 所有的git命令都是通过stream方法调用,用于记录所有git操作相关的命令记录,以及时间消耗 stream(cwd: string, args: string[], options: SpawnOptions = {}): cp.ChildProcess { options = assign({ cwd }, options ||...
chrome-launcher Node.js包研究 chrome-launcher 是一个 Node.js 库,用于启动 Chrome 浏览器并简化启动时对 Chrome 浏览器的一些设置。本文旨在通过研究其源代码,学习其中的优秀编码风格和实践。 chrome-finder 在该代码仓库中,有一个名为 chrome-finder.ts 的文件,用于在不同平台上寻找 Chrome 浏览...
文章先开始介绍了一宗谋杀案,桐原良介被谋杀了,而他老婆以前是做妓女的,和他的店铺的店长有点可疑,但是又没有什么特别的证据,他有一个儿子桐原亮司,然后警方又找到了他临死前去的地方,也就是西本文代家,西本文代有个女儿,自己也是那种高冷美人,老公七年前就死了,家里比较平穷,有一个很可爱很聪明的女儿,西本雪慧。 第二章讲的是秋吉雄一是个玩摄影的穷小子,他被派去偷拍雪穗,他有一个好基友菊池文彦,然后...
前言 二分查找(Binary Search)是一种从有序数组中查找某一特定元素的搜索算法。搜索过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜索过程结束;如果某一特定元素大于或者小于中间元素,则在数组大于或小于中间元素的那一半中查找,而且跟开始一样从中间元素开始比较。 如果在某一步骤数组为空,则代表找不到。 算法实现(python) while 循环写法 def bi...
排序算法 排序算法是计算机科学中最基础的算法之一,它们将一组元素按照一定的规则重新排列。下面是一些常见的排序算法: 冒泡排序(Bubble Sort):比较相邻的两个元素,如果前一个比后一个大,就交换它们的位置。重复这个过程,直到没有任何一对数字需要交换为止。 插入排序(Insertion Sort):将数组分为已排序区间和未排序区间,初始时已排序区间...
设计模式之命令模式 简介 命令模式,将一个请求封装为一个对象,从而使你可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤销的操作。 命令模式的 UML 类图: Cpp 基本实现 #include <iostream> #include <string> #include <list> class Stock{ ...