ToolboxAgent

重复行去重

在线重复行去重工具,按行清理重复文本,适合日志、名单和关键词列表整理。

使用说明

  1. 1 粘贴多行文本
  2. 2 点击去重按钮
  3. 3 复制去重后的结果或查看清理统计

相关工具

违禁词检测

在线违禁词检测工具,内置常见广告违禁词库,支持自定义词库,检测文本中的违规词汇。

汉字转拼音

在线汉字转拼音工具,支持带声调、无声调、数字声调三种模式,使用pinyin-pro库精确转换。

中文简繁转换

在线中文简体与繁体互转工具,支持整段文本一键转换

文本提取URL

在线从文本中提取所有URL链接,支持去重和数量统计,适合数据清洗和链接收集。

关键词密度分析

在线关键词密度分析工具,统计高频词、出现次数和文本占比,适合 SEO 内容检查。

文本排序

在线文本排序工具,支持按行升序、降序和忽略大小写排序。

Lorem Ipsum生成器

在线生成 Lorem Ipsum 占位文本,支持按单词/句子/段落批量生成,常用于排版和原型设计。

Markdown 编辑器

在线 Markdown 编辑器,支持源码编辑、实时预览与 HTML 导出。

摩斯电码转换

在线摩斯电码转换工具,支持文本转摩斯电码和摩斯电码转文本,双向转换。

数字转大写/金额大写

在线数字转中文大写工具,支持金额大写(如 12345.67 → 壹万贰仟叁佰肆拾伍元陆角柒分)和中文大写数字转换。

删除空行

在线删除空行工具,一键清除文本中的空白行和仅含空格的行,适合代码、日志和列表整理。

删除空格

在线删除文本空格工具,支持删除所有空格、首尾空格、合并多余空格、删除空行并trim。

文本大小写转换

在线文本大小写转换工具,支持大写、小写、标题格式和句首大写。

文本对比/比对

在线文本对比工具,逐行比较两段文本差异,高亮显示新增和删除内容

文本替换

在线文本查找替换工具,支持正则表达式和大小写敏感选项,显示匹配数量。

文本排序

在线文本排序工具,支持升序、降序、随机、反转、按长度排序等多种模式,适合名单和列表整理。

字数/字符数统计

在线文本字数统计工具,实时统计字符数、单词数、行数和字节数

关于此工具

重复行去重工具以行为单位扫描文本,自动删除内容完全相同的重复行,并保留第一次出现的行。处理完成后会显示原始行数、去重后行数和删除的重复行数,方便核对结果。

适用场景:清理从数据库导出的重复记录、整理关键词列表去掉重复词条、处理多次合并后产生的重复日志行、去除爬虫抓取的重复 URL 列表、整理名单避免重复报名。

手动去重一份 5000 行的列表几乎不可能完成,用 Excel 的高级筛选也需要多步操作。这个工具粘贴即处理,瞬间完成去重,还能告诉你具体删掉了多少行重复内容。

常见问题

去重时大小写一样的行会被视为重复吗? +

默认情况下,去重是大小写敏感的,"Apple" 和 "apple" 会被当作不同行保留。如果你希望忽略大小写(让 "Apple" 和 "apple" 视为重复),可以开启"忽略大小写"选项,工具会统一转小写后再进行比对。

如果两行内容相同但前后有空格,会被识别为重复吗? +

默认不会,带有前后空格的行和不带空格的行被视为不同。工具通常提供"去除首尾空格后比对"选项,开启后 " hello " 和 "hello" 会被视为重复,只保留一行,推荐处理用户输入或日志数据时开启。

去重后原来的行顺序会改变吗? +

不会。工具保留每行第一次出现的位置,后续重复行被删除,剩余行的相对顺序与原文完全一致。这与 Excel "删除重复项" 的行为相同,可以放心使用而不必担心顺序被打乱。

空行会被去重吗? +

是的,多个连续空行也会被视为重复行处理,只保留一个空行。如果你完全不想要空行,建议配合"删除空行"工具一起使用,先去重再删空行,或先删空行再去重。

工具能处理几万行的大文本吗? +

可以。工具在浏览器本地运行,利用 Set 数据结构进行 O(n) 复杂度去重,处理 10 万行文本通常在一秒内完成。文本数据不会上传服务器,适合处理含敏感信息的内部数据列表。