重复行去重
在线重复行去重工具,按行清理重复文本,适合日志、名单和关键词列表整理。
使用说明
- 1 粘贴多行文本
- 2 点击去重按钮
- 3 复制去重后的结果或查看清理统计
相关工具
违禁词检测
在线违禁词检测工具,内置常见广告违禁词库,支持自定义词库,检测文本中的违规词汇。
汉字转拼音
在线汉字转拼音工具,支持带声调、无声调、数字声调三种模式,使用pinyin-pro库精确转换。
中文简繁转换
在线中文简体与繁体互转工具,支持整段文本一键转换
文本提取URL
在线从文本中提取所有URL链接,支持去重和数量统计,适合数据清洗和链接收集。
关键词密度分析
在线关键词密度分析工具,统计高频词、出现次数和文本占比,适合 SEO 内容检查。
文本排序
在线文本排序工具,支持按行升序、降序和忽略大小写排序。
Lorem Ipsum生成器
在线生成 Lorem Ipsum 占位文本,支持按单词/句子/段落批量生成,常用于排版和原型设计。
Markdown 编辑器
在线 Markdown 编辑器,支持源码编辑、实时预览与 HTML 导出。
摩斯电码转换
在线摩斯电码转换工具,支持文本转摩斯电码和摩斯电码转文本,双向转换。
数字转大写/金额大写
在线数字转中文大写工具,支持金额大写(如 12345.67 → 壹万贰仟叁佰肆拾伍元陆角柒分)和中文大写数字转换。
删除空行
在线删除空行工具,一键清除文本中的空白行和仅含空格的行,适合代码、日志和列表整理。
删除空格
在线删除文本空格工具,支持删除所有空格、首尾空格、合并多余空格、删除空行并trim。
文本大小写转换
在线文本大小写转换工具,支持大写、小写、标题格式和句首大写。
文本对比/比对
在线文本对比工具,逐行比较两段文本差异,高亮显示新增和删除内容
文本替换
在线文本查找替换工具,支持正则表达式和大小写敏感选项,显示匹配数量。
文本排序
在线文本排序工具,支持升序、降序、随机、反转、按长度排序等多种模式,适合名单和列表整理。
字数/字符数统计
在线文本字数统计工具,实时统计字符数、单词数、行数和字节数
关于此工具
重复行去重工具以行为单位扫描文本,自动删除内容完全相同的重复行,并保留第一次出现的行。处理完成后会显示原始行数、去重后行数和删除的重复行数,方便核对结果。
适用场景:清理从数据库导出的重复记录、整理关键词列表去掉重复词条、处理多次合并后产生的重复日志行、去除爬虫抓取的重复 URL 列表、整理名单避免重复报名。
手动去重一份 5000 行的列表几乎不可能完成,用 Excel 的高级筛选也需要多步操作。这个工具粘贴即处理,瞬间完成去重,还能告诉你具体删掉了多少行重复内容。
常见问题
去重时大小写一样的行会被视为重复吗? +
默认情况下,去重是大小写敏感的,"Apple" 和 "apple" 会被当作不同行保留。如果你希望忽略大小写(让 "Apple" 和 "apple" 视为重复),可以开启"忽略大小写"选项,工具会统一转小写后再进行比对。
如果两行内容相同但前后有空格,会被识别为重复吗? +
默认不会,带有前后空格的行和不带空格的行被视为不同。工具通常提供"去除首尾空格后比对"选项,开启后 " hello " 和 "hello" 会被视为重复,只保留一行,推荐处理用户输入或日志数据时开启。
去重后原来的行顺序会改变吗? +
不会。工具保留每行第一次出现的位置,后续重复行被删除,剩余行的相对顺序与原文完全一致。这与 Excel "删除重复项" 的行为相同,可以放心使用而不必担心顺序被打乱。
空行会被去重吗? +
是的,多个连续空行也会被视为重复行处理,只保留一个空行。如果你完全不想要空行,建议配合"删除空行"工具一起使用,先去重再删空行,或先删空行再去重。
工具能处理几万行的大文本吗? +
可以。工具在浏览器本地运行,利用 Set 数据结构进行 O(n) 复杂度去重,处理 10 万行文本通常在一秒内完成。文本数据不会上传服务器,适合处理含敏感信息的内部数据列表。