重複行去重
在線重複行去重工具，按行清理重複文本，適合日誌、名單和關鍵詞列表整理。
使用說明
- 1 粘貼多行文本
- 2 點擊去重按鈕
- 3 複製去重後的結果或查看清理統計
相關工具
中文簡繁轉換
在線中文簡體與繁體互轉工具，支持整段文本一鍵轉換
文本提取URL
在線從文本中提取所有URL鏈接，支持去重和數量統計，適合數據清洗和鏈接收集。
文本排序
在線文本排序工具，支持按行升序、降序和忽略大小寫排序。
Lorem Ipsum生成器
在線生成 Lorem Ipsum 佔位文本，支持按單詞/句子/段落批量生成，常用於排版和原型設計。
Markdown 編輯器
在線 Markdown 編輯器，支持源碼編輯、實時預覽與 HTML 導出。
刪除空行
在線刪除空行工具，一鍵清除文本中的空白行和僅含空格的行，適合代碼、日誌和列表整理。
刪除空格
在線刪除文本空格工具，支持刪除所有空格、首尾空格、合併多餘空格、刪除空行並trim。
文本對比/比對
在線文本對比工具，逐行比較兩段文本差異，高亮顯示新增和刪除內容
文本排序
在線文本排序工具，支持升序、降序、隨機、反轉、按長度排序等多種模式，適合名單和列表整理。
字數/字符數統計
在線文本字數統計工具，實時統計字符數、單詞數、行數和字節數
關於此工具
重複行去重工具以行為單位掃描文本，自動刪除內容完全相同的重複行，並保留第一次出現的行。處理完成後會顯示原始行數、去重後行數和刪除的重複行數，方便核對結果。
適用場景：清理從數據庫導出的重複記錄、整理關鍵詞列表去掉重複詞條、處理多次合併後產生的重複日誌行、去除爬蟲抓取的重複 URL 列表、整理名單避免重複報名。
手動去重一份 5000 行的列表幾乎不可能完成，用 Excel 的高級篩選也需要多步操作。這個工具粘貼即處理，瞬間完成去重，還能告訴你具體刪掉了多少行重複內容。
常見問題
去重時大小寫一樣的行會被視為重複嗎？ +
默認情況下，去重是大小寫敏感的，"Apple" 和 "apple" 會被當作不同行保留。如果你希望忽略大小寫（讓 "Apple" 和 "apple" 視為重複），可以開啟"忽略大小寫"選項，工具會統一轉小寫後再進行比對。
如果兩行內容相同但前後有空格，會被識別為重複嗎？ +
默認不會，帶有前後空格的行和不帶空格的行被視為不同。工具通常提供"去除首尾空格後比對"選項，開啟後 " hello " 和 "hello" 會被視為重複，只保留一行，推薦處理用戶輸入或日誌數據時開啟。
去重後原來的行順序會改變嗎？ +
不會。工具保留每行第一次出現的位置，後續重複行被刪除，剩餘行的相對順序與原文完全一致。這與 Excel "刪除重複項" 的行為相同，可以放心使用而不必擔心順序被打亂。
空行會被去重嗎？ +
是的，多個連續空行也會被視為重複行處理，只保留一個空行。如果你完全不想要空行，建議配合"刪除空行"工具一起使用，先去重再刪空行，或先刪空行再去重。
工具能處理幾萬行的大文本嗎？ +
可以。工具在瀏覽器本地運行，利用 Set 數據結構進行 O(n) 複雜度去重，處理 10 萬行文本通常在一秒內完成。文本數據不會上傳服務器，適合處理含敏感信息的內部數據列表。