場景：
爬取的數據生成數據表，結構與另一個主表相同，需要進行合并+去重
解決：（直接舉例）
首先創建兩個表pep，pep2，其中pep是主表
CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
然后向pep中插入兩條數據，pep2中插入一條與pep中相同的一條數據
insert into pep(no) values('abc');
insert into pep(no) values('caa');
insert into pep2(no) values('abc');
將pep2的數據插入pep中
insert into pep (no) select no from pep2;
分組去重創建新的臨時表tmp
create table tmp select id,no from pep group by no;
注意：創建完這個表的id字段類型已經不是主鍵自增
可能也會報錯
```Syntax error or access violation: 1055 Expression #1 of SELECT
list is not in GROUP BY clause and contains nonaggregated
column 'XXX.Y.ZZZZ' which is not functionally dependent on
columns in GROUP BY clause; this is incompatible with
sql_mode=only_full_group_by
```
解決：執行以下兩個命令：
```
mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
```
刪除pep表，并將tmp表重命名為pep
drop table pep;
alter table tmp rename to pep;
查看desc結構和select * from pep發現id的字段類型變了，這里需要改回原來的類型；
alter table pep add primary key (id);
alter table pep modify id int auto_increment;
還有可以使用join來做去重，更快的還可以添加一個字段（可以是幾個字段+起來的的md5值），給這個字段創建一個唯一索引unique，以后插入數據的時候，自動回過濾掉重復的數據。
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。
您可能感興趣的文章:- MySQL 常見的數據表設計誤區匯總
- MySQL數據表分區策略及優缺點分析
- MySQL高級特性——數據表分區的概念及機制詳解
- MySQL如何構建數據表索引
- MySQL 索引和數據表該如何維護
- Mysql刪除數據以及數據表的方法實例
- MySQL創建數據表時設定引擎MyISAM/InnoDB操作
- 刪除mysql數據表如何操作
- 關于MYSQL 你需要知道的數據類型和操作數據表
- MySQL創建數據表并建立主外鍵關系詳解
- MySQL 如何設計統計數據表
