最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下：

这里为了方便演示，我新建了一个user测试表，主要有id，username，sex，address这4个字段，其中主键为id（自增），同时对username字段设置了唯一索引：

01

insert ignore into

即插入数据时，如果数据存在，则忽略此次插入，前提条件是插入的数据字段设置了主键或唯一索引，测试SQL语句如下，当插入本条数据时，MySQL数据库会首先检索已有数据（也就是idx_username索引），如果存在，则忽略本次插入，如果不存在，则正常插入数据：

02

on duplicate key update

即插入数据时，如果数据存在，则执行更新操作，前提条件同上，也是插入的数据字段设置了主键或唯一索引，测试SQL语句如下，当插入本条记录时，MySQL数据库会首先检索已有数据（idx_username索引），如果存在，则执行update更新操作，如果不存在，则直接插入：

03

replace into

即插入数据时，如果数据存在，则删除再插入，前提条件同上，插入的数据字段需要设置主键或唯一索引，测试SQL语句如下，当插入本条记录时，MySQL数据库会首先检索已有数据（idx_username索引），如果存在，则先删除旧数据，然后再插入，如果不存在，则直接插入：

04

insert if not exists

即insert into … select … where not exist ... ，这种方式适合于插入的数据字段没有设置主键或唯一索引，当插入一条数据时，首先判断MySQL数据库中是否存在这条数据，如果不存在，则正常插入，如果存在，则忽略：

目前，就分享这4种MySQL处理重复数据的方式吧，前3种方式适合字段设置了主键或唯一索引，最后一种方式则没有此限制，只要你熟悉一下使用过程，很快就能掌握的，网上也有相关资料和教程，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

在MySQL中大概有四种方式可以防止数据的重复插入，我们以如下user_basic_infor表为例，分别简单介绍一下这几种方式，user_basic_infor的建表SQL语句如下：

insert ignore into

如上，在 user_basic_infor表中使用主键索引(PRIMARY KEY)以及唯一索引(UNIQUE KEY)确保数据具的唯一性，为避免重复插入记录可以使用 insert ignore into 语法，如下：

当使用 ignore 插入数据时，如果出现错误，如重复记录，将不返回错误，仅以警告形式返回。因此使用 ignore时，请确保SQL语句本身没有问题，否则也将会被忽略掉。

on duplicate key update

同样，在user_basic_infor表中使用主键索引(PRIMARY KEY)以及唯一索引(UNIQUE KEY)确保数据具的唯一性，为避免重复插入记录也可以使用 on duplicate key update 语法，如下：

如果在 insert 语句末尾指定了on duplicate key update ……，并且插入行后会导致在主键索引(PRIMARY KEY)或者唯一索引(UNIQUE KEY)中出现重复值时，则在出现重复值的行执行

update ，如果不会导致唯一值列重复的问题，则插入该新行。

replace into

同样，在user_basic_infor表中使用主键索引(PRIMARY KEY)以及唯一索引(UNIQUE KEY)确保数据具的唯一性，为避免重复插入记录也可以使用replace into 语法，如下：

replace 尝试把新行插入到表中，当如果插入数据的主键索引(PRIMARY KEY)以及唯一索引(UNIQUE KEY)出现重复，导致报错而造成插入失败时，会先从表中删除原有涉及到重复的行，然后再次尝试把新行插入到表中，这种方法就是无论原来有没有相同的记录，都会先删除再执行插入。

insert … select … where not exist ……

除此之外，在 MySQL 中，插入一条记录，我们可以先检查这条记录是否已经存在，当记录不存在时再执行插入操作，这样可以不只通过主键索引(PRIMARY KEY)或者唯一索引(UNIQUE KEY)来判断，也可通过其它条件，如下：

方法一：使用ignore关键字

如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：

复制代码 代码如下:

INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('test9@163.com', '99999', '9999');

这样当有重复记录就会忽略,执行后返回数字0

MySQL数据库中避免重复数据插入

在数据库中已经存在重复数据 ，并且数据量很大 的时候，在修改sql语句在插入时 避免重复插入，可以有以下方法。

设置唯一索引

使用ignore或者REPLACE INTO 或者ON DUPLICATE KEY UPDATE

on duplicate key update

如果数据存在会触发更新操作 执行后面语句的update

INSERT INTO tb_table(a,b,c) VALUE('1','bbb','ccc') ON DUPLICATE KEY UPDATE b= 'bbb',c='ccc'

ON DUPLICATE KEY UPDATE 之后的语句不是条件判断 条件的判断会根据你的唯一索引来判断触发update之后会执行 UPDATE之后的语句进行更新如果update之后写的是条件判断的话 就会出现只能插入无法更新的操作

replace into

如果数据存在就删除再插入

REPLACE INTO `student`(`name`, `age`) VALUES('Jack', 18);

insert ignore into

如果插入时 数据存在则忽略此次插入数据

INSERT IGNORE INTO `student`(`name`, `age`) VALUES('Jack', 18);

没有设置唯一索引

但是当你的数据库中数据存在重复，重复字段并没有设置唯一索引或者主键的时候，

上面的方法是无法使用的，这种情况可以使用

insert if not exists

insert if not existsINSERT INTO TABLE (field1, field2, fieldn) SELECT 'field1','field2','fieldn'FROM 表 WHERENOT EXISTS (SELECT * FROM 表名 WHERE 字段= ?)