《数据去重方法和装置》由会员分享，可在线阅读，更多相关《数据去重方法和装置（1页珍藏版）》请在金锄头文库上搜索。
19中华人民共和国国家学问产权局12制造专利申请21申请号 CN202111202112.022申请日 2021.12.2371申请人 中国电信股份地址 100033 北京市西城区金融大街 31 号10申请公布号CN108241615A43申请公布日 2021.07.0372制造人 王峰;刘圆;赵继壮;宋科74专利代理机构 中国国际贸易促进委员会专利商标事务所代理人 许蓓51Int.CI权利要求说明书 说明书幅图54制造名称数据去重方法和装置57摘要本制造公开了一种数据去重方法和装置， 涉及数据处理领域。其中的数据去重方法包括： 生成待去重数据集中数据的散列值；比较待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，无重复数据集散列值是依据无重复数据集生成的；将非重复数据记录到无重复数据集，并从待去重数据集中删除；在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的
