Day19 Lab 2 - Object storage 数据校验和去重

本篇我们会分两部分 - 校验和去重

前面讲到的Metadata，如果有了Metadata，我们可以做到上述两个部分，这能为储存系统节省许多空间

校验

我们的校验做在API层

if hash == obj_hash:
   if produce_object({'name': obj_name, 'version': version, 'hash': hash, 'obj': open(os.path.join(DIR_PATH, hash), 'rb').read()}):
      return Response(json.dumps({}), status=200, mimetype='application/json')
   else:
      return Response(json.dumps({}), status=400, mimetype='application/json')

python-simple-object-storage/run.py at master · kaichiachen/python-simple-object-storage

可以看到，前端也必须传hash做为参数以保证安全

去重

对於同一个object，他的hash是一样的，因为他们的内容一样，所以去重我们简单的把要消费的资料的名字设定为hash，如下所示

res = Producer.getInstance().send(server, value={f"{content['hash']}-{i}": comp})

https://github.com/kaichiachen/python-simple-object-storage/blob/master/distributed_obj_system/backend/api/obj.py#L46

这样在data层，看到的就是一个个hash过的object，对於重复的hash就会自动覆盖