简单文件存储服务 去重存储

此篇基于之前写过的一个文件存储的函数,最初版本是只接收数据存储后返回文件id(这个文件id是随机生成的),在写完之后就有考虑加一个去重功能,因为实际用在项目里这代码看来很呆,测试时也看到存储了大量重复文件在系统中.也是最近突然有兴致想到重写一下,当然我不保证这段代码一定正确,同时我的代码也只是理论上的实现,实际使用也不一定适合.如果有问题欢迎您的指正,我先提供修改后的代码,最后再是最初版本.
逻辑简单说就是 获取文件的SHA256值来判断是否已经存储过 ==> 存储文件.
然后实际编写下来就会感受到几种特殊情况:
多个线程同时存储相同文件,检查到没有存储过,都一起存储了一遍,然后u_map也插入key冲突了.
然后就使用到提前存储到u_map中防止另一线程拿到锁发现没存储过也来存储,这时候就又出现新问题那出现存储失败怎么办?另一线程已经判断了存在直接返回了fileId了.
这时候我就再添加一个u_map用于保存文件存储状态,在判断是否已经有存储的时候,再去判断这个存储是否完毕,如果未完毕就等待存储完毕,再返回这里的等待就不考虑重试了.

1. //最终版本
2. #include <brpc/server.h>
3. #include <butil/logging.h>
4. #include <openssl/sha.h>
5. //我写的一些库文件就不贴出来献丑了
7. class FileServiceImpl : public FileService{
8. public:
9.     FileServiceImpl(const std::string& base_path)
10.         :__base_filepath(base_path){
11.             umask(0);
12.             mkdir(base_path.c_str(), 0775);
13.             DEBUG("文件根目录{}",base_path);
14.             if (__base_filepath.back() != '/') __base_filepath.push_back('/');
15.         }
16.     ~FileServiceImpl(){}
17.     //
18.     //上传单个文件
19.     void PutSingleFile(::google::protobuf::RpcController *controller,
20.                        const ::PutSingleFileReq *request,
21.                        ::PutSingleFileRsp *response,
22.                        ::google::protobuf::Closure *done){
23.         brpc::ClosureGuard guard(done);
24.         response->set_request_id(request->request_id());
25.         response->mutable_file_info()->set_file_size(request->file_data().file_size());
26.         response->mutable_file_info()->set_file_name(request->file_data().file_name());
28.         StoreResult r = StoreFile(request->file_data().file_content());
29.         response->set_success(r.success);
30.         //存储失败
31.         if(!r.success){
32.             response->set_errmsg(r.errmsg);
33.             return;
34.         }
35.         response->mutable_file_info()->set_file_id(r.file_id);
36.         return ;
37.     }
38. private:
39.     /**
40.      * 用于文件存储状态
41.      */
42.     struct FileState
43.     {
44.         bool finished = false;
45.         bool success = false;
46.         std::string errmsg;
47.         std::condition_variable cv;
48.         std::mutex mtx;
49.     };
50.     /**
51.      * 存储返回,用于复用的
52.      */
53.     struct StoreResult
54.     {
55.         bool success;
56.         std::string file_id;
57.         std::string errmsg;
58.     };
59.     // 计算文件内容的 SHA256 哈希
60.     std::string calculateFileHash(const std::string& content) {
61.         unsigned char hash[SHA256_DIGEST_LENGTH];
62.         SHA256((const unsigned char*)content.data(), content.size(), hash);
63.         return std::string(reinterpret_cast<char*>(hash), SHA256_DIGEST_LENGTH);
64.     }
65.    
66.     /**
67.      * 存储文件，包含哈希去重、并发控制、写入逻辑
68.      */
69.     StoreResult StoreFile(const std::string& file_content) {
70.         StoreResult result;
71.    
72.         std::string hash_file = calculateFileHash(file_content);
73.         std::string file_id = chat_im::util::uuid();
74.         std::shared_ptr<FileState> file_state;
75.             bool need_wait = false;
76.         {
77.             std::lock_guard lock(__file_mutex);
78.             auto ite = __file_hashMap.find(hash_file);
79.             /**
80.              * 可能已经存储过,检查是否是其他插入key值,但还没存储完毕
81.              */
82.             if(ite != __file_hashMap.end()){
83.                 file_id = ite->second;
84.                 //判断是否提取插入的值
85.                 auto s_ite = __writing_files.find(file_id);
86.                 if(s_ite == __writing_files.end()){
87.                     /**
88.                      * 直接返回
89.                      */
90.                     result.success = true;
91.                     result.file_id = file_id;
92.                     return result;
93.                 }else{
94.                     /**
95.                      * 需要等待
96.                      */
97.                     file_state = s_ite->second;
98.                     need_wait = true;
99.                 }
100.             }else{
101.                 /**
102.                  * 没有存储过,提前插入map中
103.                  * 避免多个线程同时进行写入同一文件
104.                  */
105.                 __file_hashMap[hash_file] = file_id;
106.                 file_state = std::make_shared<FileState>();
107.                 __writing_files[file_id] = file_state;
108.             }
109.         }
110.         /**
111.          * 等到另一线程写入完毕
112.          */
113.         if (need_wait){
114.             std::unique_lock<std::mutex> lock(file_state->mtx);
115.             if(!file_state->cv.wait_for(lock,std::chrono::seconds(3),[&](){return file_state->finished;})){
116.                 // 等待超时处理
117.                 result.success = false;
118.                 result.errmsg = "文件处理超时";
119.                 return result;
120.             }
121.             result.success = file_state->success;
122.             result.errmsg = file_state->errmsg;
123.             result.file_id = file_id;
124.             return result;
125.         }
126.         /**
127.          * 存储文件,
128.          */
129.         std::string file_name = __base_filepath+file_id;
130.         bool status = chat_im::util::writeFile(file_name,file_content);
131.         {
132.             std::lock_guard lock(file_state->mtx);
133.             file_state->finished = true;
134.             file_state->success = status;
135.             if(!status){
136.                 file_state->errmsg = "写入文件失败";
137.             }
138.         }
139.         /**
140.          * 通知等待的线程
141.          */
142.         file_state->cv.notify_all();
143.         
144.         {
145.             std::lock_guard lock(__file_mutex);
146.             __writing_files.erase(file_id);
147.         }
148.         if(status == false){
149.             /**
150.              * 取消原先插入的map值
151.              */
152.             std::lock_guard lock(__file_mutex);
153.             __file_hashMap.erase(hash_file);
154.             result.success = false;
155.             result.errmsg = "写入文件数据失败！";
156.             return result;
157.         }
158.    
159.         result.success = true;
160.         result.file_id = file_id;
161.         return result;
162.     }
165. private:
166.     std::string __base_filepath;
167.     std::unordered_map<std::string,std::string> __file_hashMap;
168.     std::unordered_map<std::string, std::shared_ptr<FileState>> __writing_files;
169.     std::mutex __file_mutex;
171. };

复制代码

1. //
2. //最初版本
3.     void PutSingleFile(::google::protobuf::RpcController *controller,
4.                        const ::PutSingleFileReq *request,
5.                        ::PutSingleFileRsp *response,
6.                        ::google::protobuf::Closure *done){
7.         brpc::ClosureGuard guard(done);
9.         response->set_request_id(request->request_id());
11.         std::string file_id = chat_im::util::uuid();
12.         std::string file_name = __base_filepath+file_id;
13.         bool status = util::writeFile(file_name,request->file_data().file_content());
14.         if(status == false){
15.             ERROR("上传文件请求{}:写入失败",request->request_id());
16.             response->set_success(false);
17.             response->set_errmsg("写入文件数据失败！");
18.             return;
19.         }
20.         response->set_success(true);
21.         response->mutable_file_info()->set_file_id(file_id);
22.         response->mutable_file_info()->set_file_size(request->file_data().file_size());
23.         response->mutable_file_info()->set_file_name(request->file_data().file_name());
24.         return ;
26.     }

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！