nginx+gridfs+mongodb分布式图片存储系统

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

1.下载安装mongodb文档数据库

[root@node2 ~]# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.0.7.tgz

[root@node2 ~]# tar xvf mongodb-linux-x86_64-rhel62-3.0.7.tgz

[root@node2 ~]# mv mongodb-linux-x86_64-rhel62-3.0.7 /usr/local/mongodb-3.0.7

[root@node2 ~]# /usr/local/mongodb-3.0.7/bin/mongod --dbpath=/usr/local/mongodb-3.0.7/data --logpath=/usr/local/mongodb-3.0.7/logs/mongod.log --port=27017 --logappend --fork


2.下载安装nginx和gridfs

gridfs下载地址:http://pan.baidu.com/s/1mgpiOmG

[root@node2 ~]# wget http://nginx.org/download/nginx-1.4.7.tar.gz

[root@node2 ~]# tar xvf nginx-gridfs.tar.gz 

[root@node2 ~]# tar xvf nginx-1.4.7.tar.gz

[root@node2 ~]# ./configure --prefix=/usr/local/nginx-1.4.7 --with-pcre=/usr/local/pcre-8.37 --with-http_stub_status_module  --with-poll_module --add-module=/root/nginx-gridfs  --user=www --group=www

[root@node2 ~]# make && make install

vim /usr/local/nginx-1.4.7/conf/nginx.conf

       location /abc/ {

            gridfs my_app root_collection=fs field=filename type=string;  --my_app是mongodb中的数据库,root_collection是表的前缀,field是文件,type是存储文件的类型

            mongo 127.0.0.1:27017;   --mongodb的IP和端口

        }


3.在mongodb中创建数据库

/usr/local/mongodb-3.0.7/bin/mongo

    use my_app;            --创建数据库就可以了,创建后必须写入数据才能生效


4.上传图片

/usr/local/mongodb-3.0.7/bin/mongofiles put 12.png  -h127.0.0.1:27017 -d my_app -t png 

put         --是上传

12.png       --是上的文件

my_app      --mongodb的数据库

png        --文件类型

[root@node2 ~]# /usr/local/mongodb-3.0.7/bin/mongofiles list -d my_app

2015-11-17T15:45:04.413+0800connected to: localhost

13.jpg109481

12.png490834

15.png210592

[root@node2 ~]# 


5.访问图片的地址

wKiom1ZK2weQEk3HAAhFkNcJnyg004.png



错误记录:

2015/11/17 14:21:45 [emerg] 31441#0: *7 malloc(18446744056529682432) failed (12: Cannot allocate memory)


解决方法:

  是mongodb的问题,重新安装下mongodb或者下功较低的版本.










本文转自 z597011036 51CTO博客,原文链接:http://blog.51cto.com/tongcheng/1713509,如需转载请自行联系原作者
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
1月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
72 4
|
2月前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
129 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后,AI的核心转向大模型发展,训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制,跨多个GPU的分布式训练成为必要,这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务,而NVLink则是一种高速、低延迟的通信技术,用于连接GPU或GPU与其它设备,以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长,分布式并行策略,如数据并行和模型并行,变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理,提高了训练效率。此外,NVLink和NVSwitch技术的持续演进,为GPU间的高效通信提供了更强的支持,推动了大模型训练的快
47 0
|
3月前
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
75 3
|
3月前
|
消息中间件 存储 监控
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
|
3月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
91 2
|
3月前
|
运维 NoSQL BI
简道云搭载阿里云MongoDB数据库,帮助数以万计企业重构业务系统
通过与MongoDB和阿里云团队的合作,让简道云少走了弯路,保障了线上服务的长期稳定运行,提高了吞吐效率,并相应降低了线上运行成本
|
3月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
3月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
59 0
|
3月前
|
存储 分布式计算 监控
C# 创建一个分布式文件存储系统需要怎么设计??
C# 创建一个分布式文件存储系统需要怎么设计??
50 0