说起这个话题,就总会不由得想起刚毕业的时候,当时在导师的带领下,调研并使用了geo server和postgreSQL。geo server做图层和位置信息展示,而pg则用来存储地理位置数据。一转眼至今已有十年光景,真是让人感慨,十年,弹指一挥间。
目前支持空间数据存储的方案很多,Esri公司的ArcSDE(Spatial Database Engine,空间数据库引擎),包括Oracle,SQL Server,IBM DB2都做了很好的支持,不过都是商业数据库,需要收费。开源领域,mysql、redis、elasticsearch、mongodb、postgreSQL等都做了相关支持。实现方案各自不同,使用上也有差异,简单理解,都是数据+索引结构组成的支撑,通过api来进行调用(废话)。
目前空间索引的实现有R树和其变种GIST树、四叉树、网格索引等。GeoHash也是空间索引的一种方式,并且特别适合点数据,而对线、面数据采用R树索引更有优势。
Redis 3.2 版本新增了geo相关命令,用于存储和操作地理位置信息。提供的命令包括添加、计算位置之间距离、根据中心点坐标和距离范围来查询地理位置集合等,说明如下:
geoadd:添加地理位置的坐标。
geopos:获取地理位置的坐标。
geodist:计算两个位置之间的距离。
georadius:根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。
georadiusbymember:根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。
geohash:返回一个或多个位置对象的 geohash 值。
Redis geo并不是全新的数据结构,而是基于Sorted Set来实现的(这点我们会在后面进行说明)。说起sorted set,大家肯定了解zset,也是redis中常用的数据结构。
我们看一下redis geo的源码,从中可以更好地理解数据结构和操作原理。redis源码可从https://github.com/redis/redis获取,我们切换到正在使用的3.2branch(也可以根据实际使用情况,切换到对应版本的分支)。3.2下的geo相关源码文件主要是src下的geo.h 和 geo.c,以及deps/geohash-int下的geohash.c,geohash.h,geohash_helper.h 和 geohash_helper.c。
geo.h是数据结构定义,里面包括了geoPoint 和 geoArray两个结构体,内容如下:
#ifndef __GEO_H__
#define __GEO_H__
#include "server.h"
/* Structures used inside geo.c in order to represent points and array of
* points on the earth. */
typedef struct geoPoint {
double longitude;
double latitude;
double dist;
double score;
char *member;
} geoPoint;
typedef struct geoArray {
struct geoPoint *array;
size_t buckets;
size_t used;
} geoArray;
#endif
可见geoPoint的字段包括 经度longitude、纬度latitude 这两个标识位置的基本字段,dist表示距离,member是成员(点)的名称/标识,以及score。score的含义是什么?聪明的小伙伴可能已经想到,应该是我们最开始提到的geohash值。其他的小伙伴不要着急,我们一起到geo.c中寻找答案。
geo.c是geo核心方法定义,内容不算很多,3.2版本的geo.c文件只有825行,所以阅读起来也并不复杂。
这里定义了我们从redis客户端输入各redis命令的处理函数。geoaddCommand,georadiusCommand,geohashCommand,geoposCommand,geodistCommand等等,其中还有georadius的一系列包装函数,在void georadiusGeneric(client *c, int flags) 函数中定义了具体的处理逻辑:

我们再详细看一下geoaddCommand(client *c)方法:

409-414行是校验逻辑,判断是否存在语法错误;

接下来是参数提取和处理。在419和420行,我们可以看到熟悉的命令:zadd;

接下来就更清晰了,注释中就已经明确写到:
创建参数向量并调用zadd方法,来把所有的score,value队插入到zset中,这里score实际上是lat,long的编码版本。
什么编码?438-441行明确写出了答案,geohash(geohashEncodeWGS84,使用wgs84坐标系的geohash编码。wgs84坐标系即大地坐标系)。
上面我们分析了,redis geo虽然是通过geopos,geoadd等提供了操作命令,但底层实际上是基于zset来存储的,并且在geoadd命令中,也出现了转zadd操作的源码,那么我们是否可以直接使用zset的相关命令来操作redis geo的存储呢?
redis server版本3.2,本地单机部署,未设置密码。
redis-cli -h mylocalhost -p 8179 --raw
注意:这里加上了--raw的参数。这是因为,当我们在redis中存储value包含中文时,如果不加上--raw,就会显示为unicode编码格式,如下:

--raw参数,官网的解释中,包括以下两个作用:1.按数据原有格式打印数据,不展示额外的类型信息(例如整数value之前的 (integer) 2);2. 显示中文。
先通过geoadd添加一条记录:

geopos查看成员位置:

重点来了,接下来我们通过zrange 来查询集合元素:

显然是可以的。也就是说,user_local就是一个zset。
接下来,我们看一下刚刚添加进来的test_1这个成员的score:

score值为 4174690127103984,回顾之前我们看过的geoadd源码,也就是说test_1的经纬度,对应的geohash值就是4174690127103984。
springframework中已经加入了对redis geo的支持,相关的类都在org.springframework.data.geo包下。而对redis的命令行交互,也提供了org.springframework.data.redis相关的类来支持相关开发。
为了在项目中方便使用,整理工具代码如下,主要封装了:
1、添加元素到redisgeo;
2、计算某指定集合下,给定中心和查询范围,获取区域内成员的方法;
3、计算两个成员的距离
4、查询某指定成员(数组)的位置信息
相关方法,如有需要可供参考:
package tool;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.geo.GeoResult;
import org.springframework.data.geo.Metrics;
import org.springframework.data.geo.Point;
import org.springframework.data.geo.Circle;
import org.springframework.data.geo.Distance;
import org.springframework.data.geo.GeoResults;
import org.springframework.data.redis.connection.RedisGeoCommands;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import java.util.List;
@Component
public class RedisGeoTool {
@Autowired
private RedisTemplate<String,String> redisTemplate;
/**
* 添加节点及位置信息
* @param geoKey 位置集合
* @param pointName 位置点标识
* @param longitude 经度
* @param latitude 纬度
*/
public void geoAdd(String geoKey, String pointName, double longitude, double latitude){
Point point = new Point(longitude, latitude);
redisTemplate.opsForGeo().add(geoKey, point, pointName);
}
/**
*
* @param longitude
* @param latitude
* @param radius
* @param geoKey
* @param metricUnit 距离单位,例如 Metrics.KILOMETERS
* @param metricUnit
* @return
*/
public List<GeoResult<RedisGeoCommands.GeoLocation<String>>> findRadius(String geoKey
, double longitude, double latitude, double radius, Metrics metricUnit, int limit){
// 设置检索范围
Point point = new Point(longitude, latitude);
Circle circle = new Circle(point, new Distance(radius, metricUnit));
// 定义返回结果参数,如果不指定默认只返回content即保存的member信息
RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs
.newGeoRadiusArgs().includeDistance().includeCoordinates()
.sortAscending()
.limit(limit);
GeoResults<RedisGeoCommands.GeoLocation<String>> results = redisTemplate.opsForGeo().radius(geoKey, circle, args);
List<GeoResult<RedisGeoCommands.GeoLocation<String>>> list = results.getContent();
return list;
}
/**
* 计算指定key下两个成员点之间的距离
* @param geoKey
* @param member1
* @param member2
* @param unit 单位
* @return
*/
public Distance calDistance(String geoKey, String member1, String member2
, RedisGeoCommands.DistanceUnit unit){
Distance distance = redisTemplate.opsForGeo()
.distance(geoKey, member1, member2, unit);
return distance;
}
/**
* 根据成员点名称查询位置信息
* @param geoKey geo key
* @param members 名称数组
* @return
*/
public List<Point> geoPosition(String geoKey, String[] members){
List<Point> points = redisTemplate.opsForGeo().position(geoKey, members);
return points;
}
}
基于上述理解和代码,我们可以实现一些简单的demo了。也可以基于此实现一个基于某中心点查询周围商铺之类的功能,但要应用到实战当中还远远不够。在真实的系统中,还需要考虑以下几个问题:
1、redis作为缓存还是数据库使用?
2、redis geo中存储的信息是否完整?是否还需要存储其他辅助信息?
3、可能会有多类位置点,实际需求会要求根据类别查询?
4、当发生数据迁移时,怎样保证redis geo中的数据完整?最多支持存储多少个空间数据?
....
一些比较容易想到的可能方案,比如结合其他持久化存储使用,做好一致性保障;member中包含id信息,用于查询明细信息;通过多个key对位置数据分类存储等等。但最终还需要根据实际需求,给出整套可行的方案,形成合理的架构设计,这样才能让我们做出的系统不再只是个demo,或者玩具。在后续的文章中,我们会继续进行探讨。
公众号:程序员架构进阶
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
我正在编写一个简单的静态Rack应用程序。查看下面的config.ru代码:useRack::Static,:urls=>["/elements","/img","/pages","/users","/css","/js"],:root=>"archive"map'/'dorunProc.new{|env|[200,{'Content-Type'=>'text/html','Cache-Control'=>'public,max-age=6400'},File.open('archive/splash.html',File::RDONLY)]}endmap'/pages/search.
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我正在尝试在Rails上安装ruby,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf
文章目录1.开发板选择*用到的资源2.串口通信(个人理解)3.代码分析(注释比较详细)1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子,不过代码大概在F103系列的板子上都可以运行,我试过在野火103的霸道板上也可以,主要看一下串口对应的引脚一不一样就行了,不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源,采集数据一个,串口通信一个,板子对应引脚如下:串口1,TX:PA9,RX:PA10串口2,TX:PA2,RX:PA32.串口通信(个人理解)我就从串口采集传感器数据这个过程说一下我自己的理解,