简数采集发布到数据库详细教程

时间:2021-6-4 作者:qvyue

简数采集提供发布到数据库功能,主要把采集的数据直接发送到指定的数据库中(暂时支持MySQL数据库)。该发布方式非常通用灵活,无需安装发布插件,主要给用户自己开发的系统使用,需要开发人员配置(因涉及到数据库专业知识)。详细步骤发下

一、添加发布目标:

  进入简数控制台,从【我的采集任务】列表中打开一个任务,进入采集任务管理页面,找到【发布目标管理】 ==》点击【数据库】,在【数据库发布配置】页面填选数据库基本信息,然后保存下一步,如下图:

简数采集发布到数据库详细教程
简数采集发布到数据库详细教程

 注意:

数据库设置正确成功连接后,相应的数据库名和数据库表就可以从下拉项中选择;

数据库连接失败,注意数据库用户访问权限设置,可以先用Navicat软件连接查找问题;

二、数据库字段映射:

  数据库基本信息配置正确后,进入【添加表字段及与抓取字段映射 】页面,已选数据库表中的全部字段都会被列出,用户需要在来源1选择映射采集抓取的参数,或者来源2填写固定值(参数值来源1和来源2,2选1,来源1优先生效),最后记得保存;

  提示:如果【数据库表字段】的“选择字段”没有下拉项,请检查第一步数据库基本信息配置是否正确完整。

简数采集发布到数据库详细教程
简数采集发布到数据库详细教程
简数采集发布到数据库详细教程

注意:数据库字段ID如果是自增长的,请删除ID的映射行,否则会发布失败的;

三、数据发布:

(与发布到wordpress相似,请参考发布到Wordpress)

四、发布常见问题:

数据库连接失败,请检查数据库用户访问权限设置,可以用Navicat软件连接查找问题;

数据库字段ID如果是自增长的,请删除ID的映射行,否则会发布失败的;

如果发布失败,请检查数据库表字段字符类型,目前仅支持字符串和整型字段的映射发布

字段长度等限制,请检查数据库字段长度是否可以满足插入的采集内容长度;

发布失败,如果是发布到阿里云数据库等有安全防护的服务器,需将简数IP添加到白名单;

发布失败还可能是数据库字符集问题,某些特殊字符是4个字节,而 mysql 的utf8编码最多3个字节,所以数据插不进去,解决方法可参考该文章更改MySQL数据库的编码为utf8mb4,注意备份;

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。