首页 > TAG信息列表 > load-data-infile

使用php将数据批量插入MySQL数据库

我有成千上万的数据通过巨大的XML解析,可以使用PHP和MySQL插入数据库表中.我的问题是将所有数据插入表中花费的时间太长.有没有一种方法可以将我的数据分成较小的组,以便按组进行插入过程？例如,如何设置一个脚本来处理100个数据？这是我的代码： foreach($itemList as $key => $item){

mysql-LOAD DATA INFILE不会导入CSV数据源中的所有行

我正在尝试将CS​​V文件中的数据加载到MySQL数据库中,并注意到导入该文件时似乎跳过了许多记录. 数据来自政府来源,在不寻常的地方用单引号等格式很奇怪.以下是未插入记录的示例： "'050441'","STANFORD HOSPITAL","CA","H_HSP_RATING_7_8","How do patients rate the hospital ove

java-最佳实践是在单个事务中将50000条记录存储在mysql中

输入集：数千(> 10000)个csv文件,每个文件包含> 50000项. 输出：将这些数据存储在mysql db中. 采取的方法：读取每个文件并将数据存储到数据库中.以下是相同的代码段.请建议这种方法是否可行. PreparedStatement pstmt2 = null; try { pstmt1 = con.prepareStatement(sqlQuery); re

收集mysql统计信息

计算插入数据库中的新记录的最简单方法是什么？加载查询中是否可以包含计数查询？ 还是需要更复杂的东西,例如记录现有的最后一条记录并计算之后添加的所有内容？ 编辑： 我有一个cron作业,它在直接传递给mysql的脚本中使用LOAD DATA INFILE.此数据与php Web应用程序一起使用.作为php Web应

加载数据文件中的文件禁用/启用键性能

我有一张约有700万行的表.每天一次,我需要将大约200,000新行批量导入此表.为此,我首先使用LOAD DATA INFILE禁用表上的键,然后重新启用表上的键. 我遇到的问题是ALTER TABLE my_table ENABLE KEYS语句. 大约需要15分钟才能完成.我试图通过增加myisam_sort_buffer_size来提高性能,但

mysql-加载数据文件,注释字符

我有一个数据文件,其中某些行是以％开头的注释行.如何将数据从这样的文件加载到mysql表中？解决方法:啊.否.从spec命令开始,无法使它忽略以特定字符开头的行.您可以跳过一定数量的行,但这是您可以做的最好的事情. 您将需要预处理文件.或告诉产生它的人停止将其放置到位.

mysql-删除后LOAD DATA回收磁盘空间

我有一个由MYISAM表组成的数据库架构,我有兴趣不时从某些表中删除旧记录. 我知道delete不会回收内存空间,但是正如我在DELETE命令的描述中发现的那样,插入可能会重用已删除的空间 在MyISAM表中,已删除的行保留在链接列表中,随后的INSERT操作将重用旧的行位置. 我是否对LOAD DATA命

php-CSV文件上传以处理状态更新和插入新记录

在本地托管的项目上工作时,我只能管理CSV上传.一项任务要求我每天上传具有新条目或现有条目的更新状态的数据.也有可能某些条目(存在于数据库中)没有更新状态. 问题陈述; 我创建了CSV上传功能,该功能将CSV文件上传到特定位置,并将信息导入分配的TABLE中. 我想知道在执行CSV上传时验

mysql-第1行CSV输入中的无效字段计数

我试图将ODS文件导出为CSV,但是当我导入phpmyadmin时-我收到“第1行CSV输入中的无效字段计数”. 文件(具有两行以上,但方案相同)： "Administração da Guarda Nacional Republicana" "Administração de Publicidade e Marketing" 表： CREATE TABLE IF NOT EXISTS `profession`

MySQL：将多个文件加载到表中

我一直试图将多个文件加载到一个表中,以便它们适合同一行. 我可以分别插入它们,但是问题出在NULL值之内,并且我打算加入该表.如果发生这种情况,我会得到太多的NULL值-无用的数据. LOAD DATA LOCAL INFILE 'malefirst.txt, femalefirst.txt, allfirst.txt, allfirst.txt' INTO TAB

MYSQL LOAD DATA INFILE忽略重复行(自动增量作为主键)

我使用LOAD DATA INFILE命令遇到了一些麻烦,因为我想忽略已经在数据库中的行…如果我有一个包含数据的表,如下所示, id |name |age -------------------- 1 |aaaa |22 2 |bbbb |21 3 |bbaa |20 4 |abbb |22 5 |aacc |22 其中id是自动增量值.我所拥有的csv

无需访问服务器或phpMyADMIN即可轻松导出SQL表

我需要一种方法来轻松导出,然后将MySQL表中的数据从远程服务器导入我的家庭服务器.我没有直接访问服务器,也没有安装phpMyAdmin等实用程序.但是,我确实能够将PHP脚本放在服务器上. 我如何获得数据？ 我问这个问题纯粹是为了记录下去的方式解决方法:您可以使用SQL： $file = 'backups/m

从LOAD DATA INFILE中查找MySQL错误

我在MySQL中运行LOAD DATA INFILE命令,其中一个文件在mysql提示符下显示错误. 如何检查警告和错误？现在我唯一要做的就是提示在导入时报告65,535个警告. mysql> use dbname; Database changed mysql> LOAD DATA LOCAL INFILE '/dump.txt' -> INTO TABLE table -> (id, titl

MYSQL LOAD DATA INFILE语法错误 – 哪里错了？

这里的Synthax错误在哪里？ LOAD DATA INFILE 'mysqlout_back.txt' INTO TABLE temp (user,category,site,tld,ip,updated,date) FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' ; 解决方法:如果您只想加载特定列中的数据,请转到结尾： LOAD DATA INFILE 'mys

有条件地忽略行加载数据mysql

我正在将一个大型数据集(60演出)加载到数据库中.有些记录可以跳过,因为它们包含缺少的值.如何告诉MySQL跳过包含某些(在这种情况下丢失)值的行？例如,我的文件看起来像这样 Value1, Value2 1,2 3,4 ,5 9,10 第三行可以跳过而不加载.我知道我可以加载所有内容然后删除它但处理60 gig

mysql – 如何为InnoDB引擎数据库重新设置“自动增量”列？

我正在使用人工主键来表.该表有两列,一列是主键,另一列是Dates(数据类型：Date)列.当我尝试从文件(仅包含第二列的值)加载批量数据时,日期的YYYY部分被添加到主键列(表中的第一列)和日期的其余部分被截断了. 所以我需要重置表格.我使用Truncate表语句尝试了它,但它失败并出现错误,因

mysql – LOAD DATA INFILE错误1064

我正在运行这个MySQL命令： LOAD DATA LOCAL INFILE 'books.csv' INTO TABLE BOOK (Book_id, @dummy, Title, Publisher_name, @dummy, @dummy) FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\r\n' IGNORE 1 LINES; 我收到一个错误： ERROR 1064 (42000

mysql infile将字符串转换为时间格式

我有一个TSV,我试图渗透到mySQL表中.两列是时间格式,但它们与HH：MM：SS的标准时间格式不匹配,而是看起来像HH：MM AM / PM 我已经看过使用PHP执行此操作的示例,但我希望有一种方法可以使用mysql str_to_date 这是我到目前为止所做的工作. LOAD DATA LOCAL INFILE 'C:\\SINGLE_PROP\\op

php – 为什么我不能在PDO中使用LOAD DATA LOCAL,即使我可以从cli客户端使用？

我最近将我的Ubuntu 10.04开发服务器升级到了14.04.它实际上是一个全新的安装. PHP版本是5.4.15,现在是PHP 5.5.9. MySQL从5.1.67升至5.5.37. 我试图在新服务器上加载LOCAL DATA INFILE.它使用本地mysql cli客户端运行命令.使用PDO执行时不起作用： PHP Fatal error: Uncaught exce

php – 关于将.csv数据加载到生产服务器的问题

以下代码在WAMP服务器中正确上传MySQL中的.csv文件,但它无法在GoDaddy共享主机上运行： <?php $con = new mysqli(DB_HOST,DB_USER,DB_PASS,DB_NAME); if (mysqli_connect_errno()) { echo "Failed to connect to MySQL: " . mysqli_connect_error(); }; $sql = "LOAD DATA INF

Mysql从加载infile中的另一个表中选择

我有一个csv文件,我使用load local infile命令加载到mysql数据库. csv有一组从5个值的枚举中收集的字段,我需要根据这些来查询.为了加快查询速度(可能高达600万行),我试图在引用表上选择插入id而不是字符串值. load data local infile 'test_file.csv' into table matching

php – 如何使用LOAD DATA LOCAL INFILE REPLACE

我有一个脚本,我用来将数据从一个数据库迁移到另一个数据库.我已经使用常规的mysql插入和更新脚本这样做了.它只需要太长时间. 在任何情况下,我都将我要在新数据库中更新的所有数据转储到csv,我只是担心如果我运行这个脚本,我将获得重复的条目.我没有匹配的“id”,因此我无法对下面

MySQL LOAD XML INFILE的问题

我有一个格式为……的XML文档 <?xml version="1.0" encoding="UTF-8"?> <yahootable> <row> <various><![CDATA[ multiline text, "&" other <stuff> ]]> </various>

php – 将大型CSV文件导入MySQL

我正在尝试将一个csv文件导入到一个mysql表中,我目前有一个逐行运行的脚本,因为我需要将一个id与另一个id结合使用以及格式化mysql格式的日期. csv文件的列数多于我当前导入的列数.是否更容易导入所有列？ 我正在阅读LOAD DATA INFILE(http://dev.mysql.com/doc/refman/5.1/en/load-d