我必须下载一个 250mb~ ZIP 文件，密码通过 FTP 加密。下载后，我必须使用通用密码解压缩它，Zip 文件将包含一个 1.5GB 的 MS Access 数据库，我必须读取它并与我的数据库 Oracle 中的一些表进行一些连接，并将该数据转换并加载到该 Oracle 数据库中。

我正在寻找执行此过程的最佳方法。 我是 c# 开发人员，所以我的第一个想法是使用 c#，通过 FtpClient 下载文件。或 FtpWebRequest , 然后使用类似 DotNetZip 的 zip 库并通过 ODBC 打开 MS Access 数据库并使用 ODP.NEt 将记录加载到 Oracle 中，我认为这是我的“简单方法”，因为我知道如何去做。

但由于这是一个大文件，而且我知道这可能需要很长时间，所以我很关心时间和效率以及如何减少这个过程的时间。

所以我认为将所有请求直接处理到 oracle(从那里下载 FTP，在那里解压缩，然后直接在那里处理信息会减少时间，比如从 c# 到 oracle 逐条记录传递)应该减少这个过程的时间，但我不确定这是否是正确的方法。

所以我开始研究 oracle 中的库，它们可以完成我想要实现的目标，我发现了 PLSQL-utils似乎他们可以做我需要的一切，除了阅读 MS Access 数据库，我开始寻找它并找到了 Heterogeneous Services但我从未使用过它们，所以对此我一点也不迷茫。

还有一次听说我可以直接从 Oracle 使用 Java，而且我知道 java 可以通过 JDBC 连接到 MS Access。所以我搜索了一下，发现了一些关于 Calling Java Methods in Oracle Database 的东西

这就是我目前所知道的，但我不知道我应该使用哪种方法，我的意思是，据我所知，RDBMS 用于处理数据，而不是用于编程，例如下载文件或类似的东西，这就是我们拥有 OOP 语言的原因。

作为附加信息，这个过程将在一个月内执行一次或两次，所以我必须安排它，如果它在 oracle 中，可以很容易地通过计划作业完成，或者在 c# 中使用计划任务或 Windows服务(那些是我知道的工具)

我有一些限制

• 我的客户没有 MS SQL Server，也无法为其购买许可证(因此我无法在此过程中使用 DTSX)
• 在 Oracle 生产服务器中可能我没有足够的权限来做所有的事情，但如果它们最适合流程，我可以遵守这些事情
• 如果需要后端服务器(Java、托管在 IIS 或 WebLogic 或 JBoss 或任何类型上的 c#)，则此服务器和 Oracle 服务器将有所不同
• Oracle 数据库托管在 Unix 服务器上

综上所述，我怎样才能有效地完成所有这些过程，我应该使用 .net 并在我的 Oracle 数据库中逐条加载记录吗？我应该在 oracle 中做所有事情吗？还是什么都不做？有更好的方法吗？

最佳答案

我认为您使用 C# 控制台应用程序使其成为一个可重复的过程是正确的。 Here是很棒的免费图书馆，我在许多项目中都使用过它来压缩。

using (var client = new WebClient())
using (var stream = client.OpenRead(@"ftp://mysite.com/mydb.zip"))
using (var file = File.Create(@"c:\temp\mydb.zip"))
{
    stream.CopyTo(@"c:\temp\mydb.zip", 32000);
}

using (ZipFile zip = ZipFile.Read(@"c:\temp\mydb.zip"))
{
    ZipEntry e = zip["bigdb.mdb"];
    e.Password = "yourpassword";
    e.Extract("c:\temp\bigdb.mdb");
}

解压后，您可以创建到访问数据库和数据读取器对象的数据连接。然后使用 dbreader 读取行并写入平面文件(避免大数据集出现内存不足异常)。

private constr = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=yourdbfile.mdb;Jet OLEDB:Database Password=yourpassword;";
OleDbConnection conn = new OleDbConnection(constr);
string query = "SELECT * FROM [YourTable]";

OleDbCommand cmd = new OleDbCommand(query, conn);
OleDbDataReader reader = cmd.ExecuteReader();
int rowNum = 0;
StringBuilder sb = new StringBuilder(); 
while (reader.Read())
{
   // write rows to flat file in chunks of 10K rows.
   sb.Append(reader["FieldA"].ToString() + "|");
   sb.Append(reader["FieldB"].ToString() + "|");
   sb.Append(reader["FieldC"].ToString() + System.Environment.NewLine);

   if (rowNum % 10000 == 0)
   {
        File.AppendText(@"c:\temp\data.psv", sb.ToString());
        sb = new StringBuilder(); 
   }
   rowNum++;
}
File.AppendText(@"c:\temp\data.psv", sb.ToString());
reader.Close();

填写数据表后，您可以将其导出到平面文件。 我不建议逐行插入数据，那会非常慢并且会使您的 Oracle 数据库事务日志膨胀。我不相信 Oracle 10g 有支持批量加载的 .Net 驱动程序，所以您可能需要通过平面文件批量加载。

接下来，通过命令行导入Oracle，you can invoke this from your C# console app .在执行此操作之前，您需要创建一个 control file, ctl.ldr ，首先由 Oracle 用于批量加载操作。

options (skip=1)
load data
 INFILE 'c:\temp\data.psv'
 INTO table tblTest
 APPEND
 FIELDS TERMINATED BY "|" optionally enclosed by '"'      
 ( fielda,fieldb,etc...)

and then 
run it in as follows via command line

sqlldr username/pswd@oracle_sid control=ctl.ldr

希望这对您有所帮助，祝您好运!

[编辑]

您还可以查看 .Net Oracle Bulk copy class .这是随 Oracle 11g 客户端 驱动程序一起提供的。也许它仍然适用于您的 10g 服务器。那里的一个潜在问题是，同一应用程序服务器上的所有其他应用程序也需要与这些更新的 11g 客户端驱动程序一起工作。另一种选择是构建一个使用 Jena framework 的 Java 应用程序。支持批量加载。

关于c# - 下载和处理要在 Oracle 中加载的超大压缩 MS Access 文件的最佳方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19391601/