• 首页
  • 栏目
  • CRM
  • C# 文件搜索过程中如何提取office文件,wps,pdf,html,eml等格式的文件正文

C# 文件搜索过程中如何提取office文件,wps,pdf,html,eml等格式的文件正文

  • 2022-01-16
  • Admin

在文件数据挖掘处理技术中，如何从文本数据中抽取有价值的信息和知识是一个重要的数据挖据分支，是机器学习、自然语言处理、数理统计的基础技术之一，是信息检索，机器学习，AI智能等高端技术的的底层技术支持之一。

本组件智能分析提取其他各种文件中文本，为自然语言信息检索，机器学习等高端技术提供底层支持的技术组件，是Lucene/CLucene, Elasticsearch, Sphinx等全文检索工具，OA, ERP, CRM，网盘，文件管理等其他系统提供文件摘要及搜索前置服务。同时也可以为安全网关，邮件内容监控，内网安全等系统提供文件搜索及监控服务底层技术支持。   

组件提供C#使用组件对大量文件进行文件内容的搜索，为Lucene.Net等提供底层技术支持。系统调用简单方便，效率高。

以下几个步骤即可：

1:  解压直接打开graccvsTest工程

2:  到官网下载graccvs64.dll保存到EXE执行程序所在文件夹下, DLL下载地址

3:  代码中从64行开始定义函数, 从258行是文件取正文示例, testToTextFile函数可以直接输入文件名称函数提取正文并保存为文本文件,  testToString输入rft, html, pdf等文件名称放回字符串. 示例中还提供直接下载HTTP文件并提取正文的方法,使用超级简单.

4: 免费版可以提取50%-80%的文本，基本够用了。

5:  可以下载完整工程包直接测试,   工程下载地址

6:  以下是代码

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Text;
  4. using System.Runtime.InteropServices;
  5. using System.Threading;
  6.  
  7.  
  8. namespace graccvsTest
  9. {
  10.     public class DllInvoke
  11.     {   
  12.         [DllImport("kernel32.dll")]
  13.         private extern static IntPtr LoadLibrary(string path);
  14.  
  15.         [DllImport("kernel32.dll")]
  16.         private extern static IntPtr GetProcAddress(IntPtr lib, string funcName);
  17.  
  18.         [DllImport("kernel32.dll")]
  19.         private extern static bool FreeLibrary(IntPtr lib);
  20.         
  21.         private IntPtr hLib;
  22.         public DllInvoke(String DLLPath)
  23.         {
  24.             hLib = LoadLibrary(DLLPath);
  25.         }
  26.  
  27.         ~DllInvoke()
  28.         {
  29.             if (hLib != null)
  30.             {
  31.                 FreeLibrary(hLib);
  32.             } 
  33.         }
  34.          
  35.         public Delegate Invoke(string APIName, Type t)
  36.         {
  37.             if (hLib != null)
  38.             {
  39.                 IntPtr api = GetProcAddress(hLib, APIName);
  40.                 return (Delegate)Marshal.GetDelegateForFunctionPointer(api, t);
  41.             }
  42.             else
  43.             {
  44.                 return null;
  45.             }
  46.         } 
  47.     }
  48.       
  49.     class Program
  50.     {
  51.         //--------------------------------函数定义--------------------------------
  52.         // 加载DLL，设置动态库需要的临时文件夹，且对此文件夹要有读写权限
  53.         public delegate void LOAD(IntPtr tempPathPtr);
  54.  
  55.         /*
  56.           注册软件：
  57.           方式1：输入参数，corp为公司名称licText为注册码
  58.           方式2：把授权文件grauth.lic保存到动态库相同文件夹,调用TAuth函数（corp, licText都为空）系统自动加载grauth.lic
  59.           返回值：
  60.             0：免费版本许可为空
  61.             1：许可正常
  62.             2：序列号（公司授权名称）错误
  63.             3：加密数据格式错误
  64.             4：许可过期
  65.             5：许可验证错误
  66.             6：无效的许可
  67.             7：未知错误
  69.           注1：如果注册失败，系统变为免费版本
  70.           注2：免费版也需要调用此函数，corp和licText都为空
  71.         */
  72.         public delegate Int32 AUTH(IntPtr corp, IntPtr licText);
  73.  
  74.         // 提供文件正文，并保存到目标文件
  75.         // inFilePtr输入文件指针， outFilePtr为TXT目标文件文件指针
  76.         public delegate Int32 TOTEXTFILE(IntPtr inFilePtr, IntPtr outFilePtr);
  77.         // 提供文件正文
  78.         // inFilePtr输入文件指针， 返回UTF-8编码字符串数据指针（此指针需要使用FREESTRING函数释放内存）
  79.         public delegate IntPtr TOSTRING(IntPtr inFilePtr);
  80.         // 释放TOSTRING等函数的返回指针
  81.         public delegate void FREESTRING(IntPtr p);
  82.         // 得到最后的错误信息
  83.         public delegate IntPtr LASTERR();
  84.  
  85.         // 提取Http/Https文件，返回字符串数据指针
  86.         // url=Http/Https地址
  87.         // fileExt=文件类型（比如：".pdf"）,
  88.         // timeout=超时设置，超过此数值系统终止下载文件。单位为毫秒，默认为0（等待文件下载直到完成）
  89.         // httpParams=JSON格式header数据和cookie数据，默认为空
  90.         /*   
  91.           JSON格式如下：
  92.           {"headers":
  93.           [{名称1: 值1},{名称2: 值2},...],
  94.           "cookies":[
  95.           {"name": 名称（字符串）, "value": 值（字符串）, "expires": 有效期（整数，单位毫秒）,
  96.           "path": 路径（字符串）, "domain": 域名（字符串）},
  97.           {"name": 名称（字符串）, "value": 值（字符串）, "expires": 有效期（整数，单位毫秒）,
  98.           "path": 路径（字符串）, "domain": 域名（字符串）}
  99.           ...
  100.           ]}
  101.           例如：
  102.           {"headers":[{"client_id": "g01x9"}, {"client_secret": "e23c89cc9fe"}, {"client_index": 10092}],
  103.           "cookies":[{"name": "ga", "value": "1020", "expires":36000000, "path": "/hx/", "domain":"www.gaya-soft.cn"},
  104.           {"name": "xc3", "value": "10099", "expires":240000, "path": "", "domain":""}]}
  105.         */
  106.         // 返回UTF-8编码字符串数据指针（此指针需要使用FREESTRING函数释放内存）
  107.         public delegate IntPtr HTTPTOSTRING(IntPtr url, IntPtr fileExt, Int32 timeout, IntPtr httpParams);
  108.  
  109.         // 下载Http文件，并提取文本，保存到目标文件u
  110.         // outfile为TXT目标文件文件指针，其他参数和HTTPTOSTRING参数相同
  111.         public delegate Int32 HTTPTOTEXTFILE(IntPtr url, IntPtr fileExt, IntPtr outfile, Int32 timeout, IntPtr httpParams);
  112.  
  113.         //---------------------异步批量处理相关函数---------------------
  114.         // 文件提取异步任务， Infile输入文件地址， Outfile为TXT目标文件文件
  115.         // 如果提取某个文件错误，则 Outfile的内容如下格式： @ErrCode:错误代码, ErrMessage:错误提示
  116.         public delegate void ADDTASK(IntPtr inFilePtr, IntPtr outTxtFilePtr);
  117.         // 异步提取Http文件任务，参数同 HTTPTOTEXTFILE 函数
  118.         public delegate void  ADDHTTPTASK(IntPtr url, IntPtr fileExt, IntPtr outTxtFile, Int32 timeout, IntPtr httpParams);  
  119.         // 开始执行异步任务，返回值=1开始执行， 其他值未识别
  120.         // =2 免费版不支持此功能，=3 没有可以执行的任务 ，=4 当前任务未完成
  121.         public delegate Int32 ASYNCSTART();  
  122.         // 停止任务
  123.         public delegate void ASYNCSTOP();  
  124.         // 一直等待，直到全部异步任务结束
  125.         public delegate void ASYNCWAIT();  
  126.         // 得到执行异步任务的状态， =0 没开始， =1 正在处理中，=2 已中断， =99 处理完成
  127.         public delegate Int32 ASYNCSTATE(); 
  128.         // 设置执行异步任务的CPU数量（不大于软件授权数量），返回软件授权数量
  129.         public delegate Int32 ASYNCMAXPROCS(Int32 num);  
  130.         //---------------------异步批量处理相关函数---------------------
  131.  
  132.         // 关闭动态库前调用此函数释放资源，否则关闭DLL会发生错误
  133.         public delegate void UNLOAD();
  134.         //--------------------------------以上为函数定义--------------------------------
  135.  
  136.  
  137.         //--------------------------------函数变量--------------------------------
  138.         static private DllInvoke dll;
  139.         static private LOAD load;
  140.         static private AUTH auth;
  141.         static private LASTERR lastErr;
  142.         static private FREESTRING freeString; 
  143.         static private TOTEXTFILE toTextFile;
  144.         static private TOSTRING toString;
  145.         static private HTTPTOSTRING httpToString;
  146.         static private HTTPTOTEXTFILE httpToTextFile;
  147.         static private ADDTASK addTask;
  148.         static private ADDHTTPTASK addHttpTask;
  149.         static private ASYNCSTART asyncStart;
  150.         static private ASYNCSTOP asyncStop;
  151.         static private ASYNCWAIT asyncWait;
  152.         static private ASYNCSTATE asyncState;
  153.         static private ASYNCMAXPROCS asyncMaxProcs;
  154.         static private UNLOAD unload;
  155.         //--------------------------------函数变量--------------------------------
  156.  
  157.         static public bool loadAllFun()
  158.         { 
  159.             load = (LOAD)dll.Invoke("Load", typeof(LOAD));
  160.             auth = (AUTH)dll.Invoke("Auth", typeof(AUTH));
  161.             lastErr = (LASTERR)dll.Invoke("LastErr", typeof(LASTERR));
  162.             freeString = (FREESTRING)dll.Invoke("FreeString", typeof(FREESTRING));
  163.             toString = (TOSTRING)dll.Invoke("ToString", typeof(TOSTRING)); 
  164.             toTextFile = (TOTEXTFILE)dll.Invoke("ToTextFile", typeof(TOTEXTFILE));
  165.             httpToString = (HTTPTOSTRING)dll.Invoke("HttpToString", typeof(HTTPTOSTRING));
  166.             httpToTextFile = (HTTPTOTEXTFILE)dll.Invoke("HttpToTextFile", typeof(HTTPTOTEXTFILE));
  167.             addTask = (ADDTASK)dll.Invoke("AddTask", typeof(ADDTASK));
  168.             addHttpTask = (ADDHTTPTASK)dll.Invoke("AddHttpTask", typeof(ADDHTTPTASK));
  169.             asyncStart = (ASYNCSTART)dll.Invoke("AsyncStart", typeof(ASYNCSTART));
  170.             asyncStop = (ASYNCSTOP)dll.Invoke("AsyncStop", typeof(ASYNCSTOP));
  171.             asyncWait = (ASYNCWAIT)dll.Invoke("AsyncWait", typeof(ASYNCWAIT));
  172.             asyncState = (ASYNCSTATE)dll.Invoke("AsyncState", typeof(ASYNCSTATE));
  173.             asyncMaxProcs = (ASYNCMAXPROCS)dll.Invoke("AsyncMaxProcs", typeof(ASYNCMAXPROCS));
  174.             unload = (UNLOAD)dll.Invoke("Unload", typeof(UNLOAD));
  175.  
  176.             if(load ==null || unload == null )
  177.             {
  178.                 return false;
  179.             }
  180.             else
  181.             {
  182.                 return true;
  183.             }
  184.         }
  185.  
  186.         public enum DllErrCode
  187.         {
  188.             TFE_OK = 0,
  189.             TFE_UNKNOW = 1,
  190.             TFE_FILE_NOTEXIST = 2,
  191.             TFE_SAVE_ERROR = 3,
  192.             TFE_OUTSIZE = 4,
  193.             TFE_UNSUPPORTED = 5,
  194.             TFE_ERROR_INTERFACE = 6,
  195.             TFE_HTTP_ERR = 7,
  196.             TFE_HTTP_FILE_NULL = 8,
  197.             TFE_LICENCE_ERR = 9
  198.         }
  199.  
  200.         // 根据错误类型返回错误信息
  201.         public static string codeText(Int32 code)
  202.         {
  203.             switch ((DllErrCode)code)
  204.             {
  205.                 case DllErrCode.TFE_OK:
  206.                     return "ok";
  207.                 case DllErrCode.TFE_UNKNOW:
  208.                     return "未知错误";
  209.                 case DllErrCode.TFE_FILE_NOTEXIST:
  210.                     return "提取源文件不存在";
  211.                 case DllErrCode.TFE_SAVE_ERROR:
  212.                     return "保存目标文件失败";
  213.                 case DllErrCode.TFE_OUTSIZE:
  214.                     return "提取的源文件超出设置的大小范围";
  215.                 case DllErrCode.TFE_UNSUPPORTED:
  216.                     return "不支持的提取文件格式";
  217.                 case DllErrCode.TFE_ERROR_INTERFACE:
  218.                     return "得到接口失败";
  219.                 case DllErrCode.TFE_HTTP_ERR:
  220.                     return "HTTP下载文件失败";
  221.                 case DllErrCode.TFE_HTTP_FILE_NULL:
  222.                     return "HTTP文件为空";
  223.                 case DllErrCode.TFE_LICENCE_ERR:
  224.                     return "软件许可错误";
  225.                 default:
  226.                     return "未知错误2";
  227.             }
  228.         }
  229.  
  230.         //转换为byte[] 为指针，输入byte[]可以避免忘记释放导致的问题
  231.         static IntPtr stringToUtf8Pointer(byte[] bts)
  232.         { 　
  233.             return Marshal.UnsafeAddrOfPinnedArrayElement(bts, 0); 
  234.         }
  235.  
  236.         //utf8指针转换为字符串
  237.         static string utf8PointerToString(IntPtr p)
  238. 			
    
			
    原文：https://blog.csdn.net/kkyy2021/article/details/122525852

免费ERP

61ebf17978942.jpg

 注册    登录 

用户名: demo; 密码: 123456

最新

最热

ERP

联系站长

QQ：769220720

Copyright © SibooSoft All right reserved 津ICP备19011444号