翻譯|使用教程|編輯:龔雪|2024-05-23 10:31:03.290|閱讀 104 次
概述:本文主要介紹如何用OpenAI模型增強Office文檔(Word和Excel)的可訪問性,歡迎下載最新版組件體驗!
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
DevExpress Office File API是一個專為C#, VB.NET 和 ASP.NET等開發(fā)人員提供的非可視化.NET庫。有了這個庫,不用安裝Microsoft Office,就可以完全自動處理Excel、Word等文檔。開發(fā)人員使用一個非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企業(yè)級文件。
出于與可訪問性相關的原因,某些業(yè)務使用場景要求Office文檔為圖形內(nèi)容(圖像、圖表等)包含有意義的描述/替代文本(Alt text)。Alt Text幫助有視覺障礙的人理解圖片和其他圖形內(nèi)容(屏幕閱讀器不能正確閱讀沒有Alt Text的包含圖像的文檔)。此外,沒有Alt Text的文檔不能正確導出為可訪問的PDF(這些PDF無法通過可訪問性驗證)。
OpenAI平臺提供了解決這一特殊需求/問題的解決方案(OpenAI的生成式AI可以幫助描述Word和Excel文件中的圖像和其他圖形內(nèi)容)。在這本文中,我們將向您展示如何將OpenAI模型集成到DevExpress驅(qū)動的Office File API應用程序中,并添加缺失的媒體描述和Alt Text。處理完文檔后,用戶可以將文件導出為可訪問的PDF,或者在文檔查看器中上傳,然后使用屏幕閱讀器閱讀。
DevExpress Office File API 最新正式版下載
DevExpress技術交流群10:532598169 歡迎一起進群討論
我們創(chuàng)建了一個示例項目來幫助說明策略,這個REST API應用程序包括兩個端點:描述Word文檔中的圖像和Excel文件中的圖表。
您可以從GitHub下載這個項目:
在您將此解決方案納入應用程序之前,請務必閱讀并理解OpenAI的許可協(xié)議和使用條款。
首先,在項目中添加對包的引用,這個包適應OpenAI的REST APIs,因此它們可以在非Azure OpenAI開發(fā)中使用。
我們將使用這個API發(fā)送請求和處理響應。
下面的代碼片段發(fā)送一個請求來描述一個圖像,并獲得一個帶有響應的字符串。
class OpenAIClientImageHelper {
OpenAIClient client;
internal OpenAIClientImageHelper(string openAIApiKey) {
client = new OpenAIClient(openAIApiKey, new OpenAIClientOptions());
}
string ConvertDXImageToBase64String(DXImage image) {
using (MemoryStream stream = new MemoryStream()) {
image.Save(stream, DXImageFormat.Png);
byte[] imageBytes = stream.ToArray();
return Convert.ToBase64String(imageBytes);
}
}
internal async Task<string> DescribeImageAsync(OfficeImage image) {
string base64Content = ConvertDXImageToBase64String(image.DXImage);
string imageContentType = OfficeImage.GetContentType(OfficeImageFormat.Png);
return await GetImageDescription($"data:{imageContentType};base64,{base64Content}");
}
internal async Task<string> GetImageDescription(string uriString) {
ChatCompletionsOptions chatCompletionsOptions = new() {
DeploymentName = "gpt-4-vision-preview",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant that describes images."),
new ChatRequestUserMessage(
new ChatMessageTextContentItem("Give a description of this image in no more than 10 words"),
new ChatMessageImageContentItem(new Uri(uriString))),
},
MaxTokens = 300
};
Response<ChatCompletions> chatResponse = await client.GetChatCompletionsAsync(chatCompletionsOptions);
ChatChoice choice = chatResponse.Value.Choices[0];
return choice.Message.Content;
}
}
我們可以在DevExpress支持的Word Processing Document API應用程序中使用上面描述的API,使用集合檢索文檔圖像。按類型對檢索到的形狀排序,并檢查圖像是否包含Alt Text,然后調(diào)用上面實現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述。
 
public async Task<IActionResult> GenerateImageAltText(IFormFile documentWithImage,
[FromQuery] RichEditFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var server = new RichEditDocumentServer()) {
await RichEditHelper.LoadFile(server, documentWithImage);
server.GenerateAltTextForImages((document) => {
foreach (var shape in document.Shapes) {
if (shape.Type == DevExpress.XtraRichEdit.API.Native.ShapeType.Picture && string.IsNullOrEmpty(shape.AltText))
shape.AltText = imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result;
}
});
Stream result = RichEditHelper.SaveDocument(server, outputFormat);
string contentType = RichEditHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}
您還可以為Excel圖表生成Alt Text,我們的項目展示了如何結合Azure OpenAI和Spreadsheet Document APIs來解決這個特殊的需求。
首先,您需要將Excel圖表轉換為圖像,調(diào)用方法從每個圖表中獲取OfficeImage對象,然后調(diào)用上面實現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述并將其用作Alt Text。
 
 
	
public async Task<IActionResult> GenerateChartAltText(IFormFile documentWithImage,
[FromQuery] SpreadsheetFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var workbook = new Workbook()) {
await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage);
foreach (var worksheet in workbook.Worksheets) {
foreach (var chart in worksheet.Charts) {
OfficeImage image = chart.ExportToImage();
chart.AlternativeText = await imageHelper.DescribeImageAsync(image);
}
}
Stream result = SpreadsheetHelper.SaveDocument(workbook, outputFormat);
string contentType = SpreadsheetHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}
	
本站文章除注明轉載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內(nèi)容上的異議請郵件反饋至chenjj@ke049m.cn
文章轉載自:慧都網(wǎng)