true_code.txt 16 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265
  1. console.log('Final LLM model used (default):', llmModel ? llmModel.name : '无');
  2. `data: ${JSON.stringify({ type: 'error', data: '请在模型管理中添加LLM模型并配置API密钥' })}\n\n`,
  3. `data: ${JSON.stringify({ type: 'error', data: error.message || '服务器错误' })}\n\n`,
  4. `data: ${JSON.stringify({ type: 'error', data: '未找到LLM模型配置' })}\n\n`,
  5. console.log('ユーザーID:', userId);
  6. console.log('API Key プレフィックス:', modelConfig.apiKey?.substring(0, 10) + '...');
  7. 提供されたテキスト内容を、ユーザーの指示に基づいて修正または改善してください。
  8. 挨拶や結びの言葉(「わかりました、こちらが...」など)は含めず、修正後の内容のみを直接出力してください。
  9. コンテキスト(現在の内容):
  10. ユーザーの指示:
  11. * 対話内容に基づいてチャットのタイトルを自動生成する
  12. * アプリケーション全体で使用される定数定義
  13. * Elasticsearch スコアを 0-1 の範囲に正規化する
  14. * Elasticsearch のスコアは 1.0 を超える可能性があるため、正規化が必要
  15. * ただし、kNN検索の類似度スコアは既に0-1の範囲にある(cosine similarity)ので、
  16. * 特別な正規化は不要。必要に応じて最小値保護のみ行う。
  17. * 指定されたファイルのすべてのチャンクを取得
  18. 基于以下知识库内容回答用户问题。
  19. **重要提示**: 用户已选择特定知识组,请严格基于以下知识库内容回答。如果知识库中没有相关信息,请明确告知用户:"${noMatchMsg}",然后再提供答案。
  20. 知识库内容:
  21. 历史对话:
  22. 用户问题:{question}
  23. 请用Chinese回答,并严格遵循以下 Markdown 格式要求:
  24. 1. **段落与结构**:
  25. - 使用清晰的段落分隔,每个要点之间空一行
  26. - 使用标题(## 或 ###)组织长回答
  27. 2. **文本格式**:
  28. - 使用 **粗体** 强调重要概念和关键词
  29. - 使用列表(- 或 1.)组织多个要点
  30. - 使用 \`代码\` 标记技术术语、命令、文件名
  31. 3. **代码展示**:
  32. - 使用代码块展示代码,并指定语言:
  33. return "示例"
  34. - 支持语言:python, javascript, typescript, java, bash, sql 等
  35. 4. **图表与可视化**:
  36. - 使用 Mermaid 语法绘制流程图、序列图等:
  37. A[开始] --> B[处理]
  38. B --> C[结束]
  39. - 适用场景:流程、架构、状态机、时序图
  40. 5. **其他要求**:
  41. - 回答精炼准确
  42. - 多步骤操作使用有序列表
  43. - 对比类信息建议用表格展示(如果适用)
  44. 作为智能助手,请回答用户的问题。
  45. 请用Chinese回答。
  46. 以下のナレッジベースの内容に基づいてユーザーの質問に答えてください。
  47. **重要**: ユーザーが特定の知識グループを選択しました。以下のナレッジベースの内容に厳密に基づいて回答してください。ナレッジベースに関連情報がない場合は、「${noMatchMsg}」とユーザーに明示的に伝えてから、回答を提供してください。
  48. ナレッジベースの内容:
  49. 会話履歴:
  50. ユーザーの質問:{question}
  51. Japaneseで回答してください。以下の Markdown 書式要件に厳密に従ってください:
  52. 1. **段落と構造**:
  53. - 明確な段落分けを使用し、要点間に空行を入れる
  54. - 長い回答には見出し(## または ###)を使用
  55. 2. **テキスト書式**:
  56. - 重要な概念やキーワードを強調するために **太字** を使用
  57. - 複数のポイントを整理するためにリスト(- または 1.)を使用
  58. - 技術用語、コマンド、ファイル名をマークするために \`コード\` を使用
  59. 3. **コード表示**:
  60. - 言語を指定してコードブロックを使用:
  61. return "例"
  62. - 対応言語:python, javascript, typescript, java, bash, sql など
  63. 4. **図表とチャート**:
  64. - フローチャート、シーケンス図などに Mermaid 構文を使用:
  65. A[開始] --> B[処理]
  66. B --> C[終了]
  67. - 使用例:プロセスフロー、アーキテクチャ図、状態図、シーケンス図
  68. 5. **その他の要件**:
  69. - 簡潔で明確な回答を心がける
  70. - 複数のステップがある場合は番号付きリストを使用
  71. - 比較情報には表を使用(該当する場合)
  72. インテリジェントアシスタントとして、ユーザーの質問に答えてください。
  73. Japaneseで回答してください。
  74. return `你是一个文档分析师。请阅读以下文本(文档开Header分),并生成一个简炼、专业的标题(不超过50个字符)。
  75. 只返回标题文本。不要包含任何解释性文字或前导词(如“标题是:”)。
  76. 语言:Chinese
  77. 文本内容:
  78. return `あなたはドキュメントアナライザーです。以下のテキスト(ドキュメントの冒頭部分)を読み、簡潔でプロフェッショナルなタイトル(最大50文字)を生成してください。
  79. タイトルテキストのみを返してください。説明文や前置き(例:「タイトルは:」)は含めないでください。
  80. 言語:Japanese
  81. テキスト:
  82. return `根据以下对话片段,生成一个简短、描述性的标题(不超过50个字符),总结讨论的主题。
  83. 只返回标题文本。不要包含任何前导词。
  84. 片段:
  85. 用户: ${userMessage}
  86. 助手: ${aiResponse}`;
  87. return `以下の会話スニペットに基づいて、トピックを要約する短く説明的なタイトル(最大50文字)を生成してください。
  88. タイトルのみを返してください。前置きは不要です。
  89. スニペット:
  90. ユーザー: ${userMessage}
  91. アシスタント: ${aiResponse}`;
  92. * Chunk configurationサービス
  93. * チャンクパラメータの検証と管理を担当し、モデルの制限や環境変数の設定に適合していることを確認します
  94. * 制限の優先順位:
  95. * 1. 環境変数 (MAX_CHUNK_SIZE, MAX_OVERLAP_SIZE)
  96. * 2. データベース内のモデル設定 (maxInputTokens, maxBatchSize)
  97. * 3. デフォルト値
  98. * モデルの制限設定を取得(データベースから読み込み)
  99. const providerName = modelConfig.providerName || '不明';
  100. ` - プロバイダー: ${providerName}\n` +
  101. ` - Token制限: ${maxInputTokens}\n` +
  102. ` - ベクトルモデルか: ${isVectorModel}`,
  103. * Chunk configurationを検証および修正
  104. * 優先順位: 環境変数の上限 > モデルの制限 > ユーザー設定
  105. * 推奨されるバッチサイズを取得
  106. * チャンク数を推定
  107. * ベクトル次元の検証
  108. * 設定概要を取得(ログ用)
  109. `Chunk size: ${chunkSize} tokens (制限: ${limits.maxInputTokens})`,
  110. `重なりサイズ: ${chunkOverlap} tokens`,
  111. `バッチサイズ: ${limits.maxBatchSize}`,
  112. * フロントエンド用のConfig limitsを取得
  113. * フロントエンドのスライダーの上限設定に使用
  114. throw new Error(`埋め込みモデル設定 ${embeddingModelConfigId} が見つかりません`);
  115. throw new Error(`モデル ${modelConfig.name} は無効化されているため、埋め込みベクトルを生成できません`);
  116. throw new Error(`モデル ${modelConfig.name} に baseUrl が設定されていません`);
  117. * モデルIDに基づいて最大バッチサイズを決定
  118. * 単一バッチの埋め込み処理
  119. `総計 ${totalLength} 文字、平均 ${Math.round(avgLength)} 文字、` +
  120. `モデル制限: ${modelConfig.maxInputTokens || 8192} tokens`
  121. `テキスト長がモデルの制限。` +
  122. `現在: ${texts.length} 個のテキストで計 ${totalLength} 文字、` +
  123. `モデル制限: ${modelConfig.maxInputTokens || 8192} tokens。` +
  124. `アドバイス: Chunk sizeまたはバッチサイズを小さくしてください`
  125. this.logger.error(`リクエストパラメータ: model=${modelConfig.modelId}, inputLength=${texts[0]?.length}`);
  126. throw new Error(`埋め込み API の呼び出しに失敗しました: ${response.statusText} - ${errorText}`);
  127. * Fetch chunk configuration limits(フロントエンドのスライダー設定用)
  128. * クエリパラメータ: embeddingModelId - Embedding model ID
  129. * Fast Mode処理(既存フロー)
  130. * Precise Mode処理(新規フロー)
  131. * Precise Modeの結果をインデックス
  132. * PDF の特定ページの画像を取得
  133. if (error.message && (error.message.includes('context length') || error.message.includes('コンテキスト長 exceeds limit ') || error.message.includes('コンテキスト長 exceeds limit '))) {
  134. * バッチ処理、メモリ制御付き
  135. * 失敗したファイルのベクトル化を再試行
  136. throw new NotFoundException('ファイルが存在しません');
  137. * ファイルのすべてのチャンク情報を取得
  138. * モデルの実際の次元数を取得(キャッシュ確認とプローブロジック付き)
  139. * AIを使用して文書のタイトルを自動生成する
  140. * 現在のメモリ使用状況を取得
  141. * メモリ exceeds limit に近づいているかチェック
  142. * メモリが利用可能になるまで待機(タイムアウトあり)
  143. throw new Error(`メモリ待機がタイムアウトしました: 現在 ${this.getMemoryUsage().heapUsed}MB > ${this.MAX_MEMORY_MB * 0.85}MB`);
  144. * ガベージコレクションを強制実行(可能な場合)
  145. * バッチサイズを動的に調整
  146. * 大規模データの処理:自動バッチングとメモリ制御
  147. * 処理に必要なメモリを見積もる
  148. * バッチ処理を使用すべきかチェック
  149. * LibreOffice サービスインターフェース定義
  150. * LibreOffice サービスの状態をチェック
  151. * ドキュメントを PDF に変換
  152. * @param filePath 変換するファイルのパス
  153. * @returns PDF ファイルのパス
  154. throw new Error(`ファイルが存在しません: ${filePath}`);
  155. throw new Error('変換がタイムアウトしました。ファイルが大きすぎる可能性があります');
  156. throw new Error(`変換に失敗しました: ${detail}`);
  157. throw new Error(`変換に失敗しました: ${lastError.message}`);
  158. throw new Error('LibreOffice サービスが実行されていません。サービスの状態を確認してください');
  159. throw new Error('LibreOffice サービスとの接続が切断されました。サービスが不安定である可能性があります');
  160. * ファイルの一括変換
  161. * サービスのバージョン情報を取得
  162. @Min(1, { message: 'ベクトル次元の最小値は 1 です' })
  163. @Max(4096, { message: 'ベクトル次元の最大値は 4096 です(Elasticsearch の制限)' })
  164. * モデルの入力トークン制限(embedding/rerank にのみ有効)
  165. * バッチ処理の制限(embedding/rerank にのみ有効)
  166. * ベトルモデルかどうか
  167. * モデルプロバイダー名
  168. * このモデルを有効にするかどうか
  169. * このモデルをデフォルトとして使用するかどうか
  170. * モデルの入力トークン制限
  171. * 例: OpenAI=8191, Gemini=2048
  172. * 一括処理制限(1回のリクエストあたりの最大入力数)
  173. * 例: OpenAI=2048, Gemini=100
  174. * ベトルモデルかどうか(システム設定での識別用)
  175. * ユーザーは使用しないモデルを無効にして、誤選択を防ぐことができます
  176. * 各タイプ(llm, embedding, rerank)ごとに1つのみデフォルトにできます
  177. * モデルプロバイダー名(表示および識別用)
  178. * 例: "OpenAI", "Google Gemini", "Custom"
  179. * 指定されたモデルをデフォルトに設定
  180. * 指定されたタイプのデフォルトモデルを取得
  181. * 厳密なルール:Index Chat Configで指定されたモデルのみを返し、なければエラーを投げる
  182. * PDF 转图片接口定义
  183. * PDF を画像リストに変換します
  184. * ImageMagick の convert コマンドを使用します
  185. throw new Error(`PDF ファイルが存在しません: ${pdfPath}`);
  186. throw new Error('PDF のページ数を取得できません');
  187. throw new Error(`Python での変換に失敗しました: ${result.error}`);
  188. throw new Error(`PDF から画像への変換に失敗しました: ${error.message}`);
  189. * 複数の PDF を一括変換
  190. * 画像ファイルのクリーンアップ
  191. * ディレクトリのクリーンアップ
  192. * 画像品質が妥当か確認
  193. throw new Error('Embedding model IDが提供されていません');
  194. * Search resultsの重複排除
  195. * クエリを拡張してバリエーションを生成
  196. * 仮想的なドキュメント(HyDE)を生成
  197. * 内部タスク用の LLM インスタンスを取得
  198. * リランクの実行
  199. * @param query ユーザーのクエリ
  200. * @param documents 候補ドキュメントリスト
  201. * @param userId ユーザーID
  202. * @param rerankModelId 選択された Rerank モデル設定ID
  203. * @param topN 返す結果の数 (上位 N 個)
  204. return { message: '对话历史删除成功' };
  205. `ユーザー ${req.user.id} がファイルをアップロードしました: ${file.originalname} (${this.formatBytes(file.size)})`,
  206. console.log('パスワード:', randomPassword);
  207. console.log('=== updateLanguage デバッグ ===');
  208. console.log('=== getLanguage デバッグ ===');
  209. * システム全体のグローバル設定を取得する
  210. * システム全体のグローバル設定を更新する
  211. * Vision 服务接口定义
  212. * 単一画像の分析(ドキュメントページ)
  213. * 実際の画像分析を実行
  214. page: pageIndex ? ` (第 ${pageIndex} ページ)` : '',
  215. * 再試行可能なエラーかどうかを判断
  216. if (errorCode === 429 || errorMessage.includes('rate limit') || errorMessage.includes('リクエストが多すぎます')) {
  217. * 遅延関数
  218. * 複数画像の一括分析
  219. * 画像品質のチェック
  220. return { isGood: false, reason: `ファイルが小さすぎます (${sizeKB.toFixed(2)}KB)`, score: 0 };
  221. return { isGood: false, reason: `ファイルが大きすぎます (${sizeKB.toFixed(2)}KB)`, score: 0 };
  222. * サポートされている画像ファイルかどうかを確認
  223. * MIME タイプを取得
  224. * 旧インターフェース互換:単一画像の内容を抽出
  225. * コスト制御およびクォータ管理サービス
  226. * Vision Pipeline の API 呼び出しコストを管理するために使用されます
  227. * 処理コストの推定
  228. * ユーザーのクォータをチェック
  229. reason: `クォータ不足: 残り $${quota.remaining.toFixed(2)}, 必要 $${estimatedCost.toFixed(2)}`,
  230. * クォータの差し引き
  231. * ユーザーのクォータを取得
  232. throw new Error(`ユーザー ${userId} は存在しません`);
  233. * 月間クォータのチェックとリセット
  234. * ユーザーのクォータ制限を設定
  235. * コストレポートの取得
  236. * コスト警告閾値のチェック
  237. message: `⚠️ クォータ使用率が ${usagePercent.toFixed(1)}% に達しました。残り $${quota.remaining.toFixed(2)}`,
  238. message: `💡 クォータ使用率 ${usagePercent.toFixed(1)}%。コストの管理に注意してください`,
  239. * コスト表示のフォーマット
  240. * 時間表示のフォーマット
  241. return `${seconds.toFixed(0)}秒`;
  242. return `${minutes}分${remainingSeconds.toFixed(0)}秒`;
  243. * Vision Pipeline サービス(コスト制御付き)
  244. * これは vision-pipeline.service.ts の拡張版であり、コスト制御が統合されています
  245. * メイン処理フロー:Precise Mode(コスト制御付き)
  246. this.updateStatus('converting', 10, 'ドキュメント形式を変換中...');
  247. this.updateStatus('splitting', 30, 'PDF を画像に変換中...');
  248. throw new Error('PDF から画像への変換に失敗しました。画像が生成されませんでした');
  249. this.updateStatus('checking', 40, 'クォータを確認し、コストを見積もり中...');
  250. this.updateStatus('analyzing', 50, 'ビジョンモデルを使用してページをAnalyzing...');
  251. this.updateStatus('completed', 100, '処理が完了しました。一時ファイルをクリーンアップ中...');
  252. * Vision モデル設定の取得
  253. throw new Error(`モデル設定が見つかりません: ${modelId}`);
  254. * PDF への変換
  255. * 形式検出とモードの推奨(コスト見積もり付き)
  256. reason: `サポートされていないファイル形式です: ${ext}`,
  257. warnings: ['Fast Mode(テキスト抽出のみ)を使用します'],
  258. reason: `形式 ${ext} はPrecise Modeをサポートしていません`,
  259. reason: 'ファイルが大きいため、完全な情報を保持するためにPrecise Modeを推奨します',
  260. warnings: ['処理時間が長くなる可能性があります', 'API 費用が発生します'],
  261. reason: 'Precise Modeが利用可能です。テキストと画像の混合コンテンツを保持できます',
  262. warnings: ['API 費用が発生します'],
  263. * ユーザーのクォータ情報を取得
  264. * 処理状態の更新(リアルタイムフィードバック用)
  265. * Vision Pipeline 接口定义