找回密码
 立即注册
首页 业界区 业界 实现一个 AI 编辑器 - 行内代码生成篇

实现一个 AI 编辑器 - 行内代码生成篇

橘芜 7 小时前
我们是袋鼠云数栈 UED 团队,致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神,探索前端道路,为社区积累并传播经验价值。
本文作者:佳岚
什么是行内代码生成?

通过一组快捷键(一般为cmd + k)在选中代码块或者光标处唤起 Prompt 命令弹窗,并且快速的应用生成的代码。
1.png

提示词系统

首先是完成一个简易的提示词系统,不同功能对应的提示词与提供的上下文不同, 定义不同的功能场景:
  1. export enum PromptScenario {
  2.     SYNTAX_COMPLETION = 'syntax_completion',    // 语法补全
  3.     CODE_GENERATION = 'code_generation',        // 代码生成
  4.     CODE_EXPLANATION = 'code_explanation',      // 代码解释
  5.     CODE_OPTIMIZATION = 'code_optimization',    // 代码优化
  6.     ERROR_FIXING = 'error_fixing',              // 错误修复
  7. }
复制代码
每种场景都有对应的系统 prompt 和用户 prompt 模板:
  1. export const PROMPT_TEMPLATES: Record<PromptScenario, PromptTemplate> = {
  2.         [PromptScenario.SYNTAX_COMPLETION]: {
  3.                 id: 'syntax_completion',
  4.                 scenario: PromptScenario.SYNTAX_COMPLETION,
  5.                 title: 'SQL语法补全',
  6.                 description: '基于上下文进行智能的SQL语法补全',
  7.                 systemPromptTemplate: ``,
  8.                 userPromptTemplate: `<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>`,
  9.                 temperature: 0.2,
  10.                 maxTokens: 256
  11.         },
  12.         [PromptScenario.CODE_GENERATION]: {
  13.                 id: 'code_generation',
  14.                 scenario: PromptScenario.CODE_GENERATION,
  15.                 title: 'SQL代码生成',
  16.                 description: '根据需求描述生成相应的SQL代码',
  17.                 systemPromptTemplate: `你是{languageName}数据库专家。根据用户需求生成高质量的{languageName}代码。
  18. 语言特性:{languageFeatures}
  19. 生成要求:
  20. 1. 严格遵循 {languageName} 语法规范
  21. 2. {syntaxNotes}
  22. 3. 生成完整、可执行的SQL语句
  23. 4. {performanceTips}
  24. 5. 考虑代码的可读性和维护性
  25. 6. 回答不要包含任何对话解释内容
  26. 7. 保持缩进与参考代码一致`,
  27.                 userPromptTemplate: `用户需求:{userPrompt}
  28. 参考代码:
  29. \`\`\`sql
  30. {selectedCode}
  31. \`\`\`
  32. 请生成符合需求的{languageName}代码:`,
  33.                 temperature: 0.3,
  34.                 maxTokens: 512
  35.         },
  36.   // ...其他略
  37. }
复制代码
收集以下上下文信息并动态替换掉提示词模板的变量以生成最终传递给大模型的提示词:
  1. /**
  2. * 上下文信息
  3. */
  4. export interface PromptContext {
  5.         /** 当前语言ID */
  6.         languageId: string;
  7.         /** 光标前的代码 */
  8.         prefix?: string;
  9.         /** 光标后的代码 */
  10.         suffix?: string;
  11.         /** 当前文件完整代码 */
  12.         fullCode?: string;
  13.         /** 当前打开的文件名 */
  14.         activeFile?: string;
  15.         /** 用户输入的提示 */
  16.         userPrompt?: string;
  17.         /** 选中的代码 */
  18.         selectedCode?: string;
  19.         /** 错误信息 */
  20.         errorMessage?: string;
  21.         /** 额外的上下文信息 */
  22.         metadata?: Record<string, any>;
  23. }
复制代码


ViewZone

观察该 Widget 可以发现它是实际占据了一段代码行高度,撑开了上下代码,但没有行号,这是通过 ViewZone实现的。
2.png

monaco-editor 中的 viewZone 是一种可以在编辑器的文本行之间自定义插入可视区域的机制,不属于实际代码内容,但可以渲染任意自定义 DOM 内容或空白空间。
核心只有一个changeViewZones,必须使用其回调中的accessor来实现新增删除ViewZone操作
新增示例:
  1. editor.changeViewZones(function (accessor) {
  2.   accessor.addZone({
  3.     afterLineNumber: 10,         // 插入在哪一行后(基于原始代码行号)
  4.     heightInLines: 3,            // zone 的高度(按行数)
  5.     heightInPx: 10,              // zone 的高度(按像素), 与heightInLines二选一
  6.     domNode: document.createElement('div'), // 需要插入的 DOM 节点
  7.   });
  8. });
复制代码
删除示例:
  1. editor.changeViewZones(accessor => {
  2.   if (zoneIdRef.current !== null) {
  3.     accessor.removeZone(zoneIdRef.current);
  4.   }
  5. });
复制代码
但需要注意的是,ViewZones 的视图层级是在可编辑区之下的,我们通过 domNode 创建弹窗后,无法响应点击,所以需要手动为 domNode 添加 z-Index。
3.png

但我们咱不用 domNode 直接渲染我们的弹窗组件,而是通过 ViewZone 结合 OverlayWidget 的方式去添加我们要的元素。
OverlayWidget 的层级比可编辑区域的更高,无需考虑层级覆盖问题。
其次,我们需要将 Overlay 的元素通过绝对定位移动到 ViewZone 上,这需要利用 ViewZone 的 onDomNodeTop来实时同步两者的定位。
4.png

monaco-editor 中的代码行与 ViewZone 使用了虚拟列表,它们的 top 在滚动时会随着可见性不断变化,所以需要随时同步 ,onDomNodeTop会在每次 ViewZone 的top属性变化时执行。
此外,OverlayWidget 是以整个编辑器最左边为基准的,计算时需要考虑上
  1. editorInstance.changeViewZones((changeAccessor) => {
  2.                 viewZoneId = changeAccessor.addZone({
  3.                         // ...略
  4.                         onDomNodeTop: (top) => {
  5.         // 这里的domNode为overlayWidget所绑定创建的节点
  6.                                 if (domNode) {
  7.                                         // 获取编辑器左侧偏移量(行号、代码折叠等组件的宽度)
  8.                                         const layoutInfo = editorInstance.getLayoutInfo();
  9.                                         const leftOffset = layoutInfo.contentLeft;
  10.                                         domNode.style.top = `${top}px`;
  11.                                         domNode.style.left = `${leftOffset}px`;
  12.                                         domNode.style.width = `${layoutInfo.contentWidth}px`;
  13.                                 }
  14.                         }
  15.                 });
  16.         });
复制代码
创建 OverlayWidget :
  1. let overlayWidget: editor.IOverlayWidget | null = null;
  2. let domNode: HTMLDivElement | null = null;
  3. let reactRoot: any = null;
  4. domNode = document.createElement('div');
  5. domNode.className = 'code-generation-overlay-widget';
  6. domNode.style.position = 'absolute';
  7. reactRoot = createRoot(domNode);
  8. reactRoot.render()
  9. overlayWidget = {
  10.   getId: () => `code-generation-overlay-${position.lineNumber}-${Date.now()}`,
  11.   getDomNode: () => domNode!,
  12.   getPosition: () => null
  13. };
  14. editorInstance.addOverlayWidget(overlayWidget);
  15. // 唤起时,将 widget 滚动到视口
  16. editorInstance.revealLineInCenter(targetLineNumber);
复制代码
CodeGenerationWidget 动态高度

接下来我们实现 Prompt 输入框根据内容动态调整高度。
5.gif

输入框部分我们可以直接用 rc-textarea 组件来实现回车自动新增高度。
监听整个容器高度变化触发 onHeightChange 以通知 ViewZone :
  1.         useEffect(() => {
  2.                 if (!containerRef.current) return;
  3.                 const observer = new ResizeObserver(() => {
  4.                         onHeightChange?.();
  5.                 });
  6.                 observer.observe(containerRef.current);
  7.                 return () => {
  8.                         observer.disconnect();
  9.                 };
  10.         }, [containerRef]);
复制代码
注意 ViewZone 只能增或删,不能手动改变其高度,所以需要重新创建一个:
  1. reactRoot.render(
  2.                  dispose()}
  3.                         onHeightChange={() => {
  4.                                 // 高度变化时需要更新ViewZone
  5.                                 if (viewZoneId && domNode) {
  6.                                         const actualHeight = domNode.clientHeight;
  7.                                         editorInstance.changeViewZones((changeAccessor) => {
  8.                                                 changeAccessor.removeZone(viewZoneId!);
  9.                                                 viewZoneId = changeAccessor.addZone({
  10.                                                         afterLineNumber: Math.max(0, targetLineNumber - 1),
  11.                                                         heightInPx: actualHeight + 8,
  12.                                                         domNode: document.createElement('div'),
  13.                                                         onDomNodeTop: (top) => {
  14.                                                                 if (domNode) {
  15.                                                                         // 获取编辑器左侧偏移量(行号、代码折叠等组件的宽度)
  16.                                                                         const layoutInfo = editorInstance.getLayoutInfo();
  17.                                                                         const leftOffset = layoutInfo.contentLeft;
  18.                                                                         domNode.style.top = `${top}px`;
  19.                                                                         domNode.style.left = `${leftOffset}px`;
  20.                                                                 }
  21.                                                         }
  22.                                                 });
  23.                                         });
  24.                                 }
  25.                         }}
  26.                 />
  27.         );
复制代码
这里如果使用 ViewZone 的 domNode 来渲染组件的方法的话,由于每次高度变化创建新的 ViewZone , 其 domNode 会被重新挂载,那么就会导致每次高度变化时输入框都会失焦。
生成代码 diff 展示

对于选择了代码行后生成,会对原始代码进行编辑修改,我们需要配合行 diff 进行编辑应用结果的展示。对于删除的行使用 ViewZone 进行插入,对于新增的行使用 Decoration 进行高亮标记。
6.png

首先需要实现 diff 计算出这些行的信息。 我们需要以最少的操作实现从原始代码到目标代码的转化。
7.png

其核心问题是 最长公共子序列(LCS)。最长公共子序列(LCS )是指在两个或多个序列中,找出一个最长的子序列,使得这个子序列在这些序列中都出现过。与子串不同,子序列不需要在原序列中占用连续的位置。
如 ABCDEF 至 ACEFG , 那么它们的最长公共子序列是 ACEF 。
其算法可以参考 https://cloud.tencent.com/developer/article/2367282 学习,这里我们直接就使用现成的库jsdiff 去实现了。
完整实现:
  1. export enum DiffLineType {
  2.         UNCHANGED = 'unchanged',
  3.         ADDED = 'added',
  4.         DELETED = 'deleted'
  5. }
  6. export interface DiffLine {
  7.         type: DiffLineType;
  8.         originalLineNumber?: number; // 原始行号
  9.         newLineNumber?: number; // 新行号
  10.         content: string; // 行内容
  11. }
  12. /**
  13. * 计算两个字符串数组的diff
  14. */
  15. export const calculateDiff = (originalLines: string[], newLines: string[]): DiffLine[] => {
  16.         const result: DiffLine[] = [];
  17.         // 将字符串数组转换为字符串
  18.         const originalText = originalLines.join('\n');
  19.         const newText = newLines.join('\n');
  20.         // 使用 diff 库计算差异
  21.         const diffs = diffLines(originalText, newText);
  22.         let originalLineNumber = 1;
  23.         let newLineNumber = 1;
  24.         diffs.forEach(diff => {
  25.                 if (diff.added) {
  26.                         // 添加的行
  27.                         const lines = diff.value.split('\n').filter((line, index, arr) =>
  28.                                 // 过滤掉最后一个空行(如果存在)
  29.                                 !(index === arr.length - 1 && line === '')
  30.                         );
  31.                         lines.forEach(line => {
  32.                                 result.push({
  33.                                         type: DiffLineType.ADDED,
  34.                                         newLineNumber: newLineNumber++,
  35.                                         content: line
  36.                                 });
  37.                         });
  38.                 } else if (diff.removed) {
  39.                         // 删除的行
  40.                         const lines = diff.value.split('\n').filter((line, index, arr) =>
  41.                                 // 过滤掉最后一个空行(如果存在)
  42.                                 !(index === arr.length - 1 && line === '')
  43.                         );
  44.                         lines.forEach(line => {
  45.                                 result.push({
  46.                                         type: DiffLineType.DELETED,
  47.                                         originalLineNumber: originalLineNumber++,
  48.                                         content: line
  49.                                 });
  50.                         });
  51.                 } else {
  52.                         // 未变化的行
  53.                         const lines = diff.value.split('\n').filter((line, index, arr) =>
  54.                                 // 过滤掉最后一个空行(如果存在)
  55.                                 !(index === arr.length - 1 && line === '')
  56.                         );
  57.                         lines.forEach(line => {
  58.                                 result.push({
  59.                                         type: DiffLineType.UNCHANGED,
  60.                                         originalLineNumber: originalLineNumber++,
  61.                                         newLineNumber: newLineNumber++,
  62.                                         content: line
  63.                                 });
  64.                         });
  65.                 }
  66.         });
  67.         return result;
  68. };
复制代码
8.png

那么接下来我们只要根据计算出的 diffLines 对删除行和新增行进行视觉展示即可。
我们封装一个 applyDiffDisplay 方法用来展示 diffLines 。
有以下步骤:

  • 清除之前的结果
  • 直接将选区内容替换为生成内容
  • 遍历 diffLines 中 ADDED 与 DELETED 的行:对于 DELETED 的行,可以多个连续行组成一个 ViewZone 创建以优化性能;对于ADDED的行,通过 deltaDecorations 添加背景装饰
  1. const applyDiffDisplay =
  2.   (diffLines: DiffLine[]) => {
  3.     // 先清除之前的展示
  4.     clearDecorations();
  5.     clearDiffOverlays();
  6.     if (!initialSelection) return;
  7.     const model = editorInstance.getModel();
  8.     if (!model) return;
  9.     // 获取语言ID用于语法高亮
  10.     const languageId = getLanguageId();
  11.     // 首先替换原始内容为新内容(包含unchanged的行)
  12.     const newLines = diffLines
  13.       .filter((line) => line.type !== DiffLineType.DELETED)
  14.       .map((line) => line.content);
  15.     const newContent = newLines.join('\n');
  16.     // 执行替换
  17.     editorInstance.executeEdits('ai-code-generation-diff', [
  18.       {
  19.         range: initialSelection,
  20.         text: newContent,
  21.         forceMoveMarkers: true
  22.       }
  23.     ]);
  24.     // 计算新内容的范围
  25.     const resultRange = new Range(
  26.       initialSelection.startLineNumber,
  27.       initialSelection.startColumn,
  28.       initialSelection.startLineNumber + newLines.length - 1,
  29.       newLines.length === 1
  30.       ? initialSelection.startColumn + newContent.length
  31.       : newLines[newLines.length - 1].length + 1
  32.     );
  33.     let currentLineNumber = initialSelection.startLineNumber;
  34.     let deletedLinesGroup: DiffLine[] = [];
  35.     for (const diffLine of diffLines) {
  36.       if (diffLine.type === DiffLineType.DELETED) {
  37.         // 收集连续的删除行
  38.         deletedLinesGroup.push(diffLine);
  39.       } else {
  40.         if (deletedLinesGroup.length > 0) {
  41.           addDeletedLinesViewZone(deletedLinesGroup, currentLineNumber - 1, languageId);
  42.           deletedLinesGroup = [];
  43.         }
  44.         if (diffLine.type === DiffLineType.ADDED) {
  45.           // 添加绿色背景色
  46.           const addedDecorations = editorInstance.deltaDecorations(
  47.             [],
  48.             [
  49.               {
  50.                 range: new Range(
  51.                   currentLineNumber,
  52.                   1,
  53.                   currentLineNumber,
  54.                   model.getLineContent(currentLineNumber).length + 1
  55.                 ),
  56.                 options: {
  57.                   className: 'added-line-decoration',
  58.                   isWholeLine: true
  59.                 }
  60.               }
  61.             ]
  62.           );
  63.           decorationsRef.current.push(...addedDecorations);
  64.         }
  65.         currentLineNumber++;
  66.       }
  67.     }
  68.     // 处理最后的删除行组
  69.     if (deletedLinesGroup.length > 0) {
  70.       addDeletedLinesViewZone(deletedLinesGroup, currentLineNumber - 1, languageId);
  71.     }
  72.     return resultRange;
  73.   }
复制代码
删除行的视觉呈现

删除行使用 ViewZone 插入到  originalLineNumber - 1 的位置, 对于删除行直接使用 ViewZone 自身的 domNode 进行展示了,因为不太需要考虑层级问题。
  1. export const createDeletedLinesOverlayWidget = (
  2.         editorInstance: editor.IStandaloneCodeEditor,
  3.         deletedLines: DiffLine[],
  4.         afterLineNumber: number,
  5.         languageId: string,
  6.         onDispose?: () => void
  7. ): { dispose: () => void } => {
  8.         let domNode: HTMLDivElement | null = null;
  9.         let reactRoot: any = null;
  10.         let viewZoneId: string | null = null;
  11.         domNode = document.createElement('div');
  12.         domNode.className = 'deleted-lines-view-zone-container';
  13.         reactRoot = createRoot(domNode);
  14.         reactRoot.render(<DeletedLineViewZone lines={deletedLines} languageId={languageId} />);
  15.         const heightInLines = Math.max(1, deletedLines.length);
  16.         editorInstance.changeViewZones((changeAccessor) => {
  17.                 viewZoneId = changeAccessor.addZone({
  18.                         afterLineNumber,
  19.                         heightInLines,
  20.                         domNode: domNode!
  21.                 });
  22.         });
  23.         const dispose = () => {
  24.                 // 清除
  25.         };
  26.         return { dispose };
  27. };
复制代码
添加命令快捷键

使用 cmd + k 唤起弹窗
  1. editorInstance.onKeyDown((e) => {
  2.   if ((e.ctrlKey || e.metaKey) && e.keyCode === KeyCode.KeyK) {
  3.     e.preventDefault();
  4.     e.stopPropagation();
  5.     const selection = editorInstance.getSelection();
  6.     const position = selection ? selection.getPosition() : editorInstance.getPosition();
  7.     if (!position) return;
  8.     // 如果有选择范围,则将其传递给widget供后续替换使用
  9.     const selectionRange = selection && !selection.isEmpty() ? selection : null;
  10.     // 如果已经有viewZone,先清理
  11.     if (activeCodeGenerationViewZone) {
  12.       activeCodeGenerationViewZone.dispose();
  13.       activeCodeGenerationViewZone = null;
  14.     }
  15.     // 创建新的ViewZone
  16.     activeCodeGenerationViewZone = createCodeGenerationOverlayWidget(
  17.       editorInstance,
  18.       position,
  19.       selectionRange,
  20.       undefined, // widgetWidth
  21.       () => {
  22.         // 当viewZone被dispose时清理全局状态
  23.         activeCodeGenerationViewZone = null;
  24.       }
  25.     );
  26.   }
复制代码
最终实现效果:
9.gif

未来优化方向:


  • 实现流式生成:对于未选区的代码生成,我们不需要应用diff,所以流式很好实现,但对于进行选区后进行的代码修改,每次输出一行就要执行一次diff计算与展示,diff结果可能不同,会产生视觉上的重绘,实现起来也相对比较麻烦。
    10.gif

  • 接收或者拒绝后能够进行撤回,回到等待响应生成结果时的状态
其他计划


  • [已完成] 行内补全
  • [已完成] 代码生成
  • 行内补全的缓存设计
  • 完善的上下文系统
  • 实现 Agent 模式
在线预览

https://jackwang032.github.io/monaco-sql-languages/
仓库代码:https://github1s.com/JackWang032/monaco-sql-languages/blob/feat/demos/website/src/extensions/workbench/codeGenerationWidget.tsx
最后

欢迎关注【袋鼠云数栈UED团队】~
袋鼠云数栈 UED 团队持续为广大开发者分享技术成果,相继参与开源了欢迎 star

  • 大数据分布式任务调度系统——Taier
  • 轻量级的 Web IDE UI 框架——Molecule
  • 针对大数据领域的 SQL Parser 项目——dt-sql-parser
  • 袋鼠云数栈前端团队代码评审工程实践文档——code-review-practices
  • 一个速度更快、配置更灵活、使用更简单的模块打包器——ko
  • 一个针对 antd 的组件测试工具库——ant-design-testing

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
您需要登录后才可以回帖 登录 | 立即注册