Java 解析 XML

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: Java 解析 XML标签: Java基础XML解析技术有两种 DOM SAXDOM方式 根据XML的层级结构在内存中分配一个树形结构,把XML的标签,属性和文本等元素都封...

Java 解析 XML

标签: Java基础


XML解析技术有两种 DOM SAX

  • DOM方式
    根据XML的层级结构在内存中分配一个树形结构,把XML的标签,属性和文本等元素都封装成树的节点对象
    • 优点: 便于实现
    • 缺点: XML文件过大可能造成内存溢出
  • SAX方式
    采用事件驱动模型边读边解析:从上到下一行行解析,解析到某一元素, 调用相应解析方法
    • 优点: 不会造成内存溢出,
    • 缺点: 查询不方便,但不能实现

不同的公司和组织提供了针对DOM和SAX两种方式的解析器


JAXP 解析

JAXP是JavaSE的一部分,在javax.xml.parsers包下,分别针对dom与sax提供了如下解析器:

  • Dom
    • DocumentBuilder
    • DocumentBuilderFactory
  • SAX
    • SAXParser
    • SAXParserFactory

示例XML如下,下面我们会使用JAXP对他进行 操作

  • config.xml
<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE beans SYSTEM "constraint.dtd">
<beans>
    <bean id="id1" class="com.fq.domain.Bean">
        <property name="isUsed" value="true"/>
    </bean>
    <bean id="id2" class="com.fq.domain.ComplexBean">
        <property name="refBean" ref="id1"/>
    </bean>
</beans>
  • constraint.dtd
<!ELEMENT beans (bean*) >
        <!ELEMENT bean (property*)>
        <!ATTLIST bean
                id CDATA #REQUIRED
                class CDATA #REQUIRED
                >

        <!ELEMENT property EMPTY>
        <!ATTLIST property
                name CDATA #REQUIRED
                value CDATA #IMPLIED
                ref CDATA #IMPLIED>

JAXP-Dom

/**
 * @author jifang
 * @since 16/1/13下午11:24.
 */
public class XmlRead {

    @Test
    public void client() throws ParserConfigurationException, IOException, SAXException {
        // 生成一个Dom解析器
        DocumentBuilder builder = DocumentBuilderFactory.newInstance().newDocumentBuilder();

        // 解析XML文件
        Document document = builder.parse(ClassLoader.getSystemResourceAsStream("config.xml"));

        // ...
    }
}

DocumentBuilderparse(String/File/InputSource/InputStream param)方法可以将一个XML文件解析为一个Document对象,代表整个文档.
Document(org.w3c.dom包下)是一个接口,其父接口为Node, Node的其他子接口还有Element Attr Text等.

  • Node
Node常用方法 释义
Node appendChild(Node newChild) Adds the node newChild to the end of the list of children of this node.
Node removeChild(Node oldChild) Removes the child node indicated by oldChild from the list of children, and returns it.
NodeList getChildNodes() A NodeList that contains all children of this node.
NamedNodeMap getAttributes() A NamedNodeMap containing the attributes of this node (if it is an Element) or null otherwise.
String getTextContent() This attribute returns the text content of this node and its descendants.
  • Document
Document常用方法 释义
NodeList getElementsByTagName(String tagname) Returns a NodeList of all the Elements in document order with a given tag name and are contained in the document.
Element createElement(String tagName) Creates an element of the type specified.
Text createTextNode(String data) Creates a Text node given the specified string.
Attr createAttribute(String name) Creates an Attr of the given name.

Dom查询

  • 解析<bean/>标签上的所有属性
public class XmlRead {

    private Document document;

    @Before
    public void setUp() throws ParserConfigurationException, IOException, SAXException {
        document = DocumentBuilderFactory.newInstance().newDocumentBuilder()
                .parse(ClassLoader.getSystemResourceAsStream("config.xml"));
    }

    @Test
    public void client() throws ParserConfigurationException, IOException, SAXException {
        NodeList beans = document.getElementsByTagName("bean");
        for (int i = 0; i < beans.getLength(); ++i) {
            NamedNodeMap attributes = beans.item(i).getAttributes();
            scanNameNodeMap(attributes);
        }
    }

    private void scanNameNodeMap(NamedNodeMap attributes) {
        for (int i = 0; i < attributes.getLength(); ++i) {
            Attr attribute = (Attr) attributes.item(i);
            System.out.printf("%s -> %s%n", attribute.getName(), attribute.getValue());
            // System.out.println(attribute.getNodeName() + " -> " + attribute.getTextContent());
        }
    }
}
  • 打印XML文件所有标签名
@Test
public void client() {
    list(document, 0);
}

private void list(Node node, int depth) {
    if (node.getNodeType() == Node.ELEMENT_NODE) {
        for (int i = 0; i < depth; ++i)
            System.out.print("\t");
        System.out.println("<" + node.getNodeName() + ">");
    }

    NodeList childNodes = node.getChildNodes();
    for (int i = 0; i < childNodes.getLength(); ++i) {
        list(childNodes.item(i), depth + 1);
    }
}

Dom添加节点

  • 在第一个<bean/>标签下添加一个<property/>标签,最终结果形式:
<bean id="id1" class="com.fq.domain.Bean">
    <property name="isUsed" value="true"/>
    <property name="name" value="simple-bean">新添加的</property>
</bean>
/**
 * @author jifang
 * @since 16/1/17 下午5:56.
 */
public class XmlAppend {

    // 文档回写器
    private Transformer transformer;

    // xml文档
    private Document document;

    @Before
    public void setUp() throws ParserConfigurationException, IOException, SAXException {
        document = DocumentBuilderFactory.newInstance().newDocumentBuilder()
                .parse(ClassLoader.getSystemResourceAsStream("config.xml"));
    }

    @Test
    public void client() {
        // 得到第一bean标签
        Node firstBean = document.getElementsByTagName("bean").item(0);

        /** 创建一个property标签 **/
        Element property = document.createElement("property");

        // 为property标签添加属性
        // property.setAttribute("name", "name");
        // property.setAttribute("value", "feiqing");
        Attr name = document.createAttribute("name");
        name.setValue("name");
        property.setAttributeNode(name);
        Attr value = document.createAttribute("value");
        value.setValue("simple-bean");
        property.setAttributeNode(value);

        // 为property标签添加内容
        //property.setTextContent("新添加的");
        property.appendChild(document.createTextNode("新添加的"));

        // 将property标签添加到bean标签下
        firstBean.appendChild(property);
    }

    @After
    public void tearDown() throws TransformerException {
        transformer = TransformerFactory.newInstance().newTransformer();

        // 写回XML
        transformer.transform(new DOMSource(document),
                new StreamResult("src/main/resources/config.xml"));
    }
}

注意: 必须将内存中的DOM写回XML文档才能生效


Dom更新节点

  • 将刚刚添加的<property/>修改如下
<property name="name" value="new-simple-bean">simple-bean是新添加的</property>
@Test
public void client() {
    NodeList properties = document.getElementsByTagName("property");
    for (int i = 0; i < properties.getLength(); ++i) {
        Element property = (Element) properties.item(i);
        if (property.getAttribute("value").equals("simple-bean")) {
            property.setAttribute("value", "new-simple-bean");
            property.setTextContent("simple-bean是新添加的");
            break;
        }
    }
}

Dom删除节点

删除刚刚修改的<property/>标签

@Test
public void client() {
    NodeList properties = document.getElementsByTagName("property");
    for (int i = 0; i < properties.getLength(); ++i) {
        Element property = (Element) properties.item(i);
        if (property.getAttribute("value").equals("new-simple-bean")) {
            property.getParentNode().removeChild(property);
            break;
        }
    }
}

JAXP-SAX

SAXParser实例需要从SAXParserFactory实例的newSAXParser()方法获得, 用于解析XML文件的parse(String uri, DefaultHandler dh)方法没有返回值,但比DOM方法多了一个事件处理器参数DefaultHandler:

  • 解析到开始标签,自动调用DefaultHandlerstartElement()方法;
  • 解析到标签内容(文本),自动调用DefaultHandlercharacters()方法;
  • 解析到结束标签,自动调用DefaultHandlerendElement()方法.

Sax查询

  • 打印整个XML文档
/**
 * @author jifang
 * @since 16/1/17 下午9:16.
 */
public class SaxRead {

    @Test
    public void client() throws ParserConfigurationException, IOException, SAXException {
        SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
        parser.parse(ClassLoader.getSystemResourceAsStream("config.xml"), new SaxHandler());
    }

    private class SaxHandler extends DefaultHandler {

        @Override
        public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {
            System.out.print("<" + qName);
            for (int i = 0; i < attributes.getLength(); ++i) {
                String attrName = attributes.getQName(i);
                String attrValue = attributes.getValue(i);
                System.out.print(" " + attrName + "=" + attrValue);
            }
            System.out.print(">");
        }

        @Override
        public void characters(char[] ch, int start, int length) throws SAXException {
            System.out.print(new String(ch, start, length));
        }

        @Override
        public void endElement(String uri, String localName, String qName) throws SAXException {
            System.out.print("</" + qName + ">");
        }
    }
}
  • 打印所有property标签内容的Handler
private class SaxHandler extends DefaultHandler {
    // 用互斥锁保护isProperty变量
    private boolean isProperty = false;
    private Lock mutex = new ReentrantLock();

    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {
        if (qName.equals("property")) {
            mutex.lock();
            isProperty = true;
        }
    }

    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
        // 只有被锁定之后才有可能是true
        if (isProperty) {
            System.out.println(new String(ch, start, length));
        }
    }

    @Override
    public void endElement(String uri, String localName, String qName) throws SAXException {
        if (qName.equals("property")) {
            try {
                isProperty = false;
            } finally {
                mutex.unlock();
            }
        }
    }
}

注: SAX方式不能实现 操作.


Dom4j解析

Dom4j是JDom的一种智能分支,从原先的JDom组织中分离出来,提供了比JDom功能更加强大,性能更加卓越的Dom4j解析器(比如提供对XPath支持).
使用Dom4j需要在pom中添加如下依赖:

<dependency>
    <groupId>dom4j</groupId>
    <artifactId>dom4j</artifactId>
    <version>1.6.1</version>
</dependency>

示例XML如下,下面我们会使用Dom4j对他进行 操作:

  • config.xml
<?xml version="1.0" encoding="utf-8"?>
<beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns="http://www.fq.me/context"
       xsi:schemaLocation="http://www.fq.me/context http://www.fq.me/context/context.xsd">
    <bean id="id1" class="com.fq.benz">
        <property name="name" value="benz"/>
    </bean>
    <bean id="id2" class="com.fq.domain.Bean">
        <property name="isUsed" value="true"/>
        <property name="complexBean" ref="id1"/>
    </bean>
</beans>
  • context.xsd
<?xml version="1.0" encoding="utf-8"?>
<schema xmlns="http://www.w3.org/2001/XMLSchema"
        targetNamespace="http://www.fq.me/context"
        elementFormDefault="qualified">
    <element name="beans">
        <complexType>
            <sequence>
                <element name="bean" maxOccurs="unbounded">
                    <complexType>
                        <sequence>
                            <element name="property" maxOccurs="unbounded">
                                <complexType>
                                    <attribute name="name" type="string" use="required"/>
                                    <attribute name="value" type="string" use="optional"/>
                                    <attribute name="ref" type="string" use="optional"/>
                                </complexType>
                            </element>
                        </sequence>
                        <attribute name="id" type="string" use="required"/>
                        <attribute name="class" type="string" use="required"/>
                    </complexType>
                </element>
            </sequence>
        </complexType>
    </element>
</schema>
/**
 * @author jifang
 * @since 16/1/18下午4:02.
 */
public class Dom4jRead {

    @Test
    public void client() throws DocumentException {
        SAXReader reader = new SAXReader();
        Document document = reader.read(ClassLoader.getSystemResource("config.xml"));
        // ...
    }
}

与JAXP类似Document也是一个接口(org.dom4j包下),其父接口是Node, Node的子接口还有Element Attribute Document Text CDATA Branch

  • Node
Node常用方法 释义
Element getParent() getParent returns the parent Element if this node supports the parent relationship or null if it is the root element or does not support the parent relationship.
  • Document
Document常用方法 释义
Element getRootElement() Returns the root Elementfor this document.
  • Element
Element常用方法 释义
void add(Attribute/Text param) Adds the given Attribute/Text to this element.
Element addAttribute(String name, String value) Adds the attribute value of the given local name.
Attribute attribute(int index) Returns the attribute at the specified indexGets the
Attribute attribute(String name) Returns the attribute with the given name
Element element(String name) Returns the first element for the given local name and any namespace.
Iterator elementIterator() Returns an iterator over all this elements child elements.
Iterator elementIterator(String name) Returns an iterator over the elements contained in this element which match the given local name and any namespace.
List elements() Returns the elements contained in this element.
List elements(String name) Returns the elements contained in this element with the given local name and any namespace.
  • Branch
Branch常用方法 释义
Element addElement(String name) Adds a new Element node with the given name to this branch and returns a reference to the new node.
boolean remove(Node node) Removes the given Node if the node is an immediate child of this branch.

Dom4j查询

  • 打印所有属性信息:
/**
 * @author jifang
 * @since 16/1/18下午4:02.
 */
public class Dom4jRead {

    private Document document;

    @Before
    public void setUp() throws DocumentException {
        document = new SAXReader()
                .read(ClassLoader.getSystemResource("config.xml"));
    }

    @Test
    @SuppressWarnings("unchecked")
    public void client() {
        Element beans = document.getRootElement();

        for (Iterator iterator = beans.elementIterator(); iterator.hasNext(); ) {
            Element bean = (Element) iterator.next();
            String id = bean.attributeValue("id");
            String clazz = bean.attributeValue("class");
            System.out.println("id: " + id + ", class: " + clazz);

            scanProperties(bean.elements());
        }
    }

    public void scanProperties(List<? extends Element> properties) {
        for (Element property : properties) {
            System.out.print("name: " + property.attributeValue("name"));
            Attribute value = property.attribute("value");
            if (value != null) {
                System.out.println("," + value.getName() + ": " + value.getValue());
            }
            Attribute ref = property.attribute("ref");
            if (ref != null) {
                System.out.println("," + ref.getName() + ": " + ref.getValue());
            }
        }
    }
}

Dom4j添加节点

在第一个<bean/>标签末尾添加<property/>标签

<bean id="id1" class="com.fq.benz"> 
    <property name="name" value="benz"/>  
    <property name="refBean" ref="id2">新添加的标签</property>
</bean>  
/**
 * @author jifang
 * @since 16/1/19上午9:50.
 */
public class Dom4jAppend {

    //...

    @Test
    public void client() {
        Element beans = document.getRootElement();
        Element firstBean = beans.element("bean");
        Element property = firstBean.addElement("property");
        property.addAttribute("name", "refBean");
        property.addAttribute("ref", "id2");
        property.setText("新添加的标签");
    }

    @After
    public void tearDown() throws IOException {
        // 回写XML
        OutputFormat format = OutputFormat.createPrettyPrint();
        XMLWriter writer = new XMLWriter(new FileOutputStream("src/main/resources/config.xml"), format);
        writer.write(document);
    }
}

我们可以将获取读写XML操作封装成一个工具, 以后调用时会方便些:

/**
 * @author jifang
 * @since 16/1/19下午2:12.
 */
public class XmlUtils {

    public static Document getXmlDocument(String config) {
        try {
            return new SAXReader().read(ClassLoader.getSystemResource(config));
        } catch (DocumentException e) {
            throw new RuntimeException(e);
        }
    }

    public static void writeXmlDocument(String path, Document document) {
        try {
            new XMLWriter(new FileOutputStream(path), OutputFormat.createPrettyPrint()).write(document);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
}
  • 在第一个<bean/>的第一个<property/>后面添加一个<property/>标签
<bean id="id1" class="com.fq.benz"> 
    <property name="name" value="benz"/>  
    <property name="rate" value="3.14"/>
    <property name="refBean" ref="id2">新添加的标签</property> 
</bean>  
public class Dom4jAppend {

    private Document document;

    @Before
    public void setUp() {
        document = XmlUtils.getXmlDocument("config.xml");
    }

    @Test
    @SuppressWarnings("unchecked")
    public void client() {
        Element beans = document.getRootElement();
        Element firstBean = beans.element("bean");
        List<Element> properties = firstBean.elements();

        //Element property = DocumentHelper
        // .createElement(QName.get("property", firstBean.getNamespaceURI()));
        Element property = DocumentFactory.getInstance()
                .createElement("property", firstBean.getNamespaceURI());
        property.addAttribute("name", "rate");
        property.addAttribute("value", "3.14");
        properties.add(1, property);
    }

    @After
    public void tearDown() {
        XmlUtils.writeXmlDocument("src/main/resources/config.xml", document);
    }
}

Dom4j修改节点

  • id1 bean的第一个<property/>修改如下:
<property name="name" value="翡青"/>  
@Test
@SuppressWarnings("unchecked")
public void client() {
    Element beans = document.getRootElement();
    Element firstBean = beans.element("bean");
    List<Element> properties = firstBean.elements();

    Element property = DocumentFactory.getInstance()
            .createElement("property", firstBean.getNamespaceURI());
    property.addAttribute("name", "rate");
    property.addAttribute("value", "3.14");
    properties.add(1, property);
}

Dom4j 删除节点

  • 删除刚刚修改的节点
@Test
@SuppressWarnings("unchecked")
public void delete() {
    List<Element> beans = document.getRootElement().elements("bean");
    for (Element bean : beans) {
        if (bean.attributeValue("id").equals("id1")) {
            List<Element> properties = bean.elements("property");
            for (Element property : properties) {
                if (property.attributeValue("name").equals("name")) {
                    // 执行删除动作
                    property.getParent().remove(property);
                    break;
                }
            }
            break;
        }
    }
}

Dom4j实例

Java 反射一文中我们实现了根据JSON配置文件来加载bean的对象池,现在我们可以为其添加根据XML配置(XML文件同前):

/**
 * @author jifang
 * @since 16/1/18下午9:18.
 */
public class XmlParse {

    private static final ObjectPool POOL = ObjectPoolBuilder.init(null);

    public static Element parseBeans(String config) {
        try {
            return new SAXReader().read(ClassLoader.getSystemResource(config)).getRootElement();
        } catch (DocumentException e) {
            throw new RuntimeException(e);
        }
    }

    public static void processObject(Element bean, List<? extends Element> properties)
            throws ClassNotFoundException, IllegalAccessException, InstantiationException, NoSuchFieldException {
        Class<?> clazz = Class.forName(bean.attributeValue(CommonConstant.CLASS));
        Object targetObject = clazz.newInstance();

        for (Element property : properties) {
            String fieldName = property.attributeValue(CommonConstant.NAME);
            Field field = clazz.getDeclaredField(fieldName);
            field.setAccessible(true);
            // 含有value属性
            if (property.attributeValue(CommonConstant.VALUE) != null) {
                SimpleValueSetUtils.setSimpleValue(field, targetObject, property.attributeValue(CommonConstant.VALUE));
            } else if (property.attributeValue(CommonConstant.REF) != null) {
                String refId = property.attributeValue(CommonConstant.REF);
                Object object = POOL.getObject(refId);
                field.set(targetObject, object);
            } else {
                throw new RuntimeException("neither value nor ref");
            }
        }

        POOL.putObject(bean.attributeValue(CommonConstant.ID), targetObject);
    }
}

注: 上面代码只是对象池项目的XML解析部分,完整项目可参考git@git.oschina.net:feiqing/commons-frame.git


XPath

XPath是一门在XML文档中查找信息的语言,XPath可用来在XML文档中对元素和属性进行遍历.

表达式 描述
/ 从根节点开始获取(/beans:匹配根下的<beans/>; /beans/bean:匹配<beans/>下面的<bean/>)
// 从当前文档中搜索,而不用考虑它们的位置(//property: 匹配当前文档中所有<property/>)
* 匹配任何元素节点(/*: 匹配所有标签)
@ 匹配属性(例: //@name: 匹配所有name属性)
[position] 位置谓语匹配(例: //property[1]: 匹配第一个<property/>;//property[last()]: 匹配最后一个<property/>)
[@attr] 属性谓语匹配(例: //bean[@id]: 匹配所有带id属性的标签; //bean[@id='id1']: 匹配所有id属性值为’id1’的标签)

谓语: 谓语用来查找某个特定的节点或者包含某个指定的值的节点.

XPath的语法详细内容可以参考W3School XPath 教程.


Dom4j对XPath的支持

默认的情况下Dom4j并不支持XPath, 需要在pom下添加如下依赖:

<dependency>
    <groupId>jaxen</groupId>
    <artifactId>jaxen</artifactId>
    <version>1.1.6</version>
</dependency>

Dom4jNode接口提供了方法对XPath支持:

方法
List selectNodes(String xpathExpression)
List selectNodes(String xpathExpression, String comparisonXPathExpression)
List selectNodes(String xpathExpression, String comparisonXPathExpression, boolean removeDuplicates)
Object selectObject(String xpathExpression)
Node selectSingleNode(String xpathExpression)

XPath实现查询

  • 查询所有bean标签上的属性值
/**
 * @author jifang
 * @since 16/1/20上午9:28.
 */
public class XPathRead {

    private Document document;

    @Before
    public void setUp() throws DocumentException {
        document = XmlUtils.getXmlDocument("config.xml");
    }

    @Test
    @SuppressWarnings("unchecked")
    public void client() {
        List<Element> beans = document.selectNodes("//bean");
        for (Element bean : beans) {
            System.out.println("id: " + bean.attributeValue("id") +
                    ", class: " + bean.attributeValue("class"));
        }
    }
}

XPath实现更新

  • 删除id=”id2”的<bean/>
@Test
public void client() {
    Node bean = document.selectSingleNode("//bean[@id=\"id2\"]");
    bean.getParent().remove(bean);
}

参考:
Dom4j的使用
Java 处理 XML 的三种主流技术及介绍
目录
相关文章
|
8天前
|
XML JSON Java
Java中Log级别和解析
日志级别定义了日志信息的重要程度,从低到高依次为:TRACE(详细调试)、DEBUG(开发调试)、INFO(一般信息)、WARN(潜在问题)、ERROR(错误信息)和FATAL(严重错误)。开发人员可根据需要设置不同的日志级别,以控制日志输出量,避免影响性能或干扰问题排查。日志框架如Log4j 2由Logger、Appender和Layout组成,通过配置文件指定日志级别、输出目标和格式。
|
30天前
|
存储 Java 计算机视觉
Java二维数组的使用技巧与实例解析
本文详细介绍了Java中二维数组的使用方法
47 15
|
30天前
|
算法 搜索推荐 Java
【潜意识Java】深度解析黑马项目《苍穹外卖》与蓝桥杯算法的结合问题
本文探讨了如何将算法学习与实际项目相结合,以提升编程竞赛中的解题能力。通过《苍穹外卖》项目,介绍了订单配送路径规划(基于动态规划解决旅行商问题)和商品推荐系统(基于贪心算法)。这些实例不仅展示了算法在实际业务中的应用,还帮助读者更好地准备蓝桥杯等编程竞赛。结合具体代码实现和解析,文章详细说明了如何运用算法优化项目功能,提高解决问题的能力。
62 6
|
30天前
|
存储 算法 搜索推荐
【潜意识Java】期末考试可能考的高质量大题及答案解析
Java 期末考试大题整理:设计一个学生信息管理系统,涵盖面向对象编程、集合类、文件操作、异常处理和多线程等知识点。系统功能包括添加、查询、删除、显示所有学生信息、按成绩排序及文件存储。通过本题,考生可以巩固 Java 基础知识并掌握综合应用技能。代码解析详细,适合复习备考。
22 4
|
30天前
|
Java 编译器 程序员
【潜意识Java】期末考试可能考的简答题及答案解析
为了帮助同学们更好地准备 Java 期末考试,本文列举了一些常见的简答题,并附上详细的答案解析。内容包括类与对象的区别、多态的实现、异常处理、接口与抽象类的区别以及垃圾回收机制。通过这些题目,同学们可以深入理解 Java 的核心概念,从而在考试中更加得心应手。每道题都配有代码示例和详细解释,帮助大家巩固知识点。希望这些内容能助力大家顺利通过考试!
20 0
|
1月前
|
自然语言处理 数据处理 索引
mindspeed-llm源码解析(一)preprocess_data
mindspeed-llm是昇腾模型套件代码仓,原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py(基于1.0.0分支),数据处理是模型训练的第一步,经常会用到。
53 0
|
2月前
|
存储 设计模式 算法
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类行为模式具有更大的灵活性。 行为型模式分为: • 模板方法模式 • 策略模式 • 命令模式 • 职责链模式 • 状态模式 • 观察者模式 • 中介者模式 • 迭代器模式 • 访问者模式 • 备忘录模式 • 解释器模式
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
|
2月前
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。 结构型模式分为以下 7 种: • 代理模式 • 适配器模式 • 装饰者模式 • 桥接模式 • 外观模式 • 组合模式 • 享元模式
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
|
2月前
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
创建型模式的主要关注点是“怎样创建对象?”,它的主要特点是"将对象的创建与使用分离”。这样可以降低系统的耦合度,使用者不需要关注对象的创建细节。创建型模式分为5种:单例模式、工厂方法模式抽象工厂式、原型模式、建造者模式。
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
|
2月前
|
安全 搜索推荐 数据挖掘
陪玩系统源码开发流程解析,成品陪玩系统源码的优点
我们自主开发的多客陪玩系统源码,整合了市面上主流陪玩APP功能,支持二次开发。该系统适用于线上游戏陪玩、语音视频聊天、心理咨询等场景,提供用户注册管理、陪玩者资料库、预约匹配、实时通讯、支付结算、安全隐私保护、客户服务及数据分析等功能,打造综合性社交平台。随着互联网技术发展,陪玩系统正成为游戏爱好者的新宠,改变游戏体验并带来新的商业模式。

推荐镜像

更多